昨天在Hacker News上刷到一张帖子,直接让我愣住了。
一个开源项目在HN上拿了608分。TurboFieldfare,一个用Swift和Metal写的本地推理引擎,能让Google的Gemma 4 26B-A4B模型在2GB内存里跑起来。你没看错,不是20GB,是2GB。任何Apple Silicon的Mac,哪怕是8GB内存的M2 MacBook Air,都能跑。
我当时就反复看了三遍确认没看错数字。。。一个260亿参数的MoE模型,正常加载需要14.3GB内存。这个项目通过从SSD实时流式传输专家权重,把内存占用压到了2GB左右。M2 MacBook Air上每秒5到6个token,日常用够了。M5 Pro上能跑到31到35个token每秒,体验跟云端几乎没区别。
说真的,这玩意解决了一个我一直觉得特别痛的问题。
有很多人需要用AI但又不敢用云端AI。自由撰稿人写一篇深度报道要采访十几个人,采访录音的逐字稿里全是未公开的敏感信息,让他贴到ChatGPT里整理,他不敢。独立开发者写的私有代码不想被拿去训练模型。律师写的法律文书涉及客户保密信息。心理咨询师的案例记录涉及来访者隐私。这些人不是不想用AI,是他(她)们的内容根本不能上网。
之前本地AI最大的问题是硬件门槛太高。跑一个像样的模型至少需要一块高端NVIDIA显卡,显存24GB起步,整套下来两万打底。普通人谁会在家里配一台这样的机器?但现在不一样了。你的MacBook就是这台机器。TurboFieldfare直接在Mac上跑,不需要购买任何额外的硬件。
我自己捣鼓了一个下午。下载、安装、跑起来,整个过程比想象中简单太多了。装好之后我试了几个场景。让它帮我整理一篇采访笔记,给一篇文章润色改写,写一段技术文档的摘要。体验不能说跟Claude Sonnet 5完全一样,但日常用的场景完全够用了。最关键的是整个过程中所有数据都在我的Mac上,没有一条字符离开过这台电脑。这种感觉太爽了!!!
然后我就开始想,这事能变成一个服务吗?帮那些需要本地AI但又不会折腾的人装好、配好、教会他们用。答案是可以,而且市场比你以为的大得多。
两个数字说清楚。
第一,Apple Silicon Mac的装机量。从2020年底M1发布到现在快六年了,Apple在全球卖出了数千万台Apple Silicon的Mac。据IDC数据,2025年Mac在全球PC市场份额约10%,绝大多数是Apple Silicon机型。每一台都是潜在的本地AI工作站。第二,数据隐私焦虑。2025年一项调查显示,超过60%的知识工作者担心自己的数据被AI公司用来训练模型。这不是少数人的顾虑,这是普遍存在的需求。
全球有数千万台Apple Silicon Mac,其中相当一部分用户需要AI但又不敢用云端服务。这个缺口,就是你的机会。
我之前写过一篇帮企业部署本地AI的文章,讲的是给律所、诊所、金融公司搭服务器。但说实话,那种服务需要Linux、Docker、NVIDIA显卡,门槛不低。TurboFieldfare不一样,它完全面向个人用户。你的客户不是有IT部门的公司,而是那些独自工作的创作者、自由职业者、独立开发者。这些人没有服务器预算,没有IT支持,但有一台MacBook。他们的需求更简单也更直接,「帮我装好一个能用的本地AI,我打开就能用。」
我分三个档次来说,从最基础的到最全面的,一轮一轮往上升。
装好TurboFieldfare,配好基础模型,教会客户怎么用。这是最入门也最核心的服务。客户打开Mac上的TurboFieldfare应用,选择一个模型加载,输入文字就能获得回复。体验上跟打开ChatGPT的网页聊天的感觉差不多。不同的是数据完全留在本地,客户可以放心地把手头的采访笔记、文章草稿、代码片段丢进去让它帮忙处理。这一个档次的客户主要是自媒体创作者、自由撰稿人、学术研究者。他们需要的不是多强大的模型能力,是「数据不出电脑」的安全感。TurboFieldfare跑的Gemma 4 26B模型足够应付他们日常的文字处理需求。
在基础版之上,多装几个模型,配置本地OpenAI兼容服务器,让客户的开发工具也能接上本地AI。TurboFieldfare自带一个OpenAI兼容的API服务器,启动之后本地的开发工具、笔记软件、自动化脚本都可以通过这个API调用AI能力。对独立开发者来说这个功能太实用了。配好之后VS Code可以直接调用本地模型做代码补全和审查,Obsidian可以用来做笔记AI摘要,Raycast插件可以一键调用本地AI。所有工具共享同一个本地模型,不用为每个工具开一个云端API会员。我配好之后试了一下,在VS Code里写代码时让本地AI帮我review当前文件,响应速度比云端API还快,因为数据不走网络。
在进阶版之上,帮客户做完整的工作流定制。根据客户的具体工作场景,编写自定义的提示词模板、配置RAG知识库、创建一键执行的快捷指令。比如一个写深度报道的记者,你可以帮他做好采访录音逐字稿自动整理、关键信息提取、初稿提纲生成的一条龙提示词链。一个写代码的独立开发者,你可以帮他配好代码审查、文档生成、API接口说明的自动化工作流。到了这个档次,你卖的已经不是安装服务了,你卖的是对客户工作流的深度理解和AI效率优化方案。
三档的价格和利润结构也很清晰。基础版500到800元,耗时1到2小时。进阶版1000到1500元,耗时半天。高阶版2000到3000元,耗时1到2天。毛利率在80%到90%之间,因为你的工具成本几乎为零。
做Mac本地AI工作站搭建服务,需要的工具很简单。
这是整个服务的核心。GitHub上的开源项目,用Swift和Metal写的Gemma 4推理引擎,支持任何Apple Silicon Mac。内存占用约2GB,存储需求约15GB。它提供了Mac原生应用、命令行工具和OpenAI兼容的API服务器。客户用Mac应用做日常对话,开发者用API服务器接开发工具,同一个引擎覆盖两种使用场景。TurboFieldfare目前是Apache 2.0开源许可证,可以免费商用。
如果客户需要跑其他模型(比如Llama 4、Qwen4、DeepSeek-V4等),Ollama是很好的补充。Ollama在GitHub上有175K星,支持超过100种模型。它在Mac上跑的效果也不错,但内存占用比TurboFieldfare高。具体怎么选很简单。客户主用Mac且需要最低的内存占用时上TurboFieldfare。客户需要多个模型切换时,同时装TurboFieldfare和Ollama,在Open WebUI里做统一界面。需要强调的是TurboFieldfare是当前Mac上内存效率最高的方案,没有之一。
当你给客户配置了多个模型时,Open WebUI可以提供统一的聊天界面。它的设计跟ChatGPT几乎一模一样,非技术客户完全不需要学习成本。它支持多模型切换、会话历史搜索、文件上传、本地RAG。前提是客户愿意在Mac上开一个本地服务跑Docker,稍微麻烦一点,但对追求专业体验的客户值得推荐。
你不需要NVIDIA显卡、不需要Linux服务器、不需要网线。一台MacBook就够了。
第一步,客户沟通和需求诊断。先搞清楚客户是做什么的。写作者还是开发者还是研究者?他主要用AI做什么?内容创作、代码辅助、文档处理、还是翻译润色?对数据隐私的敏感程度有多高?之前用过ChatGPT或Claude吗,觉得哪里不够用?这些信息决定了你推荐哪个档次的方案。很多人第一次接触本地AI,完全不知道它能做什么不能做什么。你的核心价值是帮他们建立合理预期。
第二步,准备和安装。客户的Mac需要Apple Silicon芯片(M1到M5),macOS 26或更高版本。你远程或上门安装。流程很简单,克隆TurboFieldfare仓库,用Swift编译,下载模型权重(约15GB,取决于网速)。这一步最大的坑是网速。很多客户下载15GB需要好几个小时,建议让他们晚上下载,你可以在自己电脑上提前下载好模型,上门时用移动硬盘拷贝过去。
第三步,配置和测试。装好之后跑几个标准测试。基础对话测试,确认基本问答功能正常。长文本测试,让模型处理5000到10000字的输入确认内存占用在合理范围内。工具调用测试,如果是开发者客户需要确认API服务器的兼容性。测试完成后把结果展示给客户看,让他们对本地AI的能力有直观感受。这一步也是你建立信任的过程,客户看到自己的MacBook真的能跑AI了,这种体验是很有冲击力的。
第四步,培训和交付。给客户讲解基本操作。怎么启动和停止模型,怎么切换对话,怎么调整prompt。进阶客户需要教他们怎么用API服务器对接自己的工具。高阶客户需要一套完整的使用手册,包含所有自定义提示词模板和快捷键操作。交付时建议录一个5到10分钟的教学视频,客户以后忘了操作可以回看。这一步决定了客户满意度,也决定了你能不能拿到转介绍。
整个流程下来,基础版大概1到2小时,进阶版半天,高阶版1到2天。
定价的核心是分档分层。
基础版单次安装配置500到800元。按时间算,时薪在300到500元之间。这一个档次的获客成本最低,因为需求最明确。潜在客户在知乎或小某书搜「Mac本地AI」「本地大模型」的时候看到你的内容,直接私信问你能不能装。这个档次的挑战是单价低,所以你需要效率。熟练之后一单控制在1小时以内,时薪才能到500元以上。
进阶版1000到1500元。多模型配置加API服务器加基础提示词优化。这个档次的目标客户是独立开发者和资深创作者。他们不仅需要AI能用,还需要AI跟自己的工具链对接。这个档次的毛利最高,因为多装一个模型、多配一个API端口的边际成本很低,但客户感知到的价值翻倍。
高阶版2000到3000元。完整工作流定制,含自定义提示词库、RAG配置、多工具集成。这个档次的目标客户是专业团队和小型工作室。他们需要的不只是AI,而是对自己工作流程的效率优化方案。这个档次需要你深入了解客户的具体业务场景,所以客单价高但交付周期也长。
接单渠道的话,我个人的经验是小某书和知乎最好用。小某书上发「MacBook也能跑大模型了」「再也不怕数据泄漏了」这种内容,流量很高。知乎上回答「MacBook能跑本地AI吗」「如何在自己的Mac上部署本地大模型」这类问题,搜索流量非常稳。还有一个被很多人忽视的渠道是自由职业者社群和创作者社群。写作者群、独立开发者群、学术研究群,里面经常有人问怎么用AI但怕数据安全问题。你直接在群里发一个「我用Mac跑了本地AI,数据完全不上网」的截图,自然有人来找你。
做这行时间不长,但坑没少踩。挑几个最关键的说说。
第一个坑,客户的Mac太老。不是所有人的Mac都是最新款。TurboFieldfare需要macOS 26和Metal 4,部分Intel Mac或太老款的Apple Silicon Mac不支持。这个问题在接单第一步就要确认清楚。我现在的做法是让客户在「关于本机」里截图发给我,看一眼芯片型号和macOS版本再报价。
第二个坑,网络下载时间。15GB的模型权重对很多客户的宽带是个考验。100M宽带下载约25分钟,但有些人网络慢,或者连不上GitHub。我有一次花了三个小时等客户下载模型。后来学乖了,自己在NAS上提前下载好常用模型,用移动硬盘或网盘分享给客户。
第三个坑,客户的期望管理。很多人觉得装了本地AI就应该跟Claude Sonnet 5一样聪明。但坦率的讲,Gemma 4 26B跟最顶尖的云端模型还是有差距的。我花了很大精力跟客户解释,本地AI的核心优势不是能力最强,而是最安全、最私密、零成本使用。日常写作、代码辅助、文档处理已经够用,但复杂推理或专业知识可能不如云端大模型。我在方案里加了一段能力说明,列出优缺点,避免客户期望过高。
第四个坑,维护。TurboFieldfare是开源项目,版本更新很快。客户用了一段时间之后可能有新模型发布,或者想加新功能。你需要在交付时留一个微信或者Telegram联系渠道,客户有问题可以找你。好消息是这种需求很少,不像企业级部署那样需要每个月维护。大部分人装好之后就用得很开心,根本不需要再找你。
7月30号了。TurboFieldfare在HN上拿了608分,社区还在持续贡献基准测试结果和优化方案。这只是一个开始。我甚至觉得未来每隔一段时间就会有更好的本地推理引擎出现,因为Apple Silicon的生态正在加速成熟。
之前一直觉得本地AI是发烧友的玩具,或者是企业IT部门的事。但TurboFieldfare打破了这个认知。一个写深度报道的记者,他的采访录音逐字稿、未发布的文章、采访对象的信息,这些数据他不敢也不可能交给云端AI。但一个本地AI工作站就可以解决他所有的问题。他的MacBook上有最高端的Apple Silicon芯片,只需要一个合适的引擎把潜力释放出来。
我之前说过一句话,磨平一些信息差。现在这个信息差就是,很多人不知道自己的MacBook已经可以跑本地AI了。你去告诉他们,帮他们装好,教他们用。这个服务的价值不在于技术有多难,在于你知道有这个东西而他们不知道。
你现在就可以去翻翻朋友圈,看看那些自由职业者和创作者朋友里有没有人发过「AI很好用但我不敢把数据放进去」的感慨。发一条消息过去,告诉他MacBook就可以跑。试试看。
💡 我整理了一份Mac本地AI工作站搭建的「工具清单+安装脚本+提示词模板+客户沟通话术」
包含TurboFieldfare安装指南和常见问题排查、Gemma 4提示词模板(写作/编程/文档分析各一套)、三档服务方案模板和报价话术、客户问询回复模板、演示脚本和测试用例。微信扫码或搜索「AiToollab」关注公众号,回复「MacAI」获取。
真的不需要多深的技术基础。TurboFieldfare的安装过程主要是从GitHub克隆仓库、用Swift编译、下载模型权重。这三步操作在网上都有详细教程,会基本的终端操作就能搞定。如果你之前装过Homebrew或者Node.js,那就完全没问题。你最需要花时间的事不是学技术,而是搞清楚客户的需求和帮他们选对方案。建议你自己先在Mac上完整走一遍流程,给自己装一个本地AI工作站,从头到尾体验一遍。装完之后你就有了一套完整的交付流程和作品截图。
看场景。如果你处理的是公开发布的信息(公开文章、通用代码、公开数据),直接用ChatGPT或Claude更方便,因为云端模型能力更强。但如果你处理的是敏感数据(未发布稿件、私有代码、客户信息、科研数据),本地AI工作站的价值无可替代。你的数据完全在你的电脑上,不经过任何第三方服务器,不需要担心数据被用来训练模型或者泄漏。成本上,云端API按token付费,一个月用得多可能几百上千块。本地AI装好之后电费就是唯一成本,用多少都不额外收费。我自己的习惯是日常写邮件、查资料用云端AI,写文章和整理采访录音用本地AI。
兼职做(每天2到3小时)月入3000到8000元。全职做(每天5到6小时)月入1万到2万元。核心收入来自三档服务。基础版500到800元,进阶版1000到1500元,高阶版2000到3000元。客户的转介绍率很高,朋友之间的推荐比广告有效一百倍。装好一个自由撰稿人客户,他可能会介绍另外三个写作者朋友来找你。这是这个生意最香的部分,口碑裂变几乎不需要获客成本。
需要Apple Silicon芯片(M1、M2、M3、M4、M5都行),macOS 26或更高版本,至少8GB内存(16GB以上更好),约15GB可用存储空间来安装模型权重。M2 MacBook Air上每秒5到6个token,日常写作用够了。M5 Pro上每秒31到35个token,体验跟云端模型基本一致。基本上如果你现在用的是一台Apple Silicon Mac,应该都能满足要求。
想用AI做Mac本地工作站搭建服务的全套提示词模板?我们的提示词包里有👇
查看提示词包详情