帮人搭建私有化AI工作区月入15000,Odysseus这个11K星项目让我看到了一个被严重低估的方向
前两天刷HN的时候看到一个帖子,169个upvote,标题很短,「Odysseus – self-hosted AI workspace」。
我本来没当回事,open source的AI workspace多了去了,大部分都是demo级别的玩具。但点进去一看GitHub页面,11.3K星,pewdiepie-archdaemon这个组织的仓库。
你看到pewdiepie这几个字是不是愣了一下?我也愣了一下。
然后我就去看了它的功能列表,看完之后我关掉页面,又打开,又关掉,又打开。不是哥们,这玩意功能也太多了吧。
聊天,Agent,深度研究,文档编辑,邮件AI分类,记忆系统,日历,笔记,任务管理,模型对比评测……全都集成在一个self-hosted平台里。支持本地模型,也支持API。Deep Research功能是从通义实验室那个DeepResearch项目魔改来的。Cookbook模块能自动检测你的硬件配置,推荐合适的模型,一键下载部署。
我脑子里蹦出来的第一个想法不是「这开源项目真牛」,而是,有大批人需要这个东西,但他们自己装不了。
这就是今天这篇文章要讲的事。
为什么现在私有化AI工作区变成了一个真需求
你如果关注最近两周的AI新闻,会发现一个很有意思的趋势。
WSJ发了一篇报道,说美国企业开始定量配给AI使用了。因为AI成本涨得太快,一些公司不得不限制员工每天的AI调用次数。同一周,微软放出的数据显示,在某些场景下用AI比雇人还贵。还有一篇在HN上拿了356分的热帖,标题就叫「解决方案可能是取消你的AI订阅」。
我自己也深有体会。ChatGPT Plus一个月20刀,Claude Pro一个月20刀,Cursor一个月20刀,加起来60刀一个月。而且这些订阅的token额度越来越不够用,稍微多用一点就触发限速。更别提企业版的GPT-4o动辄几十上百刀一个账号了。
但痛点不只是钱。
上个月有个做律师的朋友找我吃饭,说他们律所合伙人下了死命令,所有案件材料不准上传到任何云端AI服务。因为律师保密义务在那摆着,客户资料放ChatGPT里等于违规。但他们又确实需要AI来帮忙整理案卷、写法律备忘录、做案例检索。
他说,「我们现在就是一个人工在干AI该干的活,因为不敢用。」
我当时就。。。
这人可是按小时收费的高级律师啊,花大把时间在做文档整理这种事情。不是能力问题,是工具问题。市面上没有一个既好用又合规的方案给他用。
然后我就在想,如果有一个东西,功能跟ChatGPT差不多,但完全跑在你自己的服务器上,数据一滴都不往外漏,还不用按月交订阅费。你觉得他愿不愿意花点钱请人帮他装一套?
答案太明显了。
这就是Odysseus这个项目让我兴奋的原因。它恰好卡在这个需求上,而且做得比我想象中完善得多。
Odysseus到底是个什么东西
我先说清楚。
你用过ChatGPT或者Claude吧。每次开新会话,你都得重新介绍自己的情况,重新描述项目背景,它才能给出靠谱的答案。这就是没有长期记忆。它的脑子只在会话进行的时候在线,会话一关,什么都忘了。
而Odysseus,就是把这些功能全部打包到一个self-hosted的平台上,数据不出你的服务器。聊天、Agent、深度研究,该有的都有。
你可以接入OpenAI、Anthropic这些云端API,也可以跑Ollama、vLLM、llama.cpp这些本地模型。Cookbook模块会自动检测你的硬件,告诉你哪些模型跑得动,哪些跑不动,一键帮你下载和启动。
它有Agent功能,基于opencode构建,能调用MCP工具、执行shell命令、操作文件、访问网页。还有Deep Research,能自动搜索网页、读取资料、生成研究报告。记忆系统用的ChromaDB,跟MemPalace类似的向量存储方案。
甚至还有邮件模块,支持IMAP/SMTP,能自动给邮件做紧急程度分类、打标签、生成摘要、起草回复。笔记和任务管理模块有提醒功能,Agent可以自动执行定时任务。
全部self-hosted。全部开源免费。数据全在你自己手里。
安装方式也很简单,Docker一条命令拉起来就行。Python 3.11以上,docker compose up -d --build,完事。端口默认7000。
你想想看,一个律师,或者一个金融从业者,或者一个小公司老板,他们想要的是什么?就是一个能用的AI助手,但数据不能出去。
Odysseus满足了前一半。你帮他们满足后一半,把东西装好配好,这就是你要收的钱。
两个跑通的案例
我自己花了一周时间研究Odysseus,然后找了两个人帮忙测试。一个是前面说的律师朋友,另一个是一个做跨境电商的小公司老板。
案例一,帮律师搭私有AI办公区
我那个律师朋友的需求很明确。案件材料不能上云,这是硬约束。但他需要AI帮他做三件事,整理案卷摘要、搜索相关判例、起草法律文件初稿。
我帮他租了一台4核8G的腾讯云服务器,一个月198块。装了Odysseus,接入DeepSeek的API做主力模型(DeepSeek的API价格很便宜),同时在Cookbook里下了一个小参数的Qwen做本地跑的备选。整个部署过程大概两个半小时,主要时间花在帮他导入过往案件材料到记忆系统里。
他第一次用的时候,跟我说了一句话,原话我记不太清了,大概是「终于不用担心把客户材料喂给Sam Altman了」。
这单我收了1500。 包含服务器选购建议、Odysseus安装部署、API对接配置、案件材料入库、以及两个小时的一对一教学。教他怎么用Agent模式做案例检索,怎么用文档编辑模块写法律备忘录,怎么给邮件设自动分类规则。
后来他又介绍了两个同行找我,一个做知识产权的,一个做家事律师的。需求一模一样,案件保密,但需要AI帮忙。
你知道吗,律师这个行业对AI的态度特别矛盾。一方面他们知道自己需要,另一方面合规压力让他们不敢用任何SaaS产品。self-hosted方案对他们来说不是「更好的选择」,是唯一合规的选择。
案例二,给小公司部署本地AI助手
这个客户是做跨境电商的,团队8个人。之前一直在用ChatGPT Team,每人每月25刀,一个月光AI订阅就要200刀。而且老板发现员工很多时候在用AI做跟工作无关的事,但又没法精确管控。
他的需求是两个。第一,成本要降下来。第二,要能管控,知道员工在用AI干什么。
我给他搭了一套Odysseus,8个人共用一个工作区。接入OpenRouter做路由层,这样可以根据不同任务自动选择最便宜的模型,简单问答用DeepSeek,复杂分析用Claude Haiku。Cookbook里还装了个本地小模型处理日常简单任务,完全不用消耗API额度。
最骚的是,Odysseus本身有session管理功能,管理员可以看到所有人的使用记录。老板对这个功能满意得不行。
这单收费4000块,包含企业级配置、团队账号设置、OpenRouter路由优化、以及每周两个小时的维护服务。后续签了月度维护合同,每个月600块,包含故障处理、模型更新、配置调整。
算一笔账。他们之前ChatGPT Team每月200刀,大概1400块人民币。现在服务器费198块加API调用费大概300-500块一个月,加维护费600块,总计1100-1300块。成本差不多持平,但多了数据管控、本地模型备份、可定制化的好处。而且他们不担心OpenAI突然涨价或者改政策了。
投入成本和收益分析
算一笔清楚的账。
你的成本
学习成本,从零开始熟悉Odysseus的部署和配置,大概需要一周(每天2-3小时)。
工具成本,Odysseus完全开源免费,零。
测试服务器,你自己买一台最低配的云服务器练手,99块一个月。
获客成本,主要靠发内容和口碑推荐,几乎为零。
客户需要付的成本
服务器,个人用2核4G约99元/月,企业用4核8G约198元/月。需要GPU跑本地大模型的另算,300-800元/月。
API费用,接入DeepSeek或OpenRouter,按实际使用量计费,一般企业月消耗100-500元。
你的服务费,见下方定价。
你的收益
个人版部署,800-1500元/套。
企业版部署,3000-6000元/套。
月度维护费,300-800元/月/客户。
我这两周的数据,做了1单个人版(1500)加1单企业版(4000+月维护600),加上两个转介绍的订单在谈。如果全职做,稳定下来每月8-10单个人版加2-3单企业版,月入1.5万是完全可以期待的。 而且维护合同是复利收入,签得越多每月躺赚越多。
坦率的讲,这个方向的利润率比我之前写的帮人装本地模型那个方向更高。因为客户画像更精准,付费能力更强,而且维护合同的续约率极高。他们一旦用了,几乎不可能换回去,为啥?因为数据都在你的系统里,迁移成本太高了。
具体怎么做,操作步骤
如果你觉得这个方向可以试试,我把从零开始的步骤捋一下。
第一步,自己把Odysseus跑起来
去GitHub搜pewdiepie-archdaemon/odysseus,clone下来。推荐用Docker部署,一条命令的事。
docker compose up -d --build,等几分钟,浏览器输入你的服务器IP加7000端口就能访问了。
先接入一个免费的API试试效果。DeepSeek注册就送额度,够你体验了。
把每个模块都点一遍,聊天、Agent、Cookbook、文档编辑、邮件、记忆。深度体验两天,搞清楚每个功能怎么用、怎么配。你自己不熟的话,客户一问就露馅。
第二步,准备你的服务方案
我建议分三个档次。
基础版,单用户部署,接入API模型,基本配置。收费800-1000。
专业版,多用户部署,API加本地模型混合路由,记忆系统配置,2小时培训。收费1500-2000。
企业版,团队部署,定制工作流,数据迁移,合规审计配置,月度维护合同。收费4000-6000起。
第三步,找到你的第一批客户
这个方向的目标客户不是普通消费者,是有隐私合规需求的职业人群和企业主。
律师、会计师、咨询师,这三个职业最刚需。他们处理的数据天然敏感。
小公司老板,特别是之前在用ChatGPT Team但觉得贵的那种。
医疗机构、教育培训机构、金融从业者。
怎么找他们?去这些行业的社群、知乎话题、同行群里混脸熟。别上来就卖,先聊聊他们的AI使用痛点,很多人自己都没意识到需要self-hosted方案。你一提,他们就觉得「对对对我要的就是这个」。
第四步,标准化你的交付流程
这个很关键。你每做一单,就把步骤记下来,写成SOP文档。
第一单可能要花3小时,第三单1.5小时,第五单40分钟。
把Docker部署脚本做成一键安装包,把配置文件模板化。客户只需要告诉你他要用什么模型、几个用户,你改几个参数就行。
交付的时候录一个简单的操作视频给客户留底,以后有问题他可以先看视频,减少你的售后时间。
第五步,把一次性交付变成持续收入
每交付一单,都主动提月度维护服务。维护费不高,300-800块,但客户几乎不会拒绝。
因为一旦用了self-hosted方案,他们就是没有运维能力的普通人,系统出问题他只能找你。
而你维护的成本其实很低,大部分时候就是看看日志、更新一下版本、偶尔换个API key。一个月花在每个客户身上的时间不超过两小时。
这活适合什么人干
先说不适合的。如果你完全不懂Linux,没用过Docker,不知道什么是端口映射,那你需要先花时间学。不建议零基础直接冲。
适合的人,
- 会基本的Linux命令行操作
- 用过Docker,知道compose是什么
- 了解AI API的基本概念(模型、token、温度这些)
- 有耐心跟非技术人员沟通,能把技术问题翻译成人话
最后一点特别重要。你的客户不是程序员,他们听不懂你说「你的vLLM配置里num_gpus参数要改一下」。你得说「我帮你调了一下AI的运行速度,现在回答问题会快一些」。卖方案不是卖技术。
我自己也还在摸索中。这个方向我做了两周,目前还只是兼职在做。但怎么说呢,直觉告诉我这个方向能跑起来,因为需求是真实的、刚性的、而且竞争对手很少。你去搜「私有化AI工作区部署」,能看到的项目和教程寥寥无几。大部分人还不知道这个方向存在。
踩过的坑
这些是我自己踩的,提前知道能省不少事。
坑一,别在客户的机器上装GPU版本地模型,除非他真的需要
我给那个跨境电商老板第一次部署的时候,好心在Cookbook里帮他下了一个7B的本地模型,想着可以省API费。结果他那台4核8G服务器一跑模型就卡死了,其他网页都打不开。客户当场就有点不高兴。后来我把本地模型去掉,全走API,丝滑无比。
教训就是,没有GPU的服务器就老老实实用API。本地模型是锦上添花,不是雪中送炭。除非客户明确要求跑本地模型,否则别自作主张。
坑二,邮件模块配置是最大的坑
Odysseus的邮件功能需要配IMAP/SMTP,每个邮箱服务商的设置都不一样。我第一次给律师配他律所的企业邮箱,折腾了快两个小时才搞定。Dovecot的明文认证、SSL端口、授权码……各种奇怪的配置问题。
如果你接单,建议把邮件配置列为「可选附加服务」,另外收费。不要把邮件配置包在基础版里,不然你的时间成本收不回来。
坑三,备份方案一定要提前做好
有次我自己的测试服务器硬盘满了,Docker容器全崩了。Odysseus的数据存在本地的data目录里,还好我之前做了定时备份。从那以后我给每个客户部署都会加一个自动备份脚本,每天把data目录打包到云端存储。
客户的数据就是你的责任。丢了数据,不管什么原因,你的口碑就完了。
坑四,不要承诺什么模型都能跑
Cookbook虽然能自动推荐模型,但不是所有模型在所有硬件上都能正常跑。有些模型对CUDA版本有要求,有些模型需要特定的量化格式。你自己的测试环境跟客户的生产环境可能不一样。
我在合同里写的是「推荐并部署适合您硬件配置的模型,具体效果以实际运行为准」。先把预期管好,省得到时候扯皮。
最后说几句
写这篇的时候我一直在想一个事儿。
半年前,self-hosted AI还是极客圈子里的玩具。大家折腾Ollama、跑llama.cpp,图的是新鲜感和省钱。但最近风向变了。WSJ说企业在定量配给AI,微软说AI比雇人贵,HN上356分的热帖说「干脆取消AI订阅算了」。
当越来越多人开始质疑AI订阅模式的性价比的时候,self-hosted方案就从一个「geek选项」变成了「理性选项」。而这个转变,对有能力帮别人部署的人,就是一个赚钱窗口。
Odysseus这个项目11.3K星,HN上169分,说明需求是真实的。但它现在还处于早期阶段,文档不够完善,有些功能还在打磨中。对普通人来说这恰恰是好事,意味着大部分潜在客户还不知道它的存在,知道的人也不确定自己能不能装好。
你帮他们装好,他们愿意付费。就这么简单。
我也不知道这个窗口能开多久。也许半年后,这些self-hosted工具会变得足够简单,任何人都能自己装。也许AI公司会推出真正合规的企业版方案,self-hosted就不那么必要了。但至少现在,这个需求是真的,供给是缺的,你能做,有人愿付。
这就够了。
磨平一些信息差。
🎁 我整理了私有化AI工作区部署的完整资料包
包含Odysseus一键部署脚本、常见问题排查手册、客户沟通话术模板、定价策略参考表、以及几种典型行业的定制方案模板。
从部署到接单到维护,全套直接拿去用。
👉 查看提示词包常见问题
私有化AI工作区搭建副业适合什么人做?
适合会基本Linux操作、了解Docker、有服务器运维经验的普通开发者。零基础需要一到两周学习时间。不需要是AI专家,重点是懂部署和排障。如果你完全零基础但想往这个方向走,可以先用我之前写的本地模型部署方法练手。
帮人部署Odysseus私有化AI工作区怎么收费?
个人版部署800-1500元一套(含安装配置和基础教学),企业版3000-6000元(含定制配置、数据迁移、团队培训和月度维护合同)。月度维护费300-800元。建议从个人版入手积累案例,再推企业版。
搭建私有化AI工作区需要多少投入成本?
Odysseus完全开源免费,零软件成本。云服务器最低配2核4G约99元/月,如果客户需要本地模型推理,GPU服务器约300-800元/月。你前期只需要花学习时间,熟练后一单个人版部署1-2小时就能搞定。
Odysseus和ChatGPT、Claude比有什么优势?
核心优势是数据完全在自己服务器上,不经过任何第三方,适合有隐私合规需求的律师、金融、医疗等行业。功能上集成了聊天、Agent、深度研究、文档编辑、邮件AI分类、记忆系统等模块,覆盖ChatGPT和Claude的主要功能。还支持接入本地模型,长期token成本远低于订阅制。
私有化AI工作区部署服务一个月能赚多少?
兼职做月入5000-10000元,全职做月入1.5万-3万元。关键在于把服务标准化,从一次性部署转向月度维护合同,维护费是持续收入来源。企业客户复购率极高,签了维护合同基本不会走。