- Ruby2026-08-08
有感而发，写下本贴，主要是想和各位佬友进行一个本地AI的大讨论。
事情的起因是在和朋友聊及本地AI时，大部分人的第一反应都是部署成本高，智商低。
即使大部分人认为本地AI不具备任何实际用途，但也有一部分人热衷于折腾本地部署，包括我。
这不禁让我有疑问折腾本地部署的人，到底图些什么呢？
为了讨论这个问题首先我们先来梳理一下当前本地部署AI的几个大方向的发展情况。
大语言模型
无论是从早期的llama系列到现在的qwen35基模/gemma4基模系列，还是如deepseekv4f等现今的主流开源模型。本地大语言模型都是本地化AI部署里最关注的一环。
- 对于个人部署而言：受限于内存/显存容量，更多的人考虑的还是qwen35/gemma4基模里的各类模型。若选用的模型参数量低如qwen3.5-9b/gemma4-e4b等低存储需求的小模型会出现模型能力不够的问题，而选用相对能用如qwen3.6-35b-a3b系列或者gemma4-26b-a4b系列时又会因为同时占用内存和显存导致只能空有枪没有靶的问题。更大的如qwen3.6-27b/gemma4-31b的dense模型则需更大的显存，这对消费级显卡来说很难承受。
- 对于企业部署而言：受限于成本，花费上百万部署一个本地AI服务器供给开发可能不如直接走b端API订购等路径来的实在。
无论是个人部署还是企业部署，本地AI的选择似乎都很容易被线上模型所替代。
个人可以用dsv4f和gpt5.6luna等白菜价模型，企业大批量采购api比自部署带来的成本节省。这无疑给本地模型判了死刑。那为什么还要折腾呢？
本地模型由于其小参数量确实不具备太多的生产力。写代码生产侧都是宁愿用更强的模型，更强的模型意味着更高的效率，“用gpt5.6sol一句话能解决的事情并不想用27b的模型试错无数次”。
生图模型
现有的开源生图模型如krea2/anima等，在开源社区的影响下也有自己的一片天地。
对于个人部署而言，开源生图模型更多的是用来NSFW，而非是用于真正的生产环节。
对于企业而言，开源生图模型的意义被更强的如香蕉/gpt-img2等闭源模型取代。更别说闭源模型近乎白菜的价格
视频生成模型
随着海螺MiniMax H3的发布，本地视频生成部署又开始走向大众视野，先前的Wan2.2/LTX2.3都没有H3发布给人带来的惊艳感。
从comfyui适配演示里说的32g内存+3060 12g可玩再到凭借开源社区的推进，16g内存+4060 8g笔电也能很快跑通10s时长的生成。
受限于Seedance2.0近半年的垄断，闭源模型价格一高再高，这波H3开源给很多从事AI满剧/短剧开发的人带来了希望。事实也确实如此，低成本的设备就可以很好的跑通高分辨+15s时长的视频生成。
对于工作室而言，H3的发布或者也能成为他们用更低的成本带来更高的生产力。
从上述的几个方向来看，大语言模型的本地部署由于其高成本低生产力被线上白菜价模型所取代。开源生图模型除开NSFW用途也被白菜价的闭源生图模型取代。仅有视频模型方向从与闭源模型差距越来越大的情况下，靠着H3的发布扳回一城。
我的观点：
本地模型诚然很难追上现有的闭源模型，够用的程度也是因人而异；倘若仅接入如hermes，workbuddy等个人agent。qwen的35ba3b和gemma的26ba4b也足以胜任，而代码开发工作则需更强的模型最接近本地部署的体量的模式是dsv4f，而当前部署dsv4f的成本是很高的。
视频模型的部署成本之所以能够低下来得益于其无需语言模型的每个token都需完整推理，其一次完整推理则完成了其中的一步，通过动态显存技术可以解决这一问题。生图模型本身也能够通过动态显存技术解决这一问题。
那么为什么我们还要这么热衷于本地部署呢？
- 一部分原因是因为有一批人热衷于对探索体验新的技术，哪怕仅是尝试一下，这种折腾过后带来的爽感是无可比拟的
- 另一部分原因则是，无论是我还是各位佬都相信技术平权，我们都相信开源带来的不仅仅是技术的公开，更多的是将技术普及化，让技术平权走向普罗大众，我们折腾开源模型的本地部署，不仅仅是相信其会越来越强，也是推动其开源生态的发展。
写在最后：
本地开源模型不该被一句智商低下，不能够用来生产而被贬低。相信其随着技术的发展，终会会在未来展现自己独有的一面
主楼 - 席乐2026-08-08
我认为：本地模型一直被大多数人认可
你觉得大多数人不满意可能是每个人的信息茧房吧，我觉得本地模型一直被大多数人认可
比如大部分语音输入法里有个本地模型，我很满意这样的设计
比如大家相机里面，就有个二维码识别的本地模型，我很满意这样的设计
网络会议软件里，有一个自动虚化背景的功能，也是一个本地模型，我很满意这样的设计
我感觉：
你不满意的是亲自选择，调试，部署，本地的小模型的工作太烦
或者你有本地模型达不到的需求，但你依然期待本地模型能完成，你才会对本地模型不满意吧。
- elpicio2026-08-08
佬友说的这些似乎并不是传统意义上的大模型，这些更多是专用的小模型。软件集成的的语音，图像处理模型基本都在0.1b这个量级以内
- grwhenrett2026-08-08
你说的这些都是小模型，不是大模型啊，这些运行起来算力几乎为零
- Grogu2026-08-08
- Xuezi0032026-08-08
楼主混淆了“本地模型”和“小模型”，你想表达的应该是“可以在普通PC上部署的小模型”
- xiaomao2026-08-08
因为穷啊，我家里要有8*b300，我也本地
- grwhenrett2026-08-08
本地大模型还是有需求的，一些打标的场景下参数小的大模型就可以完成，对时间敏感可能有用
- hwang2026-08-08
qwen 的 35ba3b ： 24GB显存（台式机）或 32GB统一内存（Mac）
gemma 的 26ba4b： 约 12~16GB 显存
佬，你不会以为这两个硬件的需求很低吧？
尤其是你标题里的“大多数人”，“大多数人”不是不认可，是没有认可的条件。
而且你的
不能够用来生产而被贬低：为什么qwen 的小模型会被众多开发者吹捧呢？就是因为它的这些小模型用在生产环境上面恰到好处。 - 席乐2026-08-08
- Ruby2026-08-08
不，我并不认为这俩硬件需求低，但实际上来说32g内存比显存更来得容易
- Neo-linuxdo2026-08-08
不是不被认可。目前开源模型其实刀法精准：正好卡到那个大众市场甚至下游厂家无法高性价比有效部署边界上。
其中商业逻辑和思路很复杂，因为闭源模型本就是靠资源门槛构筑垄断的绝对门槛。
所以开源模型并不能寄予AI平权、众生赋能的厚望，你把它理解成一个难以证伪、效果无法保障、需要极高资源门槛的资本性技术营销推广手段，更加合适。
目前针对开源模型落地应用，其实实践比你想象得还多，效果都不太好，或者说，先别说是否能承载了，这个模型能力本身已超出了下游应用者的掌控能力，用起来更像是颗不可控的炸弹 ^-^
所以，好不好，认不认可，看你怎么看，看你怎么用。
- 傻鸟2026-08-08
在他们的应有的领域里是被认可的啊，而且是不可替代的，低成本方案你不用也不行啊。
- 席乐2026-08-08
你说的大小模型是和需要的算力匹配的吗？楼上还说跟参数量匹配呢。
算力只对应的推理规模。你能说 99 乘法表不是数学吗？
只要是基于 Transformer 用大量语料预训练的都算现在理解意义上的大模型。
哪怕是 TTS,ASR,IMAGE,VIDEO,VLM 都算
OCR模型可能不算，所以我没举 OCR的例子，百度 paddle 我不确定是否 transformer 架构
- Vegetable2026-08-08
我自己就很喜欢本地部署模型那种螺蛳壳里做道场的感觉，但是本地小语言模型有一个很巨大的问题：部署的硬件成本对个人很高，对企业来说又不如直接购买api划算。
而且就算解决了硬件成本，调试依旧很费功夫。每个人有不同的硬件配置，需要按照实际的工况来计划内存和显存的使用。种种限制导致了小模型的应用面非常窄，愿意为之付出时间精力的开发者就更少了。
但是我个人对小模型的前景相当看好。我认为简单的任务就应该交给本地部署的小模型，而不是一股脑扔到数据中心去浪费。如果佬友有兴趣的话亦可进一步交流。我本人也在做全本地部署的项目。
- 水星2026-08-08
可能是商业利润达不到吧，不妨碍端侧可以内置的小模型，很好用
- Neo-linuxdo2026-08-08
是要保护商业闭源模型的利益，要打掩护。
- 杰洛·齐贝林2026-08-08
- zitons2026-08-08
实际上很多分类之类的工作小模型也可以很好胜任，而且还不用自己训练模型，成本还是很低的，当然我是说处理数据，如果用大量级模型不可能
- Ruby2026-08-08
是啊，个人很喜欢这种折腾的感觉，但是其本身具备一定的门槛，且可能效果不如闭源白菜的模型