- gobert2026-09-2322911
你部署一套设备+运维+电费+人工,总成本估计够买opus/sol订阅额度10年,够luna额度20年,即便为了数据的相对安全,去买国产api,那也够小10年,还要被蒸馏和路由
要想绝对安全,同时还要全公司爽用v4.1 flash这个体量的模型,不来几个H200 B200 是不现实的,自己算算能买多少年api
端侧模型这个世纪骗局快圆不下去了,下一步估计是改成吹100M级的开发板/树莓派 边缘模型,但是随着几乎无延迟几乎不要钱的jev的发布,边缘计算这种场景会不会被jev类的判断模型完全覆盖还不好说了
主楼 - yeluo0012026-09-235622
只要有数据安全要求,本地部署的需求就不可能消失
- 初九猫2026-09-238304
也不一定,就现在这个硬件价格,指不定前几年买的硬件现在价格已经翻几番了(
- 小风小浪2026-09-235836
那我未审查谁给我补上。我现在16g好歹能用27b给我开个头,接deepseek, 什么都能做
- gobert2026-09-2322911
那也是因为claude gpt deepseek这些商业模型的大幅降价和普及,是数据中心的需求,和端侧这个伪概念没有关系
- Arron2026-09-2314872
国内这环境永远有需求。。。恨不得每个公司都有几套私有云。
- alizoed2026-09-2313055
感觉,不如qwen3.8flash-next,规模小
- zhang2026-09-234798
两个字安全,这就够了,不是什么项目都是效率第一,很多东西是安全压倒一切
- Wkstr2026-09-2310254
qwen-27B 还有一些生图模型,有中高端消费级显卡即可部署。个人来说,折腾是乐趣所在
至于商业的话,现在云端的大模型的商业链路也就 coding 跑通了,还没有必要奢望端测模型能跑通商业模型。另外总有合规和保密的要求,泄露造成的损失高于自部署的成本,就只能自部署了。
- yuanbimu2026-09-2332153
隨著雲服務器的降價,本地服務器就沒有用了說是 ^-^
- jerryust2026-09-2317136
有个问题你没考虑到,OpenAI和Anthropic的模型安全护栏太高了,很多东西没有本地都做不了了。
- yunafantasyx2026-09-2332224
你部署一套设备 + 运维 + 电费 + 人工,总成本估计够买 opus/sol 订阅额度 10 年,够 luna 额度 20 年,即便为了数据的相对安全,去买国产 api,那也够小 10 年,还要被蒸馏和路由
我觉得你说的挺对的,卖了 5 月份部署的 PRO6000,赚的钱可以订阅 5 年吧
- 点点点…点娘!2026-09-2317582
- IkedaTeresa2026-09-238229
The Information昨天不是才报道过约谈吗, 商业上内部的数据安全还是很重要的.
- runner_dhero2026-09-237811
端侧咋可能没需求啊,谁都愿意自己数据先给模型商看一遍?这就是最铁的需求啊。我朋友所在的一个相对涉密的企业,连国内模型的api都不让用,只能用自部署的。
- pony2026-09-235971
本地部署模型从来不是为了降低成本,你方向搞错了
- ArkaneFans2026-09-2316653
端侧和云端模型使用场景都不一样,就像现在搞comfyui画图流程的,很多都是用本地部署模型
- Humpy2026-09-2312159
大家只是在意成本,不是没有需求,可控核聚变搞了一个世纪了,不还在搞吗,你本地模型部署能比这个还遥远?
- nijun2026-09-2322568
- jcc2026-09-235281