• gobert

    你部署一套设备+运维+电费+人工,总成本估计够买opus/sol订阅额度10年,够luna额度20年,即便为了数据的相对安全,去买国产api,那也够小10年,还要被蒸馏和路由

    要想绝对安全,同时还要全公司爽用v4.1 flash这个体量的模型,不来几个H200 B200 是不现实的,自己算算能买多少年api

    端侧模型这个世纪骗局快圆不下去了,下一步估计是改成吹100M级的开发板/树莓派 边缘模型,但是随着几乎无延迟几乎不要钱的jev的发布,边缘计算这种场景会不会被jev类的判断模型完全覆盖还不好说了

    主楼
  • yeluo001

    只要有数据安全要求,本地部署的需求就不可能消失

    #1
  • 初九猫

    也不一定,就现在这个硬件价格,指不定前几年买的硬件现在价格已经翻几番了(

    #2
  • 小风小浪

    那我未审查谁给我补上。我现在16g好歹能用27b给我开个头,接deepseek, 什么都能做

    #3
  • gobert

    那也是因为claude gpt deepseek这些商业模型的大幅降价和普及,是数据中心的需求,和端侧这个伪概念没有关系

    #4
  • Arron

    国内这环境永远有需求。。。恨不得每个公司都有几套私有云。

    #5
  • alizoed

    感觉,不如qwen3.8flash-next,规模小

    #6
  • zhang

    两个字安全,这就够了,不是什么项目都是效率第一,很多东西是安全压倒一切

    #7
  • Wkstr

    qwen-27B 还有一些生图模型,有中高端消费级显卡即可部署。个人来说,折腾是乐趣所在

    至于商业的话,现在云端的大模型的商业链路也就 coding 跑通了,还没有必要奢望端测模型能跑通商业模型。另外总有合规和保密的要求,泄露造成的损失高于自部署的成本,就只能自部署了。

    #8
  • yuanbimu

    隨著雲服務器的降價,本地服務器就沒有用了說是 ^-^

    #9
  • jerryust

    有个问题你没考虑到,OpenAI和Anthropic的模型安全护栏太高了,很多东西没有本地都做不了了。

    #10
  • yunafantasyx

    你部署一套设备 + 运维 + 电费 + 人工,总成本估计够买 opus/sol 订阅额度 10 年,够 luna 额度 20 年,即便为了数据的相对安全,去买国产 api,那也够小 10 年,还要被蒸馏和路由

    我觉得你说的挺对的,卖了 5 月份部署的 PRO6000,赚的钱可以订阅 5 年吧

    #11
  • 点点点…点娘!

    不是,哥们,你以为本地部署的主要原因是因为价格吗

    价格反而是驱动力最小的

    前不久,路透社的母公司用千问 3.5 微调了一个版本,是因为人家没钱吗^-^

    #12
  • IkedaTeresa

    The Information昨天不是才报道过约谈吗, 商业上内部的数据安全还是很重要的.

    #13
  • runner_dhero

    端侧咋可能没需求啊,谁都愿意自己数据先给模型商看一遍?这就是最铁的需求啊。我朋友所在的一个相对涉密的企业,连国内模型的api都不让用,只能用自部署的。

    #14
  • pony

    本地部署模型从来不是为了降低成本,你方向搞错了

    #15
  • ArkaneFans

    端侧和云端模型使用场景都不一样,就像现在搞comfyui画图流程的,很多都是用本地部署模型

    #16
  • Humpy

    大家只是在意成本,不是没有需求,可控核聚变搞了一个世纪了,不还在搞吗,你本地模型部署能比这个还遥远?

    #17
  • nijun

    未来是开源的未来,开源Agent加开源模型。

    现在硬件价格打不下来,但是富人已经享受上了呀,欧洲那边用的都是自部署。

    #18
  • jcc

    为了数据安全,端侧永远是刚需

    你也不想代码和所有的信息都交给某个巨头吧

    #19

发表回复

登录后回复