• Blackwood416

    最近不管是LLM还是AIGC领域,本地部署都逐渐地在降本增效。像最近Qwen3.8-27B挺火的,有各种量化出来,不过其实我更看好的是Qwen3.8-Flash-Next这种新架构的MOE,优化好以后对普通硬件会更加友好,而且这可是现在还在服役的在线模型,能力比27B还强。最近ds也在搞小模型,大伙觉得明年本地部署会像今年的agent一样大爆特爆吗?

    主楼
  • Micraow

    感觉本地能部署的小模型还是蠢啊。。

    #1
  • Eevee

    我觉得是未来的风口

    但绝不是 27 年的风口

    至少要把硬件价格压下来才行

    而且模型要满足基本需求

    #2
  • jue

    这个得看国产模型发力了,感觉oai和a\是不用指望了,27B都已经这么棒了,再过两年还得了啊

    #3
  • yaho

    就现在这硬件价格,什么时候“矿难”了什么时候才是风口 ^-^

    #4
  • RanboJames

    我觉得非常有搞头!奈何实力不足!

    #5
  • 瓜几

    买了一个v100玩qwen 3.8 27b,能用,当然只能给自己打点小零工,性价比可以说是0.未来也许会有更便宜的硬件吧

    #6
  • xiedian

    27年不可能,感觉30年有可能,我说的是flash级别fp8和至少q4的,不是什么27b,a3b这种的模型

    #7
  • peiyangium

    据我所知,那不是25年的风口么……

    #8
  • Blackwood416

    佬可以了解一下,10B及以下的小模型最近半年确实没大动静,不过最近的Qwen3.8-27B已经能追上在线模型的尾巴了,还有我说的Qwen3.8-Flash-Next,本地有很多硬件都能跑量化版了

    #9
  • MIKU-linuxdo

    主要还是得硬件价格下来,目前显卡之类的价格不好看

    #10
  • sssunsss

    没可能,买一个跑千问的27B的硬件,够你充几年的gpt pro会员

    #11
  • hhelibeb

    厂商偷数据越来越猖狂了,未来两三年本地部署肯定会非常流行

    #12
  • wjy

    五年之后的风口吧,硬件价格不减下来,怎么本地部署小模型

    #13
  • Blackwood416

    宏碁不是说消费级内存并不是没货?我觉得需求大了以后还是会降的。显卡也是,虽然N卡涨疯了,但是A卡和I卡也是会发展的。

    #14
  • Micraow

    可惜我只有核显,内存也不大,呜呜

    #15
  • 云兮

    qwen-image-2.1 minimax h3 绝对生产力工具啊,无限出图和视频,很有搞头。。

    #16
  • 风

    呜呜呜,啥时候macbook 能再掉到5000左右,那才是风口,现在都涨成天价了

    #17
  • 长夜

    不会,起码要到2029-2030前后。

    要等前沿大模型撞到成本墙,迭代速度开始明显的降速。出现非常典型的长期服务版本——这个应该明年差不多了。

    然后还需要2年左右的时间研究和流片(权重刻在芯片上)。

    然后你就看吧,本地部署的大模型(注意,不是千问27b这种本质小模型,而是1Tb以上的大模型)就要开始席卷全球了。

    #18
  • Blackwood416

    嗯嗯,国外几家除了谷歌都不咋搞开源小模型

    #19

发表回复

登录后回复