• sandy

    打算买2张2080ti,搞一个qwen3.8-27b量化版本,可能Q4或者Q6吧。你觉得有没有必要?听说现在优化得很好了,可以到160tokens/s了,我想用来处理一些日常简单的任务,有没有必要?不必考虑电费。

    想请教一下:这个相当于claude或gpt的什么水平?256k的上下文够干什么?

    主楼
  • onion

    我用来接hermes聊天,主打省钱,而且这种使用场景也无所谓智商了

    #1
  • W1nge

    可以考虑考虑qwen flash next哦 ^-^

    #2
  • xqc

    ^-^感觉还是玩具,基本上相当于GPT3.5这样

    #3
  • Xer56

    当执行者挺好的,制定 plan 不够格。

    #4
  • lopez

    Q4文本问答可以,编程上下文注意力不够,反复提的都不理你。建议先租机器玩玩,满意再买硬件

    #5
  • quina

    我觉得暂时没必要,实际上便宜的token有的是,实际上自己真本地部署的花的钱又多质量也一般,不如你花点小钱在在线的套餐上随时用

    #6
  • sandy

    好的,谢谢提醒,就是看别人玩心里痒痒

    #7
  • popyui

    日常任务啥也干不了。没有必要。

    但是部署一个私有化模型很有必要。

    #8
  • sandy

    为什么这么说?你是说换一个模型?

    #9
  • popyui

    不是,目前本地最合适部署的还是qwen3.8 27b。

    这玩意她方便啊,有啥事情别的地方不让干的,是吧,放在自己电脑上,慢点差点。

    解决从无到有的问题

    #10
  • sandy

    说的也是啊,本地的模型除了干一点无痛无痒的杂活,其实也没什么用。但无痛无痒的杂活,我的 MacBook Pro 都可以本地部署那种简单模型解决。

    #11
  • Wangzy

    没有必要,这种小模型公益站是无限量供应吗,免费的没人愿意用

    #12
  • zayme42222

    没必要。便宜的开源模型根本不需要花钱

    #13
  • Zephyr

    没啥必要,买两张2080ti的钱,ds能蹬好多年了 ^-^

    #14
  • zikhir

    我本地部署部署玩了一下,但可用上下文窗口太小了,基本啥都干不了,也就用在数据脱敏上了,但是数据脱敏在其他更小体量的模型也能做,比如gemma4 e4b,所以也没找到这个模型适用的场景

    #15
  • 不会忍的忍者

    从 qwen3.5-3.6-3.8,用了很多模型了,直接省流:外面的说法全是骗人的,总体验时长可能不超过几个小时,就发个评测说:碉堡了。长难活,基本没法用,短快的活,知道明确结果只是自己懒得做的,可以用,结果一般都得改。

    #16

发表回复

登录后回复