• Little_100

    图片

    模型详情页 · 魔搭社区

    不知道角色扮演咋样 ^-^

    要是有小模型和35a3b就好了(

    主楼
  • Clancy_Wang

    Qwen 的小模型一直很不错,无论是本地部署还是微调可玩度都挺高

    期待35B A3B

    #1
  • 996

    我的配置3090基本只能跑4bit,等社区出来估计还要多等一个小时

    #2
  • GloryDuck

    热度很高 全球都在等。

    这次没35B太难受了,35B的那种畅快拉token的感觉,用过再也忘不了。


    27B 4090只有45tps 35B有150tps。

    实测同一个任务35B只要1/4的时间,秒回的感觉就是爽

    #3
  • Qwara

    ber “马上见面!”是什么喵^-^

    #4
  • Baimosama

    35b不是参数更大吗,为啥比27b还快

    #5
  • zzq

    出来了吗?我永远爱 qwen 的小模型 ~

    #6
  • zzq

    因为 35b 其实是 35b-a3b,moe构架,激活参数小。

    27b 是稠密的。

    #7
  • 美丽新世界

    各位大佬们,我的是5090d 24gb的 大家推荐部署哪个? 如果都占满 感觉温度太高了,而且是不是应该要留一些显存给其他使用呢?或者说 可以同时多处进行调用,求大佬们推荐

    #8
  • GloryDuck

    开源了 视觉模型。

    图片

    modelscope.cn

    图片

    千问3.8-27B

    ModelScope——汇聚各领域先进的机器学习模型,提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里,共建模型开源社区,发现、学习、定制和分享心仪的模型。

    图片

    #9
  • Christ9038

    huggingface.co

    图片

    unsloth/Qwen3.8-27B-GGUF · Hugging Face

    We’re on a journey to advance and democratize artificial intelligence through open source and open science.

    unsloth做量化是真快啊^-^

    #10
  • Christ9038

    5090的话就NVFP4的27B呗,上下文做做量化,看着剩余显存空间给。

    #11

发表回复

登录后回复