RTX3080 20G部署qwen3.8-flash-next-iq2_xs

decode速度在100tps左右已经很强了吧

哇靠？

20G就能部署iq2？

那我这96G显存，昨天跑了iq4占用70多G的显存，是有什么优化方案吗？

他这个是正常的，他就是会把里面东西都塞满，能塞满的都塞满，它的 20G 显存之所以能跑是因为把模型分散到了其他地方，而你就是尽可能放在显存，还是要看速度

原来如此！昨天看了，都在显存的话，速度28 token/s ~ 35 token/s 体验还不赖呢

这么低吗那可能有点问题，我这边 48g 加 64 内存跑 iq4 有 140 左右

用 strata 的吗

害，这卡的cuda就6144，凑合能用

我是 4090 48g 哈哈哈，挺爽的

我看Codex直接给我用llama跑的？这是啥另外一种部署方式是吗？

你直接问他就行，和他说查一下qwen3.8Flashnext 的 strata 是什么让他挑选合适的部署就好

晚点我去试试，谢谢佬友的科普哇～

羡慕显存大的，我只能9060XT 50token/s在那里苟着了

这个量化，智商咋样