@catazshadow 噢噢，就是直接 pcie 拆分 4 卡的是吧。确实 pcie 也听够了，我之前搞过一个 pcie x1 拆分 4 卡的，当时也测不出有什么差距，但后来不知道被我丢哪去了。

@lyonll 我有空也测测 turbo3 ，但其实 q4 我觉得就已经有些不太行了。 我就是体感劣化，有的是很明显的劣化的，就是很简单的任务，比如我让他改一个前端展示从 ID 改成获取名称展示，改了量化之后他直接开始一直循环不输出结果，这种就是明显的劣化了。 我 q8 跑就是很慢，但是基本上任务都能完成，但是 q4 还是会有概率出现乱回答或者死循环。 --- 然后还有就是我个人感觉本地部署 pr

@GuardX 反正我看了其他的帖子基本上也是这个结论：「 Q4 及以上质量良好，Q4 以下断崖式下降」

@GuardX 12G 能跑 q2 吧，上下文应该能到 128k ，不行就将降低到 64k ，kv 应该也只能跑 q4 （ q8 理论占用就要 8G 显存了），但我觉得 q2 写代码的话还是不太行的，你日常对话玩玩还行。

@catazshadow hh ，我也在考虑，但是现在好像 nvlink 都还是挺贵的状态。 这个 T10 是 Tesla 还是 Turing 啊？

@jhytxy 是 gemma4-31B 吗？我看 AA 上面的 Intelligence Index 还蛮低的，满血才 30 分，上一代的 qwen3.6-27B 满血都有 38 分了。他的 Q4 的会比 Qwen3.8-27B 的 Q8 量化还厉害吗？ 上一代的 Qwen3.6-27B-Q4 对我来说也是不可用的状态。3.8 我这几天用下来感觉是达到可用水平了。

@realJamespond udq6kl,kvq8,mtp3,c64k 这个配置你主要是用在什么场景？ 我这里的话 c64k 太小了，写代码一直在那 compact ，然后 kvq8 100tok/s 的 prefill 速度我写代码平均 ttft 都要 100 多秒，有点难受。

@catazshadow 确实是这样。V100 Q4 有时候也能 1000 多，应该不是算错，感觉是合理峰值。Q5 性能确实比 Q8 还更差，Q8 偶尔还能上 100.

@chengsitom 一天 4 度左右吧

我觉得 V100 用 Q4 KV 就是极限了，只有用 Q4 能到 500 左右的 prefill 速度，Q5 开始就几乎上不了 3 位数了。

@catazshadow prefill 的速度怎么样

@paranoiagu 这个 chat template 你用的是哪个。有用吗，我还没自己测这块，之前 Qwen3.6 的时候调了半天，最后发现调的乱七八糟的。