双卡nvidia a6000 48g,没有nvlink,每张卡分别部署了一套qwen 3.8f q4。
让astra自己写了个负载均衡的管理系统,速度不错啊。
希望后续能跟进别的模型 ^-^。
q4 够用吗?
画了只鹈鹕感觉还行啊,claude desktop画的
用的哪个量化?
Unsloth 的 UD-Q4_K_XL 混合量化