VeroFess · 2026-08-18T20:44:00+08:00

长话短说: 用 llama.cpp 官方版跑 qwen 3.8 28b q8 慢的人头疼, 于是就重写了亿点点…来看战绩!

VeroFess2026-08-18
29288
长话短说: 用 llama.cpp 官方版跑 qwen 3.8 28b q8 慢的人头疼, 于是就重写了亿点点…
来看战绩!
主楼
ischen2026-08-18
35172
最近也准备自部署个玩玩，有开源计划吗佬
#1
南风起2026-08-18
25617
佬，一样的卡，求开源啊，写代码效果可以吗，看数据挺强的
#2
VeroFess2026-08-18
29288
已经开源了，但是懒得整开源推广那一堆东西，自己找找吧 @ischen @NanFengQi
#3
leioukupo2026-08-18
6692
单3090 16g内存能拉多少上下文
#4
VeroFess2026-08-18
29288
3090没有16g这个型号吧？如果说单卡的话可以q4拉满262144，但是那个优化我没上传
#5
lynn1682026-08-18
21042
我说可能啊有没有可能是Qwen3.8 27B
#6
VeroFess2026-08-18
29288
改了改了! 刚刚脑子卡了… 咳咳咳
#7

登录后回复

双 3090 跑 qwen 3.8 27b q8 拉爆 4090! 并发 1 - 80.95 t/s + 并发 8 - 124.87 t/s