qwen3.8 flash 本地部署飞起

llama.cpp 折腾日记

之前主力用的是 Qwen3.8-Flash-Next（从 Qwen3.8 27B 切过来的），部署方案是经典的 llama.cpp + Unsloth UD-Q4_XL 量化。

说实话，短上下文（比如几千字对话）体验确实不错，速度能稳在 40 t/s，质量也没啥问题。但一旦遇到长文档场景（比如 100k 上下文），直接崩盘：

- Decode 速度腰斩：从 40 t/s 掉到 20 t/s，生成速度肉眼可见地变慢，基本没法用。

- Prefill 太慢：刚开始读文档那会儿（Prefill阶段），峰值也就 500 t/s 左右，随着上下文累积，速度还会进一步掉到 300+ t/s。处理一个长 PDF 得干等着，体验极差。

^-^ 换引擎vllm

最近看到社区有个针对长上下文优化的版本：huggingface上面的 albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE`。我让本地qwen3.8 27b折腾了下部署,效果炸裂.

^-^ 实测数据对比（100k 长上下文场景）

指标 |
旧方案 (llama.cpp) |
新方案 (vLLM + W4A16) |
提升幅度 |

Prefill (读入速度) |
~300-500 t/s |
> 1000 t/s |
^-^ 2-3 倍 |

Decode (生成速度) |
~20 t/s |
> 50 t/s |
^-^ 2.5 倍+ |

代码编写场景 |
18-25t/s |
~60 t/s |
^-^ 流畅 |

^-^ 我的“垃圾佬”硬件配置

这套方案是在消费级魔改卡上跑的，配置如下：

GPU：2x 魔改 RTX 3080 20GB(部署qwen3.8 flash next) 3x 魔改 RTX 2080 Ti*(部署qwen3.8 27b)

CPU：AMD 7543

内存：32GB x 8 DDR4-2666MHz

显存占用

测试了几道常见题目效果(xhigh模式)

秦始皇骑骡子巡游古长城svg动画

鹈鹕骑摩托车svg动画