A100/A800 部署 DeepSeek V4 Flash 0731 实战

前言

截止目前为止，vLLM 官方版本都不支持在 30 系上运行 DeepSeek V4 系列(vllm-project/vllm/issues/40851)

关于 DeepSeek V4 Flash，站内已经有很多部署成功的案例了，DGX Spark、RTX Pro 6000、H800 等等，8 卡 A100 也有一篇四月份的，但是用的是 llama.cpp，看上去性能不太理想，只有 14 token/s 左右，属于玩具级别。

之前就注意到有一些第三方的 vLLM/SGLang 版本解决了 A100/A800 不能跑的问题，但不确定实际效果怎么样，正好手头有闲置的算力，因此进行了实验，本文为实验结果。

本人比较熟悉 vLLM，而且 vLLM 这个版本可以使用原版模型，不需要量化或者 gguf，因此就只测试了这个。

抛砖引玉，测试方法比较粗糙，欢迎大家交流指正。

测试环境

GPU: 4 x A800 80GB (sm_80)

Engine: lazymio/vllm-backport:v0.2.0-sm80 on Docker

Model: deepseek-ai/DeepSeek-V4-Flash-0731 (官方原版模型)

测试于 2026/08/11 进行，目前最新 vllm-backport 最新版本出到了 v0.5.0，出于 GPU 资源协调原因短期内不一定能测

速度测试

简单的速度测试脚本```
import json, time, urllib.request

def bench(n=3, max_tokens=1000):
payload = {
"model": "deepseek-v4:flash-0731",
"messages": [{"role": "user", "content": "写一篇关于人工智能的短文"}],
"max_tokens": max_tokens,
"chat_template_kwargs": {"thinking": True, "reasoning_effort": "high"},
}
req = urllib.request.Request(
"http://localhost:8000/v1/chat/completions",
data=json.dumps(payload).encode(),
headers={"Content-Type": "application/json"},
)
for i in range(n):
t0 = time.time()
with urllib.request.urlopen(req, timeout=600) as r:
d = json.load(r)
dt = time.time() - t0
toks = d["usage"]["completion_tokens"]
print(f"req{i+1}: tokens={toks} time={dt:.2f}s tps={toks/dt:.1f}")

bench()

基础参数```
--tensor-parallel-size 4
--max-model-len 393216
--gpu-memory-utilization 0.90
--enable-prefix-caching
--enable-prompt-tokens-details
--enable-expert-parallel
--kv-cache-dtype fp8_ds_mla
--reasoning-parser deepseek_v4
--tool-call-parser deepseek_v4
--enable-auto-tool-choice
```> 三次平均速度: 59.4 tps

开启 DSpark

额外参数```
--speculative-config '{"method":"dspark","num_speculative_tokens":5}'
--kv-cache-memory 17179869184
```不加 --kv-cache-memory 的话因为 dspark 空间没预留够会 OOM

> 三次平均速度: 82.8 tps (加速比例 1.39x)

添加 wtdcode/vllm-backport 仓库推荐参数1 (省显存?)

额外参数```
--compilation-config '{"cudagraph_mode":"PIECEWISE"}'
```> 三次平均速度: 30.0 tps (相较基础参数，输出速度接近砍半)

添加 wtdcode/vllm-backport 仓库推荐参数2 (稳输出?)

额外参数```
--hf-overrides '{"head_dtype": "float32"}'
```> 三次平均速度: 58.8 tps (相较基础参数，输出速度基本不变)

最终配置```
--tensor-parallel-size 4
--max-model-len 393216
--gpu-memory-utilization 0.90
--enable-prefix-caching
--enable-prompt-tokens-details
--enable-expert-parallel
--trust-remote-code
--kv-cache-dtype fp8_ds_mla
--reasoning-parser deepseek_v4
--tool-call-parser deepseek_v4
--enable-auto-tool-choice
--hf-overrides '{"head_dtype": "float32"}'
--speculative-config '{"method":"dspark","num_speculative_tokens":5}'
--kv-cache-memory=14872904807
```四卡每张显存占用约 78.40 GB

GPU KV cache size: 710,018 tokens

Maximum concurrency for 393,216 tokens per request: 1.81x

> 三次平均速度: 84.7 tps (加速比例 1.42x)

上下文试了下拉个 512k 没什么问题，拉 1M 会爆显存，推荐 8 卡尝试

并发测试

简单并发测试脚本```
"""并发能力测试:1/2/4/8/16 并发,每档 12 个请求,每个 max_tokens=256(无 thinking,贴近普通调用)"""
import json
import time
import urllib.request
from concurrent.futures import ThreadPoolExecutor

URL = "http://localhost:8000/v1/chat/completions"
PAYLOAD = {
    "model": "deepseek-v4:flash-0731",
    "messages": [{"role": "user", "content": "写一篇关于人工智能的短文,介绍它的发展历史"}],
    "max_tokens": 256,
}

def one_request(i):
    req = urllib.request.Request(
        URL,
        data=json.dumps(PAYLOAD).encode(),
        headers={"Content-Type": "application/json"},
    )
    t0 = time.time()
    with urllib.request.urlopen(req, timeout=600) as r:
        d = json.load(r)
    dt = time.time() - t0
    toks = d["usage"]["completion_tokens"]
    return dt, toks

def bench(concurrency, total_reqs):
    t0 = time.time()
    with ThreadPoolExecutor(max_workers=concurrency) as ex:
        results = list(ex.map(one_request, range(total_reqs)))
    wall = time.time() - t0
    lats = [r[0] for r in results]
    toks = sum(r[1] for r in results)
    tps = toks / wall
    p50 = sorted(lats)[len(lats) // 2]
    p95 = sorted(lats)[int(len(lats) * 0.95) - 1]
    print(
        f"并发={concurrency:2d}  请求={total_reqs}  总耗时={wall:6.2f}s  "
        f"总tokens={toks}  吞吐={tps:6.1f} tps  "
        f"延迟 p50={p50*1000:6.0f}ms p95={p95*1000:6.0f}ms max={max(lats)*1000:6.0f}ms"
    )
    return tps

print("=== DeepSeek-V4-Flash 并发测试(每请求 max_tokens=256)===")
for c in [1, 2, 4, 8, 16]:
    bench(c, 12)
print("=== 完成 ===")

并发极限差不多就 400token/s，16 线程，每个用户就 25 token/s 了，30 系还是老了

鹈鹕测试

提示词```
创建一个HTML，内容是SVG绘制一个鹈鹕骑自行车的2D动画。

![图片](https://cdn3.ldstatic.com/optimized/4X/6/9/c/69c70cad09b36db5c81bdfd40fbad60fc6dfeb2c_2_690x401.png)

Cherry Studio 能测到 180 token/s，3倍提升，DSpark 恐怖如斯

输出结果

![图片](https://cdn3.ldstatic.com/optimized/4X/7/c/5/7c5d4d61de862e0dd9b434976fa8fb965b300da7_2_541x500.png)

结论

4 卡 A800 跑 DeepSeek V4 Flash 0731，上下文能开到 512k，单线程使用的话，不开 DSpark 大概 60 token/s，开启后 120 token/s ~ 180 token/s，非常可用。