【本地部署】单卡5070ti实测 160K上下文prefill 1000t/s decode100t/s，qwen3.8 27b gsq-rco+ninfer 16g版推理引擎

目前是用的github上50系 16g版本的源码编译，若有需要的可以自行问agent很快就能找到。

显卡还承担视频输出职责，实际可用显存空间约14.8G

下一步准备在这版开源代码基础上融入kvarn量化技术，视觉编码器内存侧推理。

WSL2+UBuntu2404环境下，开启MTP3，启用带上下文扰动的needle recall测试，单论

得到下表：

172K后开mtp接近显存极限，不开MTPdecode约55