Nebula752026-08-18比如我这台MacBook Pro是M4 Pro 24GB内存
如果首字上下文是20K，预计要等3分钟?
正常在100K左右上下文，速度也就10-15tokens/s?
总上下文设个128K
主楼- 忘言2026-08-18
实测一下不就知道了，量化后是可以塞进你的设备的
- helloergou2026-08-18
- Nebula752026-08-18
那肯定最高也就是个 Q4 啊，再低的话，感觉就打折的有点厉害。
- henry2026-08-18
统一内存的还是等MoE的模型吧，稠密模型跑着确实慢
- enget2026-08-18
不用想了，看我的速度测试吧。m5max 顶配拿来跑 qwen-3.6-35b-a3b 都不行，速度非常慢，到后续 tps 只有 5，prefill 也 100 不到，没办法用的。
https://linux.do/t/topic/2760506
想爽用得买个 4090/5090 来。
