- Insolitude-v2ex2026-09-10
485b 510GB 文件，感觉量化了也很难在 2 台 dgx spark 上运行。
好事是每 token 的 kv 缓存只有原来的 1/5 ，稍微量化下，留个 15g kv ，4 台 spark 跑起来应该很舒服
主楼 - baigy-v2ex2026-09-10
太快了
- beginor2026-09-10
看样子 4 张 H20 还跑不动 FP8 了😂
- 22117174472026-09-10
官方发布的已经是 FP4 的版本了，在量化就只能 2bit ，1bit 。也缩不了多少了。