推理引擎WASTE开源：把Kimi K3完整跑进64GB MacBook

边缘数据库公司 SQLite AI 开源推理引擎 WASTE。它让保留全部层和专家的 Kimi K3，能在一台 64GB MacBook Pro 上运行。转换后的模型约占 1TB，速度为每秒 0.49 至 0.54 个 Token。

WASTE 把约 27GB 的模型主干留在内存。8 万多个专家放在内置 SSD。每生成一个 Token，只从硬盘读取当前调用的专家。

这个版本没有蒸馏、裁剪或删除专家。WASTE 将原本采用 MXFP4 的专家权重重新量化到 3-bit，并把模型主干压成 4-bit 和 8-bit。

github.com

GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model...

Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.