- 王多鱼2026-09-29
佬友们 我还是在幻想，本地LLM 有没有搞头
目前手里一台垃圾笔记本， 最近想换一台电脑，主要用途不是传统办公或者游戏，而是想认真折腾一下本地 LLM / Coding Agent / Agent Loop。
预算大概 8K～1.2W RMB，如果确实有明显提升也可以再往上，再多就用官方了。。。
我的需求
主要是：
- Coding Agent / Agent Loop
- 多终端同时调用
- RAG、文件分析、代码修改、测试等
现有设备```
i5-12400
MSI MAG B660M MORTAR WIFI DDR4
DDR4 32GB
Intel Arc A770 16GB
850W 电源
``想法是 再买一张 A770，搞：``
A770 16GB × 2
32GB VRAM
```至少 30B/35B Q4 模型（我估计这b样只能跑 MOE架构[只激活3B]的了 ），能用
所以 问题来了，本地大模型是不是 “镜花水月” 只能看不能摸
在 8K～1。2W RMB 预算下：
方案 |
我目前预期 Decode |
优势 |现有 A770 16GB |
10～22 tok/s |
不花钱（能跑都是奇迹） |A770 ×2 + 64GB |
25～40+ tok/s |
32GB VRAM |358H + 64GB |
25～35 tok/s |
梦中情人（太贵啦！！！） |358H + 96/128GB |
30～40+ tok/s |
压根没有这玩意 |下一代 400H + 64/96/128GB |
未知 |
等等党永远不输 |M 系列 Max 64GB |
40～45 tok/s 左右 |
统一真神 |NVIDIA 大显存卡 |
50 tok/s+ |
CUDA 生态 |这些数字目前有些是公开实测，有些是根据已有数据做的估算，我不把它当最终结论。
本地 Qwen3.8 35B-A3B MOE架构 估计只有这个选择了，还是 int4 量化版本
这A770pro 16G 据说有4060 80% 的能力
想听听佬友 对于本地llm的看法和意见。（求求热^-^）
主楼 - agi_is_coming2026-09-29
- Ruby2026-09-29
如果佬纯换过一台的话我会推荐组双卡2080ti跑int8版本的qwen3.8 27b swift微调。
- chenyu7772026-09-29
本地，你得要多好得显卡啊，一般得显存肯定不够，小模型跑起来用处不大，生产力肯定不足啊
- 还来不及哭穿过的子弹就带走温度2026-09-29
不是很懂啊，有这个预算是不是直接买服务器更划算？
- fantooler2026-09-29
本地llm预期来看，近两年内真没啥用，还不如买个好显卡，本地跑ai视频，minimaxh3已经看到希望了，下一个新模型估计能锤seedance
- nofallbehind2026-09-29
CPU 2697V4 18核36线程40条Pcie3.0
主板 国产C612芯片组
内存 32G ECC DDR4 （可拓展）
硬盘 512G致态 M.2
显卡 2080Ti-22G 双卡44G
散热 定制静音
电源 1000W 金牌全模组
机箱 塔式无光静音
配件 Nvlink桥接器一套
咸鱼上面看的套餐：9000，这个有坑么
- 王多鱼2026-09-29
这个int4 应该也凑错吧，最近看了些，感觉我又醒了 32G能开 262k？？？ 真的吗
- moozik2026-09-29
- gjyus2026-09-29
买个20x爽下得了，本地部署很简单，关键是你会用吗？部署完了就不会再用了 ^-^ ^-^
- chongxs2026-09-29
社区有个v100的解决方案，跑27B，嘎嘎猛~单跑27B，比pro6k的速度都快。
- 王多鱼2026-09-29
一万块能买服务器，这跑不了吧 租倒是可以，只是没试过本地的
- Ruby2026-09-29
- Ruby2026-09-29
四卡T10方案也可以考虑一下，E5双路大板就可以了
- 王多鱼2026-09-29
- hor1zon_Lin2026-09-29
我觉得可以用google ai 订阅先订阅个20刀，然后申请colab体验一下40GB A100，先尝尝鲜，看看本地AI适不适合自己，我觉得现在电脑硬件这么高价格情况下，还是慎重一些，因为很可能买完效果一般
- 梧桐2026-09-29
先不说这个预算，假设能跑起来，但是能跑和能用是两码事， 尤其是你想本地验证workflow，如果开subAgent 做agent loop（大概率要），跑不起来一点， kv cache 会爆掉，然后就是功耗拉满，风扇狂叫
- 王多鱼2026-09-29
- 王多鱼2026-09-29
这预算也买不了几个月 买完就两手空空 有点舍不得
- gjyus2026-09-29
你本地部署上了过后跑不到两周，你听我劝，我之前有八张A100比你想的还多，真搞了就知道，差远了，涉及很多优化，能跑和能用是两件事。更别说你还要玩花活，做agent。
