abin_abin2026-09-16
36569
Macbook Pro，M5pro芯片，48G内存，有哪个不错的模型可以本地部署玩玩儿的嘛
主楼
UEFI2026-09-16
7461
我曾经试过本地部署，但是感觉，只能小模型或者量化模型，效果对比 API 还是差得多
48G 其实可以看看 QWen 的小模型
#1
熊猫竹子2026-09-16
18488
我48G 部署个Qwen 27B 问个问题卡半天，放弃了
#2
abin_abin2026-09-16
36569
哪里能白嫖，让我试试
#3
slowlyo2026-09-16
36570
Qwen 3.8 27B
我的 m1pro 32 都能跑起来, 首字慢后续还是挺快的; 应该是目前最智能的小型模型了
#4
Jason_Hao2026-09-16
32953
llama.cpp 部署的，支持arm架构，我跑的是wen3.8-27B-UD-Q4_K_XL.gguf 这个量化版本的，还行有个20~30 token/s 首字也比较快，看你用来做起什么了
#5
abin_abin2026-09-17
36569
用的哪种部署方式
#6
vows2026-09-17
28908
比你的配置还要高一些，本地模型输出真的很慢
#7

登录后回复

求Macbook pro本地模型部署推荐