5080笔记本本地部署选什么模型，好纠结

188

LenGary2026-07-18
6838
新买的笔记本290hxplus+5080，32+4t的配置，本来我对本地部署毫无波澜，因为别管是付费还是公益站哪个效果不比本地那小模型强啊
但是最近工作原因每天固定8小时断网，手机网也巨慢无比，真的太难熬了，动了想本地部署玩酒馆的心思
好歹我这配置带得动吧，不至于以前1650的卡一个一个字往外蹦
我跟ds聊了半天推荐我qwen3.5 9b，也问过gemma4这种，但是说实话选择太少了
有没有佬已经玩过了感觉效果不错的推荐推荐啊，需求就是酒馆、翻译、改扩写一写材料这样
主楼
unsafe2026-07-18
10973
佬可以试试这个工具
github.com
GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to...
Hundreds of models & providers. One command to find what runs on your hardware.
#1
Mav2026-07-18
8256
就qwen3.5-9B，千问一直是开源模型里面的斩杀线，各个大小都有而且训练非常出色
gemma4针对中文的语料训练，那肯定还是不如千问好的。就用千问就很不错了
#2
一摩尔氚2026-07-18
6098
qwen3.5好还是qwen 3.6好？佬友觉得？
#3
Mav2026-07-18
8256
qwen3.5，有很多以这个为基模的模型了，之前好像还看到一个100万上下文的
#4
FlyLoongZ2026-07-18
15638
试试这个？
[43f87f699036a77df01f6f54059d559d]
[1d2a2aee6845632e44256ba1e3d5cf21]
[b27d287712b3752ec6081e6d69be0414]
[27e2df007af3c4f90b1ec2e66199e7c0]
[779745e2a0842122054cb67e36ac70b8]
[4fe1fd0b53c29c31c1…
#5
变老的大二2026-07-18
16056
这个我在行，本地酒馆12B的模型够用了
推荐你两个：
mradermacher/MN-Violet-Lotus-12B-GGUF · Hugging Face
Epiculous/Violet_Twilight-v0.2-GGUF · Hugging Face
#6
LenGary2026-07-18
6838
感谢佬，但是我还有翻译提取文字和一些文档编写的需求，这两个和qwen比你觉得效果咋样啊
#7
LenGary2026-07-18
6838
我估计27b怕是跑不动吧，最多也就是12b左右的能力感觉
#8

发表回复

登录后回复