在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

wises · 2026-09-07T10:17:00+08:00

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.

1316

wises2026-09-07
1617
48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.
期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.
主楼
soleils2026-09-07
2124
速度如何
#1
wises2026-09-07
1617
@soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.
#2
soleils2026-09-07
2124
@wises #2
我是说你这套能多少 token?
#5
YanSeven2026-09-07
3688
比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。
#3
wises2026-09-07
1617
@YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.
#4
ostrichb2026-09-07
2827
企業還不如直接買一個 DGX Spark 跑，不缺錢買這個
#6
jinsongzhaocn2026-09-07
41616
最近几个月折腾硬件不划算，内存涨疯了，动不动就 1 万以上
#7
coefu2026-09-07
1571
2026 年的 LLM ，就算是 qwen3.5 9B ，也是比 v 站 99.999%的人综合实力高。它比的是顶级（若干个领域的顶级博士集合）差，不是比只有单领域本科的大众差。
自己了解下那些 LLM pk 用的 benchmark ，大部分人，估计拿 1 分的能力都没有。
#8
fe6197427212026-09-07
46197
我关心的是这个尺寸的模型，基础的文档/单证场景会容易出错吗？
#9
kenshinhu2026-09-07
3584
想问一下，这个是否通过本地分析问题之后调度不同的模型进行处理的？
#10
defunct92026-09-07
2936
只有一个模型噻 @kenshinhu
#11
klc2026-09-07
69172
@coefu 在云 API 规划+本地执行这个场景来说，qwen3.5 9B 真不怎么样，极限量化的 Ternary Bonsai 27B 比它要好。TB 27B 是能干活但偶尔会有问题（云 API 会复核兜底），9B 的话稍微复杂一点的操作它就干不了了，小参数模型承受不了太长的逻辑链。
现在换成 Qwen3.8 27B 就更稳了，昨晚 GLM 不小心让它直接 review 30+个文件早上一看居然也干成了，真的不可小覷。
#12
elboble2026-09-07
3462
上下文空间？
#13
crime10242026-09-07
51464
统计下电费如何，据说显卡也是有寿命的。。
#14
coefu2026-09-07
1571
@klc 🦀，bro 。
我们不在一个频道上。
“比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。”
我是这个观点的频道上。
GPQA Diamond ，qwen3.5 9B 81.7 。了解一下这个数据集就知道；人类表现：领域人类专家的平均准确率约为 65%，非专家（即使拥有完全的网络访问权限）平均准确率仅为 34% 左右。这里有几个是这 1/34% ？
#15
wises2026-09-07
1617
@fe619742721 不出错, 很精准.
#16

发表回复

登录后回复