本地小模型角色扮演问题
1010
daima2026-07-28就是我在用本地小模型左一个ai伴侣项目，发现qwen3.6-32b-a3b虽然效果不错，但是容易不参考system的人设，27b用相同的人设直接乱发，gemma4-12b，虽然能接的住戏，但是超过两轮就无限循环发一些不相干的内容了，佬们有没有推荐的模型
主楼- sun_shaoan2026-07-28
上下文太小了吧，本地小模型感觉没什么潜力，接入大模型才是王道
- sman2026-07-28
小模型rp真不行，我之前也搞过，后来放弃了，ds搞个人设，玩起来几乎没限制
- ShuLiang2026-07-28
- z10565448892026-07-28
deepseek-v4-flash很便宜啊，聊一天都没几块钱的
- daima2026-07-28
主要是我的那个设想是高强度agent调用的，便宜花的也多呀
- 星火花葵2026-07-28
佬们有没有推荐的模型
之前见有人说，gemma4 31b的角色扮演能力，在小模型中是独一档，甚至不少旗舰模型因为侧重点不是角色扮演，rp都不如gemma4 31b
我记得在L站是看到过说这个的帖子。
佬可以试试。
- z10565448892026-07-28
高强度调用那电费也不少吧，而且要24小时开机，我觉得还是v4 flash这种便宜的大模型更好用
- D-Pear2026-07-28
小模型的agent调用能力通常都不强, 尤其是一些激进的去审查模型可能直接把agent能力部分搞垮了.
用过gemma-31b感觉整体效果不错, 但是我自己VRAM太少了不知道大上下文之后什么情况. 听说好像gemma和gemini类似在交互轮次多了之后也容易注意力问题.
然后模型无限循环发癫一般是量化过头 部署框架的算法或者微调的问题, 一般来说可以检查下这些方面?
- ShuLiang2026-07-28
我主要还是有本地部署的需求，deepseek延迟有点达不到预期
- daima2026-07-29
我觉得ai伴侣用gemma4-31b很合适，不会出现那种循环