电脑是24G显存,32G内存,想部署一个本地大模型,用于参加ctf比赛,有没有推荐部署的,是qwen27b还是其他模型。然后框架有没有直接现成的。求各位大佬解答
qwen27b 塞不下的话试试bonsai 2
qwen 3.8 27b 吧
用4bit量化版本就行了,简单上手的话就用llama.cpp
qwen3.5 9B无拒绝,可以试试玩
盆栽长任务太烂了,看它论文里除非都是数学类的 One-shot,都不推荐用。