专家知识如何融入到大模型？

其实我一直不是很理解，大模型本来就是专家，为什么还要给它搞个专家

你的知识很专家到足够sft的程度吗

写在提示词里

不知道，导师让我调研一下去，我也不了解这些东西

那说明你没搞懂 llm 怎么玩或者 llm 怎么运行的

以我对你目前这个问题的判断

你好好写一个提示词就够了

专家系统本来就是rule-based，你大模型只要限定限制地够死表现得就跟专家系统差不多。

你要说knowledge based话，就往wiki或者rag做呗，虽然现在rag天天被吐槽但是基本上还是最不差的选择

提示词，如果字数太多就分正文和目录，目录放提示词里然后允许ai按需要求看正文

你导师大概率想做的是小模型吧，大模型你最多也就是RAG这种上下文检索工具，跟专家知识融合有点远，感觉不如看text to sql这种小任务然后在上面写一个小模型+专家知识干翻大模型的论文 ^-^，再补充一下就是找个开源模型比如qwen8B然后在子任务上调参这样冻结某些层重新训练，再一些就是知识表示方法研究知识图谱之类的发论文倒是挺好发的，这种领域纯编数字不公开数据集完全发现不了

给AI弄个专家头像和system prompt就行了。真要有独特的能力，就弄skills。什么专家能比大模型强？装装样子差不多了。

SFT 或者 RL，业界目前 RL 的发展比较快

大同小异，基于 知识库文件夹(llm-wiki架构) + agent(ai大模型，建议带视觉)

不过，真正的 融入大模型 ，应该是 微调，但是这一般人真弄不了，金钱成本和时间成本太高了，并且也不一定适合这种 知识低高频摄入场景 (原谅我想不出什么好词)

orca 项目，基于 agent-cli 级别的 智能体编排，能直接管理各家终端 cli：Claude Code cli、Codex cli、Grok Build cli 、Cursor cli、Antigravity cli 等，相当于可以不走反代，模型又都接入各自官方的专武 cli。

安装 orca 后，开启智能体编排功能，就会给所有 cli 安装 skills (也可以指定项目文件夹安装)

先开一个 cli 会话 做主控会话，自动派发一个 高级模型 + cli 做任务分析与规划，执行完后也会自动返回内容给主控，然后自动再派发一个 低级模型 + cli 做执行，最后看个人，也能再派发一个 高级模型 + cli 做审查，然后继续 低级模型 + cli 做修复。

最后将上面这一套流程提升成 skills，也方面以后自己复用

不过也有其他类似的项目，玩法都差不多：herdr、Pi…

也可参考： AI时代大家是怎么管理自己的知识库的？ - #14，来自 Lz_Mar12

我不理解你说的"融入大模型"是什么概念.

如果单纯的工作流和知识的话,应该skill+本地资料库应该就可以了吧?

ai大模型的知识分两层：

- 内置的权重文件，相当于模型当时的训练资料

- 再一个就是我们用到的会话级，是临时的，只在当前 会话上下文 中存在，如果触发会话压缩就会丢失大量细节内容

所以前两年比较流行的就是模型微调，一个是开源模型，直接自己改权重文件。一个是闭源模型，不过基本只有国产的才支持，比如阿里百炼，还有火山方舟，但是是你上传资料，他们帮你训练，你拿不到权重文件，到时候会单独给你一个模型id，相当于是专门特调的模型

如果只是应用的话，知识库rag还有skill这种动态prompt注入就够用了，但是既然是你导师的任务，可能要更深入一些，可以看看lora挂载还有开源模型微调什么的