Toolify——为任意LLM API添加完善的Function Calling支持

2025/7/31更新：添加模型映射

项目地址：

github.com

GitHub - funnycups/Toolify: Empower any LLM with function calling...

Empower any LLM with function calling capabilities.

博文地址：

小欢博客

Toolify——为任意LLM API添加完善的Function Calling支持

Toolify，一个通过提示词让任何语言模型API都支持函数调用的中间件。它能解决很多LLM接口原生不支持函数调用的痛点，自动处理提示词构造、响应解析与多轮调用，让你轻松为任何模型赋予强大的工具...

本程序在实现上类似于Open WebUI的code interpreter功能，通过xml标签让AI调用函数。事实上站内N佬已经发过一个类似的实现：让任何 OpenAI 兼容渠道强行支持 Function Call !! 美中不足的是不支持多工具调用，并且要求模型在开头立刻输出函数调用，无法输出其他的文本内容。

刚好之前公益站很多人说希望模型支持函数调用，于是写了这个项目。已经在公益站测试了一段时间，自己也用着，感觉没有很大的问题，遂发布。

本项目应该可以最大程度上让不支持函数调用的OpenAI compatible接口/模型支持函数调用：

- 允许模型在输出的任何地方调用函数

- 兼容<think>思维链

- 支持一次性多函数调用

- 支持多上游渠道配置

- 模型可以看到自己上次调用的具体函数和参数

- 支持Docker Compose快速部署

两点说明：

- 为了兼容流式响应，流式输出时实际上会逐个扫描模型的输出结果，所以流式请求传入tools参数会导致输出变慢变卡

- 由于是通过提示词实现的，肯定效果不如原生支持Function Calling的接口好，但胜在能用，性能好的模型调用起来应该没太大问题。我自己在公益站的所有模型上都应用了，自己也测试过，还是可以的

嗯，好像想不到什么其他可以说的了，就这样吧。

大家有用上的可以给个star，谢了。