- mumu2026-08-31
发帖前搜索过“Dify评测”“Agent验收”和“RAG评测”，相关结果大多是课程、资源、求职或具体项目介绍，暂时没找到集中讨论个人开发者和小团队实际交付验收流程的帖子，所以新开一帖请教。
最近在了解一个问题：现在用Dify、n8n或其他框架搭建知识库、AI客服和Agent已经比较快了，但真正交付或上线之前，大家一般怎么判断它“可以用了”？
我查了一些现有方案，LangSmith、Langfuse、阿里云百炼、腾讯云等都已经提供评测能力，不过不太清楚个人开发者和小团队实际交付时是否会使用，所以想请教有真实经验的佬友：
- 你做过哪类知识库、客服或Agent项目？
- 上线前是人工问几遍，还是会准备专门的测试集？
- 最容易出现什么问题：幻觉、知识库没召回、工具调用错误、格式错误，还是多轮对话跑偏？
- 如果是给客户交付，客户会要求提供什么验收结果？
- 现有平台的评测功能够用吗？最缺的是什么？
目前只是做需求调研，不卖服务，也不向站外引流。
如果有不包含隐私信息的公开Demo，我也可以帮忙手工整理一份10项基础功能测试清单，只进行正常业务问答，不做攻击测试、高频请求，也不需要账号密码。
欢迎直接在帖子下面交流，感谢各位佬友。
主楼 - 亚斯娜2026-08-31
验收标准一般不是固定的吧，得看回答的准确率吧
- mumu2026-08-31
确实，不同业务的验收标准应该不一样。想再请教一下，实际项目里这个“回答准确率”一般怎么统计？
是客户准备一批标准问题，由人工判断回答是否正确，还是直接抽查线上对话？通常会测试多少条、达到大概什么比例才敢上线？
- 冰子2026-08-31
evals得用武之地，多跑几轮。就是费钱，其他得都还可以。
github.com
GitHub - openai/evals: Evals is a framework for evaluating LLMs and LLM...
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
- mumu2026-08-31
- 冰子2026-08-31
我测试都比较随意，开发人员得我只需要保证大体不出问题即可。
让opus自己去决定，我是不管得。
费用这块，两个都会大量消费。
看你们需要即可，我个人习惯跑个3-6轮就差不多了。实际跑的话，还是100轮起步比较好？感觉夸张了，10轮应该就差不多了。
- Z1m0n2026-08-31
我目前遇到的问题，是黄金测试集的构建，不知道大家有没有好的关于黄金测试集构建的方法分享
- mumu2026-08-31
明白了，也就是平时跑3～6轮快速检查，比较重要时跑到10轮左右，主要保证整体没有明显问题。感谢佬的分享 ^-^ ^-^
- 冰子2026-08-31
重要得建议多跑几轮，免得小样本出不来特殊情况。
- mumu2026-08-31
可以先用“20条种子用例＋线上失败回灌”的方式，是根据LangSmith 的官方建议：先人工整理10～20条覆盖常见场景和边界情况的高质量用例，生产运行后再把差评、错误和异常记录持续加入离线测试集
- DEA2026-08-31
有问题就往ai身上推，就照着几个高频问题去问，看看ai的回答内容是不是都覆盖了
- Brantfang2026-08-31
一般覆盖测试跑一边代码覆盖率没问题，没有异常就行。测试几遍常见的问答看看结果正确语法，如果正确可以保留当成测试集下次优化后进行比对测试。当然我们是公司内部使用如果反馈有问题可以排查一下问题并进行优化，比如关键词的精准度，语义（余弦相似度、 近似最近邻）检索的访问和排序，还有延迟评估。