Agent 测试：建立用例、评分与失败记录
用一套固定用例判断智能体是否真的改进。
跟着步骤做
- 收集 20 个真实任务，覆盖正常输入、信息不足、边界条件和不应执行的请求。
- 为每个用例定义成功条件：答案正确、格式有效、工具选择正确、无未经确认的操作。
- 每次修改只变更一个组件并重新跑同一套用例，记录通过率、失败原因与回归问题。
试试这段提示词
将方括号中的内容换成自己的资料；这是练习起点，可按结果继续调整。
评估以下智能体结果。按“任务完成、事实依据、格式、工具调用、安全确认”分别给 0-2 分，并引用结果中的具体证据；没有证据不得给满分。任务：[内容] 结果：[内容]
完成后检查
评分标准是否可重复？关键失败是否被单独设为一票否决？
常见问题
只凭几次顺利演示判断质量，会忽略边界情况和回归问题。
官方参考
OpenAI：评估最佳实践 ↗以上步骤与示例为本站编辑整理。相关功能与界面请结合官方文档确认。