Xudong Han (@Xudong07452910) “之前推荐过几篇 Agent Eval 相关的文章，今天再推荐一篇 LangChain 最新的《What Is E” — TopicDigg
Xudong Han
@Xudong07452910
加入 November 2020
0 正在关注 0 粉丝
之前推荐过几篇 Agent Eval 相关的文章，今天再推荐一篇 LangChain 最新的《What Is Eval-Driven Development》，这篇讲得挺实用，很适合正在做 Agent 和 Harness 的朋友。
文章主要介绍 Eval-Driven Development（EDD），核心思路是把 Eval 融入 Agent 的日常开发。
先定义什么算成功，写好 Eval、跑 Baseline，再修改 Prompt、Tool 或 Harness，通过相同的任务对比效果。
文中有个挺有意思的例子。
给知识库 Agent 新增 create_ticket 工具后，整体 Eval 分数提高了，结果它连「VPN 怎么连接」这种普通咨询都开始创建故障工单。
通过 Trace 排查才发现，工具描述太宽泛，导致 Agent 错误调用了工具。
这也说明不能只看 Eval 平均分。一次改动可能让新任务表现更好，却破坏原本正常的功能。除了最终结果，还需要检查执行轨迹，并保留独立测试集，避免反复优化导致过拟合。
这套思路很值得借鉴，尤其是现在大家都在不断调整 Skill、Prompt 和 Harness。
新增一个 Skill、修改一段 Workflow，甚至删掉旧 Harness，都应该通过 Eval 判断是否真的有效。
感觉 Eval-Driven Development 很值得成为 Agent 开发中的常规习惯，每次迭代都能有据可依。
原文：
显示更多
