奥一AoYi (@Aoyi21) “OpenRouter 写了一套给 Agent 上 CI 门禁的做法：把固定 eval 集放进仓库，改 prompt” — TopicDigg
奥一AoYi
@Aoyi21
加入 August 2024
0 正在关注 0 粉丝
OpenRouter 写了一套给 Agent 上 CI 门禁的做法：把固定 eval 集放进仓库，改 prompt、工具 schema 或评测脚本时自动跑。
它提醒一个坑：把路径过滤放在 workflow 层，可能让必需检查停在 pending；用 job 级判断，才能看清 eval 到底有没有执行。
以后改 Agent 先留一组来自真实失败的测试，再决定通过线，别只看一次 demo.
显示更多
