改了一句提示词，AI 写出来的内容顺眼多了。再试两个问题，都答得不错。于是，“新版本更好”似乎已经有了证据。
但这几次顺利，可能只说明它在这几个问题上表现好。真实用户带来的材料不会永远这么整齐，同一个问题多跑一次，也可能得到不同结果。
这时就需要“评测集”。这个词听着很技术，其实可以把它理解成一套固定试卷：有哪些题，怎样算答对，哪些错误不能接受，都提前讲清楚。每次改产品，再用相同标准比较。
假设一个工具负责从采购单提取商品和交货日期。试卷不能只有清晰表格，还可能包括扫描件、手写修改和根本没写日期的单据。没有日期时，正确答案应当允许留空，不能因为表格更完整，就奖励它编一个日期。
这里的好坏，与文字漂亮不漂亮差得很远。
Anthropic 的评测文章特意区分执行过程与最终结果：系统声称完成了某件事，不等于环境里真的出现了相应结果。资料：Anthropic
这个区别在 AI 自动化里尤其重要。屏幕上写“文件已保存”，文件可能没有落到正确位置；回复说“信息全部提取”，关键金额却少了一位。评测要看事情办成没有，不能只听 AI 自己报喜。
试卷本身也会带来偏差。如果天天用同几道题调整，产品可能越来越擅长这些题，却没有更会应对陌生材料。所以，一部分没有用于调试的样例，能帮助判断改进是否有更广的意义。单次通过也不等于稳定，多次运行才能看出波动。
开放式任务更麻烦。摘要有没有抓住重点，很难只按几个字打分。用另一个模型来评分可以节省时间，但评分模型同样可能误判，也可能偏爱更长、更自信的答案。分数需要有可解释的标准，必要时还得和人的判断对照。
我觉得，评测最有用的地方，是让讨论从“我感觉挺好”，变成“这一类材料更准确，那一类仍然容易漏”。它会暴露不够好看的细节，却也让“升级”有了具体含义。
一套试卷当然覆盖不了整个世界。它能提供的是已知范围内的证据，而不是给 AI 盖一枚从此不会出错的章。