先定义成功条件
挑一个团队常做的任务,例如将脱敏记录转成待办;规定不漏行动、缺时间时保留空值、来源可查。测试集同时保留常规、反例和不完整样本,给每类失败单独统计,不让一个总分掩盖严重错误。
把人工返工计入选择
同样的样本交给每个候选,记录第一次结果、复核时间和失败原因。先排除不满足隐私及权限条件的方案,再比较质量与成本;费用以各自最新页面为准,试用结果注明日期和版本,不写成长期承诺。例如一份 10 条样本的通过率只代表本轮样本,保留失败类型和原文,后续新增任务再扩充测试集。
资料来源:OpenAI 官方评估建议。本站整理,非官方发布。