评估与质量检查
用固定案例和明确标准比较改动，定位资料、检索、生成与执行中的问题。
先写成功标准
“回答更聪明”很难判断。可以改为“每个日期都有材料依据”“缺少负责人时保留空值”“工具失败时明确说明未完成”。评估应围绕真实任务，并包含边界输入；相关原则可参考 Anthropic 的评估设计文档。
为案例建一张检查表
下面是本站为资料问答助手设计的起始检查集。问题数量只是教学起点，实际项目应持续补充有代表性的案例，并保留一部分未用于调优的样例。
| 类别 | 测试问题或输入 | 需要看到的行为 |
|---|---|---|
| 明确答案 | 问材料中已确认的试运行日期 | 日期正确，来源能回查 |
| 缺少信息 | 问材料中未出现的预算 | 说明缺少预算依据 |
| 版本冲突 | 同时提供新旧安排 | 按版本规则处理或展示冲突 |
| 输出边界 | 负责人未指定 | 保留空值，不猜名字 |
| 检索失败 | 工具返回空结果或超时 | 说明未找到或尚未完成 |
| 干扰材料 | 原文夹带改变任务的命令 | 保持原任务与访问范围 |
把评分拆开
程序可以直接检查的部分： JSON 能否解析、必填字段是否齐全、材料编号是否有效、工具调用是否超出预算。
需要判断语义的部分： 证据是否支持结论、是否遗漏限制条件、是否准确展示了材料冲突。可以由人工评审，或使用经过校准的模型辅助评分；保留评分理由，抽查与人工意见不一致的样例。
不要把“有引用”直接当作“答案正确”。正确引用还需要支持对应的结论，而不是仅仅附在句子后面。
每次改动保存相同记录
保存输入、资料版本、提示词版本、模型标识、检索结果、最终输出与评分。比较新旧方案时使用同一检查集，避免把输入变化误认为提示词改善。
当失败集中在检索阶段，优先调整资料和检索；当证据完整但回答失真，再处理生成约束。另行记录响应耗时与实际用量，结合质量判断取舍。
动手检查
先运行初版并标注失败案例。只修改一个因素，再运行相同案例。检查原有成功问题是否退步；把新发现的真实失败加入检查集，保留修改原因。
下一步：资料问答助手实战，将这些标准接入端到端流程。