multi-llm-evaluate · 产物体检视角：独立复核怎么跑、发现了什么

同源说明：本条目是项目 multi-llm-evaluate 的**产物体检视角**；它与该项目的**过程治理视角**条目同属一个项目、同一批材料，本站按项目计数，不把两者算作两个独立案例。

问题与约束

平台的用途是给模型选型出数，所以它自己出错的方式很隐蔽：判分器写错，报告照样生成，只是分数偏高或偏低，看的人不会知道。第一轮复核前的真实处境是——实现方自己写了一份验收记录，全部条目自测通过；而验收只有我一个人做，没有第二个团队可以交叉验证；同时当轮要复核的改动还没合入主干、也没部署，只能从源码起一个本地实例来验。约束归结为一句话：“实现方说自己测过了”不能作为证据。

本人关键判断

我定了四条规矩。第一，不采信实现方的自测声明——报告里凡引用实现方结论处，一律标注”转述，未独立复核”。第二，取证方式分层：接口与界面走黑盒，关键断言回源码核查，判分器另做独立复跑（用同一批输入在平台外复算，与平台结果对不上就是缺陷）。第三，失败路径与成功路径同权重：专门造负控用例（不可达的模型端点、超时、没有判分器的用例），看平台是否给出正确而不是”看起来正常”的结果。第四，把自己规格里的缺陷也写进同一份报告——验收标准如果漏了路径，那是规格的问题，不是实现的问题，两者要分开记。

实际实现

两轮复核各按当时可用的条件选路径。M5 一轮走的是”平台在线 ＋ 黑盒 ＋ 复算 ＋ 端到端跑测”：在运行中的实例上取读数，核对每个指标能不能由报告直接产出（不再需要人工读库补算），并跑了一次端到端跑测；期间记录了一条关键集成事实——某个第三方模型网关强制要求一个会话请求头，缺失即拒绝，而平台的参数透传是当时唯一可用的挂载点，因此该头的取值只能做到”每模型固定”，做不到”逐样本变化”。M6 一轮开始时，部署主机离线（网络不可达），且该轮改动未合入主干、未部署，于是从源码起本地实例做黑盒复核；为了让跑测快照不覆盖仓库里已有的历史样本目录，实际运行时换了一个独立的工作目录来隔离。两轮都把”发现了什么、哪条必须修、哪条可以缓”逐条写进报告。

结果证据

• M5 一轮（2026-09-17，报告基线 663312f）：端到端跑测样本 ＝ 4 模型 × 4 用例 × 20 次 ＝ 320 样本，用时 2685 秒，口径 ＝ 一次 Golden Run 端到端跑测，来源 ＝ M5 独立复核报告；逐条验收结论中判定通过；同时发现缺陷 1 个 S1 级（判分器假阴性）、4 个 S2 级、4 个 S3 级，另有验收标准自身的缺陷 2 处。报告里还记了一条”最重要的读数”：可用率指标上线后，第一次让结论发生了变化（此前的结论建立在看不到该指标的基础上）。
• M6 一轮（2026-09-19，报告基线 37833fb）：从源码起本地实例做黑盒复核；判定通过；发现缺陷 2 个 S1 级、3 个 S2 级、4 个 S3 级，其中一条 S1 被明确标注为”必须修”（会静默产出满分假分数）；另有验收标准自身缺陷 4 处，报告里自记”用例集第二次漏了同一类路径”。
• 可核位置：两条复核报告与逐轮验收记录在项目仓库的验收记录目录内（仓库链接见项目条目），报告内逐条给出代码基线、环境与证据位置。
• 数字口径共同的边界：以上全部读数来自一个项目的两轮复核，样本为 n=1，时间窗为 2026-09-17 与 2026-09-19；每条结论只在该报告记载的代码基线上成立。

版本与时间

两轮复核分别对应 2026-09-17（M5，基线 663312f）与 2026-09-19（M6，基线 37833fb）。M6 那一轮复核时，改动位于本地特性分支、领先主干且未推送，复核对象是源码而非运行中的旧版本——这一点在报告开头即写明，避免把”验的是源码”读成”验的是线上”。本条目发布时间为 2026-10-09。

失败与限制

• 样本范围仍是单项目（n=1），且两轮由同一名验收人完成，没有做过第三方交叉复核；这既是能力边界的如实说明，也说明本条目不能冒充独立第三方认证。
• 未做的部分：没有做安全渗透测试；没有做性能与容量测试；没有对第三方模型网关做长期行为跟踪；没有对早期轮次（M5 之前）补做独立复核。
• 失败记录本身也要留：M6 报告自记”同一类路径在用例集里漏了第二次”，这类重复失误没有被删掉或改写，原样保留在报告里。
• 一处口径风险：复核环境在两轮之间不相同（一是在线实例，一是源码本地实例），所以两轮的读数不能直接相减当作”改进了多少”。

后续调整

• 什么信号会改变判断：如果后续复核中出现”判分器复跑与平台结果连续多轮完全一致、且负控用例全部按预期失败”的记录，我会把”判分器必须每轮独立复跑”降级为”抽样复跑”；只要出现一次层间不一致，就回到每轮全量复跑。判据以真实跑测记录为准，不以印象为准。
• 下一步打算改的：把复核环境固定成可复现的同一条路径（同一份配置、同一批负控用例），让两轮读数之间有可比口径，然后再谈”改进了多少”。