multi-llm-evaluate：私有模型选型评测平台（项目条目）

同源说明（三条目一个项目）：本条目是项目本体条目；该项目的两个分析视角（产物体检视角 / 过程治理视角）各自单列。三条目同属一个项目，不按独立案例计数。项目仓库与过程记录均可核，链接见下。

问题与约束

2026 年 8 月我要给一批候选大模型做选型，遇到一个具体问题：公开榜单上的分数与我自己要做的任务关系不大，而手工拿十几个”我真正会问的问题”逐个去试，结论又无法复现——同一天问两次，我记不清当时用的是哪个版本、哪组参数、花了多少钱。约束有三条：判断只有我一个人做；推理费用自己出；用例里会包含未公开的业务场景，不能放到第三方评测平台上跑。

本人关键判断

我在三个地方做了取舍。第一，不自建模型评分：平台只负责跑测与记录，把每一分的来路留下（用了哪个模型、哪组参数、哪条用例、什么时间），判断权仍留在人手里。第二，评测引擎不自己写：复用了一个 MIT 许可的开源评测框架，以库方式引入、不改其源码，把力气放在用例库、判分器与报告上。第三，判分分三层：客观题用规则判分，主观题与代码题交给可配置的裁判模型，再叠加人工盲评作校准；三层各出各的结论，不允许任何一层单独说了算。这三条后来都被证明是对的——尤其是第三条，独立复核正是从”层与层之间不一致”里抓到了缺陷。

实际实现

从 2026 年 8 月到 9 月，项目按 M0 到 M8 九个里程碑推进：M0 技术验证（跑通最小闭环、三协议连通），M1 骨架与三级评估雏形，M2 裁判与报告，M3 人工盲评，M4 打磨与导出，M5 可信评测闭环，M6 判分器界面化与导入，M7 轮次软删与预算指引，M8 外部执行与导入产品化。实现的形态是：后端（Node.js ＋ TypeScript）、前端（React ＋ TypeScript）、PostgreSQL 存储，容器化后跑在自有的部署主机上，只在局域网内使用；模型接入支持多种协议，密钥加密存储、界面只显示脱敏值。用例库、模型接入、发起评测、报告、人工盲评五个页面构成主流程。

结果证据

• 仓库：https://github.com/karlazx/multi-llm-evaluate（公开可读；许可与依赖清单见仓库根目录）。站内核验位置：本条目与两个视角条目的仓库链接逐字相同。
• 过程记录：docs/plan/（需求规格与验收标准）、docs/iterations/（每轮”怎么做、为什么这么做、否掉了什么”）、docs/acceptance/（验收与修复记录）三类材料在仓库内均可核。
• 独立复核：M5 与 M6 各有一份由验收人做的独立复核报告，方式是不采信实现方自测声明、从源码或接口重新取证（方法与读数见”产物体检视角”条目）。
• 数字（口径与时间窗随数给出）：M5 端到端跑测样本 ＝ 4 模型 × 4 用例 × 20 次 ＝ 320 样本，用时 2685 秒，口径 ＝ 一次 Golden Run 端到端跑测，时间窗 ＝ 2026-09-17，来源 ＝ M5 独立复核报告；仓库主分支历史提交数 ＝ 84，口径 ＝ 版本库提交计数，时间窗 ＝ 2026-08-16 至 2026-09-21，来源 ＝ 项目版本库。

版本与时间

首版可跑的闭环落在 2026-08-16（M0）；最后一次过程记录提交在 2026-09-21（M8 落地文档与验收记录同批）。本条目所述内容的版本口径 ＝ 仓库主分支在 2026-09-21 的提交；引用报告时按报告自身记载的代码基线注明（M5 报告基线为 663312f，M6 报告基线为 37833fb，均以报告原文为准）。条目本身的发布时间为 2026-10-09。

失败与限制

• 样本范围是单个项目（n=1）：下面所有读数都来自这一个项目的一段建设过程，不构成对其他项目、其他团队或行业普遍情形的结论；时间窗与版本口径见上一节，适用范围请按样本自行判断。
• 未做的部分（一律写”未做”）：没有做过多用户的权限与审计；没有对外提供服务；没有做过跨主机的高可用与容灾；评测框架依赖的第三方网关行为（如强制请求头）只按实测记录处理，未做长期跟踪。
• 已知缺陷形态：独立复核在 M5 与 M6 各抓到过”会静默产出假分数”级别的问题（S1 级），说明”实现方自测通过”与”真的对”不是一回事；两轮的具体清单见两个视角条目。
• 早期可追溯性不足：M5 及更早的轮次没有独立的落地文档，当时的取舍只在会话里，事后只能从验收记录侧还原；这一点没有追补，如实保留。

后续调整

• 评测数据的边界：本条目只写方法与读数，不发布任何用例内容、不发布排名榜；用例涉及未公开业务场景时保持不公开。
• 给独立的”过程治理视角”条目留接口：仓库里的过程材料本身是一个可分析的对象（需求、落地、验收、返工怎么串起来），这部分不在这里展开。
• 什么信号会改变判断：如果后续出现”同一用例、同一参数、同一天重复跑，分层判分之间不再出现分歧”的连续记录，我会下调”分层判分必须人工校准”这一条的强度；如果重复跑仍出现层间分歧，则维持现状并继续用人工盲评兜底。这两条都以真实跑测记录为准，不以印象为准。