在追求科学前沿突破的今天，如何客观衡量研究产出的成熟度与商业价值，是一个复杂而关键的议题。Research OPC推出G1-G10评分体系，旨在量化可交付系统的成熟度。然而，这份看似直观的百分制评分，并非传统的性能评估工具，而是一个精心设计的“瓶颈探测器”。它在拒绝简单能力评分、强调证据可追溯性的同时，也暴露出等权设计、验证边界与Goodhart效应等多重挑战。本文将深入剖析G1-G10的设计原理、当前局限及其对研究范式的深远影响，并探讨其能否真正引发一场“度量革命”。
01G1-G10体系：以二阶门禁取代传统能力评估
G1-G10评分体系（rubric.json v1, 2026-09-14T11:36 UTC 【已查证·本地一手】）旨在衡量“可交付系统成熟度验收分”，由10项等权指标组成，每项10分，满分100。当前系统得分为30/100，表明G1、G2、G3已达标，而G4-G10均处于未验证状态。这种设计拒绝了将分数视为单一能力测量或行业基准排名的传统假设。
其核心设计理念包括：第一，采用10×10的等权指标，这并非统计学上的加权，而是管理层的策略性选择，旨在规避权重争议，并通过每项独立的二分制（met/unverified/not_met）明确识别短板，使其更像一个“瓶颈探测器”而非“加权总分”。【已查证·公开文献】MDPI指出，复合指标的最终分数取决于权重、归一化与聚合方式，等权是其一。
第二，建立严格的验证路径。每项得分都需证据绑定，且rubric的哈希值（rubric_sha256=4be4d5be... 【已查证·本地一手】）被冻结，确保规则不变。score.py脚本仅核对规则哈希、ID唯一性、项数、状态枚举及证据字段存在性，明确“不独立判定证据”。例如，G2/G3的验证涉及哈希冻结、离线对照与独立复算；G1则通过会话元数据（rollout jsonl 【已查证·本地一手】）确认模型与投入。
第三，引入反博弈清单，明确指出“启动agent”、“生成文档”、“合成题满分”等行为不能提升G4-G10分数。同时，修订标准必须升级版本并保留旧分，避免回溯性修改。例如，G7要求“核心研究流程连续7日稳定运行”，并需“另30日持续观察”，强调长期稳定性而非单次成功。【已查证·本地一手】
02等权之悖：隐藏的局限与潜在的风险
尽管设计精巧，G1-G10体系仍存在显著局限。等权设计易掩盖上限差异，如G1（一次成功调用）与G6（业务收益）同为10分，其边际价值显然不等，可能诱导“低阶易项优先”的博弈行为。此外，仅10档二元评分（met/unverified/not_met）分辨率低，缺乏部分分、最小可检测效应（MDE）或置信区间，导致分数不提供连续信号，难以捕捉细微进步。【推断】这使得30分与40分的差异可能仅在于某一项的翻转，而非能力水平的显著跃升。
验证环节的非独立性亦是关键挑战。score.py明确声明不判定证据，证据主要由主控方提供并复算，其“独立性”仅限于程序哈希与计数。例如，G2的独立复算仍由主控执行，这使得验证链的公正性与第三方可信度受限。此外，现有9个工作区的rubric与observations逐字节相同【已查证·本地一手】，暗示分数可能被复制传播而非各自独立计算，存在“分数随仓库繁殖”的风险。
七日稳定性窗口的样本量过小，仅覆盖单一环境（Mac在线），缺乏随机化与MDE支撑，难以区分“真稳定”与“恰好没坏”。【已查证·公开文献】BMC研究表明，小样本量下信度指标不稳定。这可能导致G7与G8（稳定性与恢复闭环）、G5/G6（采用与收益）之间存在构念冗余。Goodhart定律指出，当一个指标变成目标，它就不再是一个好指标。G1-G3等易形式化满足的项可能成为内部团队“刷分”的目标，而真正的价值项G4-G6反而因难度更高而被忽视，激励可能停滞于30分。
最后，尽管rubric明确禁止将“未验证”等同于“零分”，总分30/100仍可能在传播中被误读为“能力只有30%”。这种语用上的误读风险，可能会扭曲系统设计者的初衷，影响其在组织内外的信任度与采纳度。
03深层影响：从商业闭环到组织能力重塑
G1-G10体系将评分锚定于“下游采用”与“量化收益”（G5/G6），与Research OPC“按结果收费”（FR-04/FR-15 【已查证·本地一手】）的商业模式高度一致。当前商业采用为零、现金成本为零的现状，诚实地暴露了OPC商业闭环尚未形成。这种透明度有助于识别商业转化中的真实瓶颈，并驱动研究向实际应用场景靠拢。【推断】它将迫使研究者重新思考其工作的最终价值。
在组织层面，G7（运行稳定性）、G8（恢复）、G9（同题对照）和G10（成本账）的引入，意味着运维、审计和会计能力被整合进研究组织的“能力定义”之中。这标志着从传统“产能为王”向“可验证性驱动”的转变。对于“一人公司”或小型研究团队，瓶颈将从单纯的产出能力转向确保其成果的长期稳定性、可重复性及经济效益的可追溯性。
对个体研究者而言，G9要求“冻结同题对照”和G10要求“完整成本账”，将自我改进从主观叙事转化为可证伪的实验。研究不再仅仅是发表论文或开发模型，还需证明其稳定性、成本效益和重复性。这无疑增加了管理负担，但也提升了研究的严谨性与可信度，促使研究者培养更全面的工程与业务思维。
04优化方向：迈向真正变革的路径
为提升G1-G10体系的效用与公信力，我们提出以下建议：第一，将等权分仅作为内部“瓶颈探测”的门槛，对外报告则需明确标注分母与“未评测”项。同时，为G4-G6等关键结果项增设“难度/价值权重”或分层（基线门→结果门），避免其与易实现项同权，形成“等权门”与“加权结果分”双轨并行，但互不替代的机制。
第二，为每项指标预注册MDE与样本量。例如，G7应明确“7日窗口内预期运行次数N、允许失败率上限”以及“计划停机排除规则”。G9的同题对照应预注册对照组、盲化顺序与评分者间信度。这将显著提升验证结果的统计学严谨性与可信度，降低小样本量带来的不确定性。
第三，将“证据判定”从主控分离。引入第二独立评审者或自动化证据门（如区块链回执、下游系统回执），并可考虑Brier校准或κ系数来评估一致性。第四，强化成本核算，将G10从“完整”提升至“可结算”（涵盖token、现金、人力及调用方成本），并明确未知成本记为null而非零，为后续的单位结果成本分析奠定基础。
最后，严禁分数复制传播。任何新的工作区必须重新计算observations并附带各自的evidence，而非简单复制既有分数（现有9份完全相同的观测应加入no-copy断言）。同时，沿用并完善change_policy，确保每次标准升级都保留旧分与旧rubric哈希，建立完整的rubric版本账，以保障历史数据的可追溯性与透明度。
G1-G10体系通过哈希冻结、三态证据和反博弈清单，将研究成熟度从叙事转变为可复核的计数。它最大的价值在于显性化“未验证”部分，并拒绝在缺乏下游采用和成本核算时，盲目宣称突破或节省。其当前30/100的得分，精准揭示了执行与追溯层已验收，而结果与运行层仍处于待验证状态。这套体系目前仍是“改良级的度量工具”，距离真正实现R1-R5的“度量范式革命”尚有距离，尤其是将计量单位从“投入/活动”转向“下游采用的结果”，以及实现“成本可结算”是其最关键的挑战。唯有坚实地推动这些核心变革，G1-G10方能从优秀的“瓶颈探测器”进化为引领研究前沿的“价值导航仪”。
这是一个持续更新的公开记录。重要修订会保留日期并说明原因。