大语言模型（LLM）部署的普遍观念常推崇“更强模型”范式：持续升级到更强大的基础模型以实现卓越性能。然而，这种直观上吸引人的策略可能忽略了关键的企业级系统效率和成本效益。如果投资于健壮的验证和定向恢复机制，比不断追逐下一代模型能带来更大的回报呢？本预注册实验，基于RQ-DB3报告中形式化的命题，直接挑战了这一传统认知。我们旨在严格测试，与单纯部署更强大但缺乏校验的模型相比，以系统化验证和智能修复为中心的方法能否在更低的每合格交付成本下，提供同等或更优的端到端质量和自动化率。本研究寻求为LLM操作策略中的潜在范式转变提供实证依据，将重心从模型蛮力转向架构韧性。
01大模型应用困境：是模型更强，还是流程更稳？
RQ-DB3报告的核心命题源自对复杂AI流程可靠性的深层思考。报告 P14 精确陈述指出，端到端成功概率是一个条件概率连乘 $P(\text{成功})=\prod_{i=1}^{k}P(E_i\mid E_1,\dots,E_{i-1})$，且不要求步骤独立，其成本目标 $J=\mathbb E[C_{\text{模型}}+C_{\text{工具}}+C_{\text{人工}}+C_{\text{重试}}+C_{\text{错误后果}}]$ [已查证]。这提供了一个全面的成本核算框架，强调了错误和重试的隐性成本。本实验的核心在于 Q8 的可证伪假设原文：“在相同验收质量下，验证与恢复方案降低至少 15% 的单位合格交付成本” [已查证，报告实体文件路径：`/Users/zouyongming/metasystem/.../RQ-DB3-REPORT-2026-09-16.md` 第 1139–1184 行]。
本研究明确否定的是 P14-op／Q8-op 的强版本命题：在相同验收质量下，继续提高单步模型分数（即替换为更强模型）是达到端到端可靠交付的最经济路径。换言之，我们要反证的核心主张是：把预算主要投入到模型替换上，比投入到验证与定向恢复上更划算 [已查证，报告第 1182 行]。这一否定并不触及 P14 等数学定理本身，而是检验其在实际系统实现中的效果，例如验证器可能存在的假阳性/假阴性问题（P12）和恢复反馈可能造成的净损害（P13）。
值得注意的是，本研究不否定“更强模型在验证不可行或验证成本极高的任务上仍可能占优”这一情境，也不将实验结果外推至“验证与恢复在所有任务上普遍更优”。我们预注册将任务摘要中的“验证与恢复在每合格交付成本和无人工接管完成率上不劣于（或优于）更强模型”作为首要确证的非劣性假设，而将报告原文的“至少降低 15% 单位合格交付成本”作为次要的优效性假设。二者将分别判定、分别报告，严格避免混淆和误读。
02科学量化：实验设计与统计严谨性
本实验系统地定义了三条核心实验臂：臂 $S$（更强模型），采用 gpt-6-astra 进行五阶段端到端单遍执行，不设独立验证与恢复；臂 $V$（原模型＋验证），采用 DeepSeek flash 执行五阶段，并增加确定性/半确定性验证器，验证拒绝即转人工；臂 $R$（原模型＋验证与定向恢复），在 $V$ 基础上，对验证器指出的违规点进行最多两轮定向修复，仍不通过则转人工。此外，还设有一个辅助臂 $V_0$（原模型无验证单遍），用于分离验证和恢复的边际价值。合格交付（Qualified Delivery, QD）被严格定义为同时满足确定性门限、冻结评判标准得分和无人工接管或仅允许记录性操作 [设计值]。
主要端点包括每合格交付成本（CPQD），其中成本 $J$ 按 P14 公式分解为模型 token、工具 token、人工分钟、重试 token 和错误后果五项并分别记录；以及自动化率（Auto），即无人工接管完成率。次要端点则包括完成时间、漏检错误率（即 $\alpha$ 的实测值）、验证器放行的错误后果严重度以及分层校准分数（依据 P12 定理）。主要的非劣性假设规定，臂 $R$ 的成本相比 $S$ 不得贵超过 10%（$\delta_C=0.10$），且自动化率不低于 $S$ 超过 5 个百分点（$\delta_A=0.05$）[设计值]。此外，还有次要优效性假设及针对恢复反馈净损害的探针。
样本量依据严谨的统计计算。针对自主率（配对二值，McNemar 非劣性），以不一致率 $\pi_d=0.20$ [估算] 和设定的非劣界，所需样本量约为 493 个任务实例。考虑到聚类设计效应和无效运行，最终取 $N=520$ 个任务实例/臂进行确证实验 [计算值，设计值]。成本方面的样本量需求较小，故自主率是本次实验的约束性端点。值得强调的是，仅用 41 条冻结题进行判断功效不足，其最小可检测效应高达约 30.9pp [计算值]，远大于设定的 $\delta_A=5\text{pp}$，因此 41 条题不得承担主判定。置信区间采用按任务族聚类的自助法（bootstrap，$B=10,000$），并用 Holm 方法控制两个首要端点的族错误率 [设计值]。
03实证路径：真实业务场景下的多臂实验
本实验将 Q8 命题中的五阶段流程实例化为可自动化的阿语商务交付流水线，涵盖了从需求解析到最终交付的全过程。每个阶段的操作都对应着可执行的实现方式和严格的控制点。例如，需求解析通过 DeepSeek 结构化 JSON 输出，并冻结抽取 schema；资料获取通过确定性关键词检索，并冻结索引快照。内容生成、规则检查（包括 `entry.py`、`quantity_gate.py` 等脚本 [已查证]）以及交付路由也都明确定义。这种实例化确保了实验在真实业务逻辑下进行，而非纯理论推演。
为确保实验的科学严谨性，所有关键变量都受到严格控制。自变量（各实验臂）通过随机分配实现同实例四臂都跑的配对设计。模型版本、提示模板（四臂共用且冻结哈希）、验证器版本与阈值（并实测 $\alpha, \beta$ 值）、恢复预算（最多两轮定向修复且反馈不含参考答案）、检索策略、任务实例（按族分块随机化），以及运行顺序与时间戳记录等均被标准化和冻结，以最大限度地排除混淆变量的影响。人工接管的触发规则与计时也统一进行，禁止未记录的人工操作，确保成本记账的完整性。
实验将分多个阶段进行：阶段0（冻结，约5个工作日 [估算]）用于核验数据、冻结评分器和阈值、生成任务实例并预注册；阶段1（试点）用 60 个实例校准样本量，结果不进入确证；阶段2（确证）是核心，使用 520 个任务实例；阶段3（时间外）另取 100 个实例复测方向一致性。这种分阶段的实施方案，结合严格的控制措施，旨在确保实验结果的可靠性和泛化能力。
04数据与评测：严谨的度量与审计机制
本研究的数据集分为两个主要部分。D0 包含 41 条阿语商务冻结题 [`ar_biz_eval_v1.jsonl` 和 `ar_biz_eval_v2.jsonl`，已查证]。这些题目仅用于三个方面：效度锚点、成本锚点和污染基线，而不承担主假设检验。由于 gpt-6-astra 和 DeepSeek flash 在人工复核后均能达到 41/41 的饱和状态 [已查证]，这些题目无法有效区分实验臂间的细微差异，因此其功效不足以支持 5pp/10% 量级的判定。
主要判定集是 D1 流水线确证集，由预注册冻结文法从 `contracts.json` 中的 H2/H7 算术契约与冻结术语表派生出 $N=520$ 个五阶段任务实例 [设计值]。这些实例通过参数化槽位生成，并按客户/模板族分组，确保族间模板和数值不共享。此数据集明确标注为合成/半合成，其外部效度通过 D0 锚定和阶段 3 的时间外复测来承担。另有 60 个实例用于试点，100 个用于时间外测试，族级互斥以避免数据泄漏。
评测体系以客观性和可靠性为核心。所有主因变量（DV）均通过确定性路径进行评测，例如算术和数量检查由 `arithmetic_reference.py` 和 `quantity_gate.py` 执行 [已查证]。LLM 裁判用于 rubric 评分，并抽取 20% 的结果进行人工双评，预注册门槛要求 Cohen's κ≥0.6，否则主判定降级为“证据不足”。验证器质量按 P14 要求报告 $\alpha$ 和 $\beta$ 值，若 $\alpha>0.40$ 或 κ<0.6，则相关实验臂被标记为低质量验证。此外，严格的污染与泄漏审计将通过 n-gram/嵌入重叠检测、canary 比对、访问日志记录以及恢复反馈内容审计等多方面确保数据纯净性和实验公平性。
05严谨裁决：实验结果的三态判定机制
在进行任何最终结论之前，实验结果必须通过一系列严格的前置门槛审查。这些门槛包括：验证器质量（$\alpha\le0.40$），rubric 人工双评的一致性（Cohen's κ≥0.6），成本五项记账的完整性，污染审计的通过，模型版本无漂移，恢复过程未泄漏答案，以及确证集仅有一次评测访问记录。若任一前置门槛未能通过，则整个实验结果将被降级为“证据不足”，无法得出任何方向性结论，确保了实验的起点和过程质量。
若所有前置门槛均满足，实验结果将按照预定义的定量条件进行三态判定。例如，判为“支持”（即否证 P14-op 强版本，P14-op 弱版本获得支持）需要满足：成本非劣性（$\Delta_C$ 的 95% CI 上界 $<0.10$），自主率非劣性（$\Delta_A$ 的 95% CI 下界 $>-0.05$），以及次要优效性（$\Delta_C\le-0.15$ 且 CI 上界 $<0$）。同时，需确认时间外方向一致性，并且臂 $R$ 显著优于臂 $V$，以证明恢复机制的独立价值。这些条件共同描绘了验证与恢复方案在成本和自主率上优于或不劣于更强模型，并能实现报告中提出的 15% 成本下降的理想情境。
相反，判为“推翻”（即更强模型在此族任务上支配系统改造）则要求出现显著的负面效应，例如成本显著更差（$\Delta_C$ 的 95% CI 下界 $>0.10$），或自主率显著下降（$\Delta_A$ 的 95% CI 上界 $<-0.05$）。此外，若注入确定性错误反馈的对照臂 $R_e$ 显示出显著的净损害，或验证器未能发现关键错误，亦可导致“推翻”结论。而若前置门槛未通过，或置信区间同时跨越非劣界与 0，或时间外方向不一致，或实测的不一致率 $\pi_d>0.25$ 导致功效不足，均判为“证据不足”。这种严谨的三态判定机制，确保了结论的清晰性与科学依据，避免了模糊不清的中间地带，并明确区分了“有证据无实用收益”与“样本不足”等不同情境。
06资源配置：预估成本与时间投入
本实验的资源预算主要以 token 消耗和人工时间为主。根据 G9 同题对照的经验，gpt-6-astra 单次输出 18,995 tokens / 73.8 s，平均约 463 tokens/条 [已查证]。鉴于本实验五阶段的复杂性远超单次问答，据此推测，臂 $S$（astra）的单实例 token 消耗估算约为 30,000 tokens，臂 $V$（DeepSeek）约为 14,000 tokens，而臂 $R$（含约 30% 实例的 1.5 轮定向恢复）约为 17,000 tokens [估算]。综合试点、确证和时间外测试共 680 个任务实例，总 token 消耗估算约为 4700 万 tokens [估算]。
在时间方面，单个实例的五阶段运行大约需要 2-5 分钟。对于约 2,100 至 2,700 次臂级运行，串行计算需 105-140 小时机器时间，若采用 4 路并行计算，则可缩短至 26-35 小时 [估算]。此外，人工双评的环节预计耗时 520 个实例 × 2 位评审员 × 3 分钟/实例，总计约 52 小时。加上阶段 0 的数据冻结和阶段 3 的时间外测试，整个实验周期预计在 6-8 周内完成，这与 RQ-DB3 报告中 Q8 部分的排期估算一致 [已查证，报告第 1141 行]。
关于货币成本，本研究将严格遵循 `runtime-ledger/status.json` 中“cash_cost = unknown unless backed by a billing receipt; token counts are not money”的明示规定 [已查证]。因此，本设计主要以 token 和人工分钟为记账单位，货币换算仅在获得可核验的账单单价后作为敏感性分析进行，绝不编造任何单位价格。这确保了成本核算的透明性和客观性，避免了因假设性货币成本而引入的偏见。
07研究展望与实务建议
本预注册实验旨在提供超越传统“模型升级”路径的系统化优化策略的实证依据。若结果支持验证与恢复方案，将提示企业重新审视其LLM部署与运维的资源分配，从单纯追求模型参数规模转向更加注重端到端流程的鲁棒性和成本效益。这项研究的价值不仅在于量化验证与恢复的效率增益，更在于为未来的LLM应用设计提供了一种新的思考框架，即通过精细化的流程控制和错误处理机制，构建更具韧性、成本可控的AI系统。
无论实验结果支持、推翻或证据不足，都将为LLM领域的策略制定者提供宝贵洞见。如果验证与恢复策略被证实具有显著优势，我们建议企业应优先投资于高质量的验证器开发、智能化的错误反馈闭环以及高效的定向修复工具，并将这些能力整合到其核心AI交付管道中。即便“更强模型”被证实占优，本研究的严谨方法和细致成本核算，也将为评估模型升级的真实投资回报率提供基准，并揭示当前验证技术在特定场景下的局限性。最终目标是推动LLM从实验室概念走向企业级大规模、可靠、经济的应用。
本研究的最终产出不仅是一份关于大模型性能的评测报告，更是对当前AI发展路径的一次深刻反思。它挑战了“越大越好”的直觉，呼吁业界关注系统韧性、成本效益和端到端质量的平衡。无论实验结果如何，预注册的严谨性、详尽的成本分解和三态判定机制都将为AI治理和投资决策提供清晰的科学依据。我们期待这份研究能启发更多企业，从模型中心主义转向价值中心主义，通过流程优化与验证机制，真正解锁大模型在商业实践中的巨大潜力，实现可持续的自动化飞跃。
这是一个持续更新的公开记录。重要修订会保留日期并说明原因。