近年来，大型语言模型（LLMs）在复杂任务上展现出的“涌现能力”引发了广泛关注，仿佛模型在某个规模阈值后突然掌握了新技能。这种从“不能”到“能”的飞跃感，激发了对AGI的无限遐想。然而，科学界对这些跃迁的本质仍存争议：它们是模型深层认知机制的质变，还是测量方法、指标选择或样本数量带来的统计假象？本研究报告（RQ-DB3）旨在直面这一核心问题，提出一套严谨、可证伪的预注册实验设计，以区分模型的连续性进步与表观上的离散式爆发。我们将探索，即便模型底层能力平滑增长，非线性指标和有限样本是否也足以制造出令人震惊的“涌现”错觉。本设计不仅为揭示大模型能力的真实面貌提供方法论，更为未来模型的评估与发展奠定科学基础。
01涌现之谜：大模型能力跃迁的辩证审视
大型语言模型展现的“涌现能力”是当前AI领域的热点。命题P9指出，即使模型底层能力（如单步正确率）是连续平滑提升的，当通过非线性或阈值化指标（如多步任务的全部正确率）进行衡量时，也可能呈现出陡峭的、看似突然的跃迁。例如，若单步正确率从0.95提升到0.99，对于一个100步的任务，其全对率会从约0.6%激增至36.6%，造成强烈的“突然能做了”的观感。研究将涌现分为指标涌现、机制涌现和稳健能力跃迁三类，并强调需通过更换连续指标、增加样本、进行干预分析来辨别其本质。〔已查证，RQ-DB3 报告第 556–596 行（P9）〕
本研究的核心检验目标是Q5的可证伪假设：观察到的能力跃迁是否主要源于指标非线性、地板效应或样本不足。本实验设计不直接否定P9原始命题，而是检验其可操作版本（P9-op/Q5-op），即在受控能力轴上，一个已知平滑的能力操纵能否通过乘积型/阈值型指标产生显著的表观跃迁。值得强调的是，本设计有明确边界：由于缺乏可训练的参数规模阶梯，能力轴被重新标定为“可控能力轴”而非参数规模；机制探针也受限于资源（无本地权重），主要降级为行为消融；且本实验绝不宣称证明数学意义上的不连续或非解析相变。〔已查证，RQ-DB3 报告第 1049–1077 行（Q5）〕
02实验解剖：两轨并行与能力操纵
为精确识别能力跃迁的来源，实验遵循核心原则：对每一个“题目-能力档位-重复生成”组合，首先冻结模型的输出文本，然后在此同一份冻结输出上并行计算所有指标。这种方法确保了任何指标间的差异均不会因输出文本变化而产生。实验设计包含两条轨道：第一部分旨在通过一个“已知平滑能力轴”来验证指标或统计解释的充分性，作为主功效轨道；第二部分则在“真实资源轴”上探索现有模型的实际能力跃迁，作为探索性轨道。
第一部分的核心设计是“提示信息量旋钮”实验。对于每道题目，模型被逐步提供更多来自该题判分标准的“已确证检查点”作为提示信息，比例从0%到100%（共11档）。这种信息注入方式连续、单调、剂量-反应式，且不改变模型内部权重，因此其对模型能力的提升被认为是平滑的。如果在此轴上，分步骤正确率（Step）平滑上升，而完全正确率（EM）却在某一档位出现陡峭跳变，则直接验证了P9机制，即指标本身可以制造涌现错觉。
第二部分则侧重于在现有模型和预算下，考察真实环境中的能力表现。这包括探索推理预算（如限制思维链token上限）、自洽采样次数（如1/2/4/8次采样取多数）以及不同模型档位（如DeepSeek与gpt-6-astra）对任务表现的影响。此轨道的功效受到现有资源限制，主要用于探索性分析和外部效度验证，补充主轨道对机制充分性的验证。
03精准度量：多维度指标与统计检验
为全面捕捉模型能力变化，实验采用一套多维度指标族，全部基于冻结输出文本进行后处理。这些指标包括：完全正确率（EM，二值聚合）、分步骤正确率（Step，按rubric逐检查点打分）、对数评分（LS，输出token平均log-prob，或校准排序代理）、连续误差（CE，如归一化编辑距离或token-F1），以及业务阈值通过率（PRτ，Step≥τ的题占比）。引入这些指标旨在从不同粒度、不同连续性层面刻画模型能力，以揭示不同指标对“涌现”现象感知的差异。
本实验的核心假设分为两个阵营：虚无假设H0（H_art）主张观察到的能力跃迁可由指标非线性/阈值化、地板效应及抽样噪声充分解释。H0进一步细分为：H_M1a（离散化比R_disc≥3），H_M1b（跃迁幅度随题目检查点数k单调上升），H_M2（地板翻越比F≥0.40），以及H_M3（样本量N=41与N≥200下的跃迁差异）。竞争假设H1（H_rob）则认为存在不能被上述因素解释的稳健跃迁，表现为多个独立连续指标在同一档位附近同步呈现非噪声跃迁，且预注册平滑模型预测失败。
为确保统计判定的严谨性，所有统计量都将进行鲁棒性评估。跃迁幅度及其发生档位将通过对题目进行“聚类自举”（以题为单位重抽，B=2000次）来计算95%百分位置信区间。离散化比的置信区间同步计算；地板翻越比则采用Wilson 95%置信区间。为控制多重比较问题，将采用“最大统计量置换零分布”方法，以避免Bonferroni校正过于保守的缺陷。这些方法共同构成了判别真伪跃迁的统计基石。〔设计值〕
04严谨判别：预注册阈值与样本功效
本实验的核心在于其预注册的严格阈值，这些阈值在实验开始前已被冻结，不可更改。例如，支持H0的判据包括离散化比R_disc≥3.0且其自举CI下界>1.5，地板翻越比F≥0.40且剔除地板题后EM跃迁下降≥50%，以及跃迁幅度随题目步骤数k单调上升。推翻H0（即支持稳健跃迁）的条件则更为严苛：至少两个独立连续指标的跃迁幅度J_m≥0.10且发生档位高度一致，同时预注册平滑模型的留出误差NRMSE_hold>10%。此外，人工判分的Cohen κ≥0.70是进入主判定的前置闸门。〔设计值〕
样本量与统计功效是实验设计的关键考量。初步的N=41题样本（D0）在二值指标（如EM）上功效不足，其最小可检测效应（MDE）高达约30.9个百分点，难以检测15个百分点量级的相邻跃迁。因此，确认性检验将主要依赖于扩增后的D1数据集（N≥200），此时EM的MDE可降至约14.0个百分点。值得注意的是，连续指标（如Step/LS/CE）在相同样本量下比二值指标敏感约2-3倍，这也是本设计强调计算多维度连续指标的统计学依据。〔计算值〕
实验的重复次数（R=5）主要用于降低同一题目在同一能力档位下的采样方差，而非题目间的方差。因此，主判定必须基于题目级别的配对或混合效应分析，以避免错误地夸大自由度。预注册阈值中的“稳健阈值”10%与RQ-DB3中Q4的“超额损失预测相对误差不超过10%”的口径保持一致，而0.10的最小实用效应则参考了Q3和Q8中的量级设定，取了一个更为保守的中值。〔设计值；报告第 1005、1174 行已查证〕
05数据与保障：从原始题库到三态判定
本实验的数据集包括：D0（41条阿语商务冻结题，作为主业务端点和筛选集，待人工核验），D1（机器可判定扩增集，N≥200，由D0模板扩写，用于确认性检验和样本量闸门），以及D2（已知平滑合成生成器，用于提供零分布和机制正对照）。此外，历史输出（D3）仅用于探索性分析，不参与主判定，以避免引入不可控的混杂因素。所有开放性评估将由双人独立盲评，并以Cohen κ≥0.70作为评分一致性闸门，否则该指标将退出主判定。
实验的严谨性还体现在对多项变量的严格控制上。温度、top-p、seed、系统提示和模板等参数全局冻结并写入配置哈希；题目顺序在每档随机化以控制位置效应；评卷者双盲、遮蔽档位标签以降低偏差；模型版本漂移将通过开跑与收尾的复现测试进行监控；提示注入不会泄漏给判分器。整个实验流程分为四个阶段：冻结（阶段0）、预实验（阶段1）、主跑（阶段2）和分析（阶段3），每个阶段均设明确的阶段门以确保质量与进度。
最终的判定将是明确的三态：支持H0（指标/地板解释），推翻H0（稳健跃迁），或证据不足。支持H0需满足M1a或M1b成立，且M2或M3至少一条成立，同时稳健判据R不成立。推翻H0则需满足连续指标中至少2个跃迁幅度≥0.10且档位高度一致，预注册平滑模型预测失败，判分一致性通过，并存在可干预的行为变化。若以上条件均不满足，则判定为证据不足。再次强调，即便推翻H0，也绝不等于证明了数学意义上的不连续相变。
大模型能力的真实跃迁与表观现象之间的界限，是当前人工智能领域最引人入胜的科学问题之一。本预注册实验设计提供了一个严谨框架，以系统性、可证伪的方式探究这一谜团。通过精心控制能力轴、全面覆盖多维度指标及强健统计方法，我们不仅能清晰辨别何为真正的能力进步，何为指标“魔术”，更能为未来LLM评估和开发指明方向。我们呼吁，在评估模型进展时，应超越单一二值指标，关注连续性指标、充足样本量，并秉持科学批判精神。只有这样，我们才能真正理解和引导AI进步，而非被其表象所迷惑。
这是一个持续更新的公开记录。重要修订会保留日期并说明原因。