“世界模型”的迷思与现实：AI行动预测能力的实证边界

本次实验的核心，在于检验模型对“世界模型”的强解释——即其能否在面对因果推断的P11定理所揭示的挑战时，依然准确预测干预结果。P11定理（RQ-DB3报告第660–719行）指出，存在这样两类系统，它们在观测上可能完全等价，但对同一行动（do(X)）的干预结果却截然不同。这意味着，单纯基于对观测数据的优秀拟合，并不能保证模型能够正确推断行动的效果。我们的目标不是推翻这个数学定理，而是要在具体操作层面（P11-op）评估，面对这种观察等价性，冻结模型仅凭观察信息是否会失效。

除了P11定理，实验还关联了P10命题（RQ-DB3报告第600–656行），该命题探讨了状态预测能力与干预预测能力的可分离性。若模型能成功预测下一个观测（状态信息），但在干预预测方面表现不佳，则会触发P10的反证条件，即“该表示未构成可用于控制的世界模型”。因此，本研究通过区分模型对常规观测的预测（状态预测）与对主动行动后果的预测（干预预测），深入剖析其所谓的“世界模型”究竟涵盖了哪些层面，以及这些能力是否彼此独立或互相依赖。

需要强调的是，本实验并非旨在检验大模型在预训练阶段是否形成了世界模型，因为实验环境不支持模型的参数更新；而是评估冻结模型在特定测试分布与上下文条件下，是否表现出可控制的行动预测能力。这意味着，即便实验结果显示模型在观察等价环境中无法仅凭观察进行可靠的干预预测，也不能直接外推到预训练阶段的结论，而是限定于在给定提示词与输入上下文条件下，其是否能有效利用已有的表示进行因果推理。

为了严谨地探究模型的因果推断能力，我们设计了由纯Python/NumPy生成器（已查证：numpy 2.5.3可用）创建的受控环境，这些环境被精心构造为“观察等价、干预不同”的类型。例如，基于P11定理的经典二元结构：两个环境，一个由U导致X再导致Y，另一个由U导致Y再导致X。两者在观测联合分布上完全一致（如X=Y各半），但对do(X=1)的干预结果却南辕北辙。通过对变量名、取值标签、呈现顺序、记录条数及采样种子的精细控制，我们确保了双胞胎环境的经验观察分布差异不显著（通过双样本卡方检验与总变差距离TV<0.05验证），同时加入P(翻转)=0.1的对称噪声，使等价性变为近似等价。

实验共设置了五个条件臂（A0至A3），以系统性地评估不同信息类型对模型性能的影响。A0臂仅提供观察记录，作为检验S-strong强假设（即“仅凭观察拟合良好，模型就能可靠识别这些环境中的行动效果”）的主对比。A0p臂则提供等长但因果无信息的安慰剂段，用于隔离文本长度或机制语气可能带来的混淆效应。A1臂直接给出真实机制说明，A2臂允许模型查询有限的随机试验结果（k=20条），而A3臂则允许模型进行有限的（4步）主动探索。通过对比这些臂的性能，我们旨在量化不同级别信息对因果推断的实用增益。

为精确衡量模型性能，我们定义了四项关键依赖变量（DVs）。DV1是识别率(p_A)，即模型在不可识别环境中给出确定且与真实干预分布一致答案的查询比例（随机基线为0.5）。DV2为不可识别性识别率(u_A)，用于评估模型显式回答“无法确定”的能力，并结合可识别环境的正确率惩罚一律弃权。DV3是状态预测准确率(s_A)，衡量给定历史预测下一观测的准确性。DV4则通过Brier分数和ECE评估模型的置信度校准能力（若无法获取logprob，将降级使用语言化置信度分箱），确保模型不仅给出答案，更了解自身的不确定性。

本实验采取严谨的预注册统计框架，明确定义了主假设H0和替代假设H1。主假设H0（S-strong成立，P11-op不适用）设定为：模型在仅观察条件下（A0臂）的识别率p_A0达到0.80以上，且额外信息（A1、A2、A3臂）带来的增益小于0.15。替代假设H1（S-strong被否证，P11-op获支持）则要求p_A0低于0.65，且至少一个信息臂能带来0.15或以上的显著增益（经Holm校正后95%置信区间排除0）。这些阈值，包括最小实用效应MDE=0.15和等价界δ=0.10，均为设计值，并在实验开始前冻结，确保了判定的客观性与透明度。

为确保统计结果的稳健性，我们采用环境级cluster bootstrap（B=10,000次重抽样）计算配对差（p_A-p_A0）的95%置信区间。绝对识别率则使用Wilson 95%置信区间，并修正聚类设计效应。多重比较方面，对三个主对比（A1-A0, A2-A0, A3-A0）采用Holm-Bonferroni方法控制FWER=0.05，次要端点如校准和状态预测则使用Benjamini-Hochberg方法控制FDR=0.10。样本量设计考虑了聚类效应（DEFF=2.5），确保120个不可识别环境（20个抽象结构族×6个参数/表面变体）在保守假设下，对MDE=0.15具有至少80%的统计效力。

最终的实验结果将根据预设的三态判定表给出结论：支持、推翻或证据不足。在得出任何方向性结论之前，必须通过严格的泄漏审计，例如安慰剂臂A0p与A0的差异必须在等价界内，以及盲裁判无法仅凭观察记录区分双胞胎环境。若审计失败，无论点估计如何，结果一律判定为“证据不足”。值得注意的是，“推翻”S-strong强假设（即模型仅凭观察即可识别行动效果）需要更高的证据门槛，包括效果复现于不同的环境族和第二模型（如DeepSeek），以防将潜在的泄漏误判为模型的突破性能力。这一严格的判定流程旨在确保实验结论的可靠性与可信度。

本次研究的核心分析将基于主数据集D2，这是一个由生成脚本自动创建的185个合成受控环境集合。其中包含120个观察等价但干预不同的不可识别环境、30个可识别对照环境（用于DV2的效度验证）、20个随机标签负对照（用于校准显著性），以及15个用于开发和校准的环境。D2的生成过程附带种子、等价性检验报告和加密标签表，确保了实验的可重现性和公正性。重要的是，D2是唯一用于主假设检验的数据集，其设计旨在最大程度地隔离因果推理的复杂性，排除现实世界数据的噪音和偏差。

除了D2，研究还纳入了41条阿语商务冻结题（D1，已查证路径：`/research-opc-20260915/research/arabic-evaluation/ar_biz_eval_v1.jsonl`等），作为次要数据集，主要用于外部效度和泄漏探针。D1任务涵盖翻译、意图识别、问答等，并已具备自动评分机制。然而，D1本身不含因果干预结构，因此它不直接参与P11相关的因果推断主假设检验。其作用在于：验证合成环境的结论是否具有表面生态效度，例如若“阿语商务外壳”下的A0表现显著优于合成外壳，则可能警示领域先验或数据泄漏。此外，D1也是模型预训练污染的基线，用于n-gram/嵌入重叠及canary审计。

为严格控制实验污染并保障结果的纯粹性，我们采取了多项措施：所有测试集只允许一次性封存访问，分析者在数据收集阶段对真实标签保持盲法，主要分析脚本在数据收集前即冻结并登记哈希。环境族按结构族分组切分，其中20族中的4族特意留作跨族外推验证。同时，将执行n-gram重叠与canary串检测，以识别模型是否可能已在预训练阶段“见过”与测试集高度相似的文本。任何污染迹象的发现，都将导致相关结果降级为“证据不足”，而非允许其影响最终结论，从而维护实验的科学严谨性。

本实验预见了多项潜在风险并规划了应对策略。最大的风险之一是“环境泄漏”，即模型在A0臂表现异常优秀（p_A0 ≥ 0.80），这可能意味着测试环境的设计无意中泄露了额外信息。为缓解此风险，我们将首先执行严格的审计流程（参照4.3节），包括安慰剂臂A0p的检验和盲裁判的区分能力测试。如果审计不通过，将重做实验，或将表面文本改写为阿语商务语境进行反向验证，最终若审计失败，结果一律判定为“证据不足”，避免将泄漏误判为模型的真实能力。

另一个关键风险是“正对照失效”，即在A1、A2或A3臂中，即使提供了机制、试验或探索信息，模型表现仍与A0臂相似（识别率接近0.5）。这可能表明任务超出当前模型能力范畴。对此，我们将尝试降低干扰维度、增大试验样本量或更显式地提供机制说明。如果改进后仍无显著增益，则结论将降级为“证据不足”，而非支持任何特定假设。此外，我们也关注“退化解”的风险，如模型一律选择“无法确定”来获得高u_A值；为此，DV2的certified score将惩罚这种无差别的弃权行为，确保模型在“该答时敢答，不确定时弃权”。

在操作层面，模型访问限制是不可忽视的风险，特别是对gpt-6-astra的Codex CLI配额。已查证本机`settings.yaml`未配置gpt-6-astra的直连凭据。若无法获取或配额受限，替代方案是将结论降级为“单模型+双时间点复现”，并在报告中明确说明外部效度受限。若接口无法返回logprob，校准评估将降级为使用语言化置信度分箱，但这不会影响作为主DV的识别率判定。最核心的原则是：任何环节的失败，都优先将结论降级为“证据不足”，而不是放宽已冻结的阈值（MDE=0.15、τ_strong=0.80等），以确保研究的科学性与结论的可靠性。