智能力度量迷雾：AI评估体系如何规避“压缩即智能”假说的核心挑战

“压缩即智能”这一论断在经验层面被细化为一系列可操作的假设：在同族或同分布数据下，压缩率的改善与模型质量的提升呈现正相关性；这种关联可被拟合为可迁移的映射关系；并且该映射在未见的模型上保持稳定。更强烈的版本则主张，压缩指标是模型能力的充分代理，甚至可以跨越不同的分词器、模型家族和应用场景进行外推，从而替代传统的业务性能评估。这种观点赋予了压缩率在AI能力评估中超越其本质度量的额外含义与价值，成为衡量智能的潜在普适性指标。

然而，将压缩视为智能代理的路径面临着五大结构性局限。首先是**聚合缺口**：字节级的平均压缩率（BPB）无法直接反映特定任务成功所需的合取型（全对才算对）知识，可能导致压缩改善但任务正确率停滞。其次是**识别缺口**：模型容量、训练数据和算力等共同因素（Z）既提升了压缩能力，也提升了任务性能，使得跨模型观察到的“压缩—能力”相关性并非纯粹的因果关系，而是系统性上偏。再者是**外推缺口**：有限的训练样本、分布漂移以及“没有免费午餐”定理（Wolpert 1996）的存在，意味着任何从有限数据中学习到的压缩-能力映射都难以保证在留出模型、客户或新领域上的普适性。此外，**度量/构念缺口**源于分词器选择、上下文长度、语料分布等因素对BPB的显著影响，以及“能力”本身是指标依赖的代理，可能造成“相关性”只是测量口径的假象。最后是**增量效度缺口**：如果压缩率只是模型规模的代理，那么它对实践就缺乏独立的增量价值，其“有用性”可能只是“大模型表现更好”的同义反复，未能提供新的洞察。这些局限性构成了对“用压缩评估/预测能力”这一路径的严峻挑战。

为了理解AI评估体系如何应对这些挑战，我们首先需明确其主要组成部分。这包括：**基准套件**，如MMLU、GPQA、MATH等任务型评测，以及Pile/WikiText等内在语言建模评测；**评估框架与工具**，例如EleutherAI的`lm-evaluation-harness`、Stanford HELM和OpenCompass，它们定义了指标、聚合方式和误差估计；**排行榜与竞技场**，如HuggingFace Open LLM Leaderboard和Chatbot Arena，它们对模型进行排名和比较；**方法学与统计规范**，涵盖误差棒、置信区间、显著性检验、构念效度、污染检测以及预注册等原则；最后是**文档与治理标准**，如模型卡片（Model Cards）、数据表（Datasheets）以及BetterBench的基准质量清单等。这些组件共同构成了衡量AI模型性能的复杂生态系统。

然而，一个关键的观察是，评估体系中对“压缩”概念的运用被严格限制和“隔离”。压缩指标，如字节每比特（bits-per-byte, BPB）和困惑度（perplexity），主要出现在基准套件中的“内在语言建模”评估线，以及Hutter Prize等独立竞赛中。这意味着压缩率主要被视为衡量模型内在语言理解效率或数据表示能力的指标。与之形成鲜明对比的是，主流能力型基准（如MMLU、GPQA）及其对应的排行榜，则完全不将压缩率作为模型能力的代理指标进行考量。这种“隔离”并非主动的验证或证伪，而是一种策略性的规避：既然不依赖压缩率作为能力代理，那么前述聚合、识别和增量效度等方面的威胁，就不会直接污染主流能力评估的结论。这使得“压缩即智能”这一假说在多数AI能力评估实践中被有效地置于“不适用”或“不关注”的境地。

面对假说的局限，当前评估体系对**识别缺口**主要采取“直接测量与回避”的策略。评估体系并不通过压缩率来推断模型能力，而是直接评估模型在各项任务上的表现。这有效避免了因共同因素（如算力、数据量）同时提升压缩和能力所带来的混淆，评估结论仅陈述模型在特定基准上的相对性能，不涉及因果归因。部分辅助手段也提供了弱识别：例如，通过发布Pythia、Llama等多档模型家族，研究者可在族内观察规模与能力的关系，将模型规模作为显式变量。此外，量化鲁棒性消融测试也提供了“内生压缩变异”的实验臂。针对**聚合缺口**，能力评估侧已广泛采用合取型指标，例如`lm-evaluation-harness`中的`acc_all`要求一组子问题全部正确才计分；数学和代码任务则通过精确匹配或pass@k等严格标准进行评分。HELM框架更是对16个核心场景的每个场景测量多达7个指标（如准确率、校准性、鲁棒性等），避免单一均值掩盖模型性能的全貌。然而，在压缩侧，评估仍停留在单一的平均BPB值，缺乏对“事实承载位”与“其余位”的分解，导致此缺口在压缩测量上未被处理。

在**外推缺口**方面，评估体系的应对策略最为成熟且制度化。这包括广泛使用留出测试集和私有测试集，以评估模型在新数据上的泛化能力。为对抗数据污染，GSM1k等研究通过重命名题集来检测模型对训练数据的记忆，LiveBench则利用近期竞赛和论文动态生成新题目并每月更新，以持续区分模型真实能力。多域、多语言基准测试和细致的分布切分（如HELM覆盖42个场景）用于探查模型能力是否仅限于特定分布。此外，评估体系日益重视统计误差棒和显著性报告，系统地将评测视为实验，提供置信区间和样本量规划（Miller 2024），以量化评估结果的不确定性。这些措施旨在增强评估结果的稳健性和可信度，即便无法提供普适性能力的正式保证，也最大化了经验上的外推性。

对于**度量/构念缺口**，评估体系在技术工具层面已有所准备。例如，`lm-evaluation-harness`注册了字节归一化的`bits_per_byte`指标，The Pile项目也明确推荐使用基于UTF-8编码字节的BPB，这响应了在衡量压缩时需确保口径一致的呼吁（Huang et al. 2024）。然而，这些精确的压缩指标主要被“隔离”在内在语言建模评估中，并未作为能力代理进入主流排行榜。在方法学层面，构念效度框架已被明确提出：心理测量学（Freiesleben & Zezulka 2025）被引入，以探讨从基准分数推断科学结论所需的条件。模型卡片（Model Cards）和数据表（Datasheets）等文档化治理工具也要求披露预期用途、指标和局限性，将构念有效性纳入发布流程。尽管工具和框架俱在，但缺乏将二者结合，形成具体“压缩—能力”效度协议的制度化机制。

在评估“压缩即智能”假说的核心问题——即压缩指标是否提供超越模型规模的增量信息方面，当前主流评估体系存在最显著的空白。排行榜的设立旨在对模型进行排序，而非检验特定指标（如压缩率）相对于其他基线（如模型规模或算力）是否具有独立的增量预测力。这意味着，评估体系并未常规性地执行嵌套模型比较（如LRT或信息准则ΔAIC），来判断在控制了规模和算力等因素后，压缩指标是否仍能显著解释模型能力的变异。虽然有研究（Huang et al. 2024）提议将压缩效率作为无监督评估指标，但这仍停留在学术探讨阶段，尚未被主流评估套件（如HELM或Open LLM Leaderboard）采纳为标准规范。因此，“压缩率仅仅是模型规模的代理”这一潜在的、对假说最具致命性的替代解释，在现有的评估实践中并未得到常规性检验，相关问题大多被留给了专门的学术研究而非日常的基准评估。

此外，对“压缩套利”或因度量假象而造成的虚假高压缩率，评估体系也缺乏制度化的诊断机制。虽然BetterBench等项目推荐了多种基准反游戏（anti-gaming）机制，例如使用唯一标识符、加密评测实例或检测训练数据污染等，但在专门针对压缩指标自身的“表示几何”退化问题上，常规评测套件几乎是空白的。Zang et al. (2025)的研究指出，高压缩率有时可能来源于表示几何的退化（例如各向异性），并提出了诊断这类问题的几何精炼压缩指标。然而，这些关于模型表示层面的诊断方法，目前尚未被整合到任何主流的AI模型评估流程中，使得评估体系对模型可能通过非智能方式实现高压缩率的可能性缺乏有效的识别和防范能力。这代表了假说验证中的一个关键盲区，限制了我们对模型“智能”本质的深入理解。