ما وراء الظاهر: إطار صارم للتحقق التجريبي من القدرة التنبؤية الحقيقية لمقاييس ضغط نماذج اللغة الكبيرة

حظيت مقاييس الضغط في تقييم قدرات نماذج اللغة الكبيرة (LLM)، مثل الارتباك (PPL) أو عدد البتات لكل بايت (BPB)، باهتمام كبير بسبب ارتباطها السلبي العالي بأداء النموذج. ومع ذلك، غالبًا ما تخفي هذه العلاقة الظاهرية عوامل مربكة معقدة. على سبيل المثال، غالبًا ما يؤدي حجم النموذج وكمية بيانات التدريب والموارد الحاسوبية (Z) إلى تحسين كل من "قدرة الضغط" (C) و "جودة المهمة" (Q) للنموذج في وقت واحد. في ظل هذا الهيكل المشترك للسبب، يؤدي تحليل الارتباط البسيط إلى أن يكون الارتباط المرصود أعلى بشكل منهجي من العلاقة السببية الحقيقية، مما يشكل "وهم الارتباط" ويضللنا للاعتقاد بأن مقاييس الضغط يمكن أن تعكس أو حتى تسبب جودة النموذج مباشرة. `【تم التحقق·محلي: OPC-103 §1.3②؛ انحياز المتغيرات المحذوفة القياسية】`

لذلك، فإن مساواة "القدرة التنبؤية الحقيقية" بالارتباط الإحصائي البسيط يعد خطأً منهجيًا خطيرًا. فالقدرة التنبؤية الحقيقية لا تتطلب فقط أن يكون المقياس قادرًا على التنبؤ بمتغير معيار معين، بل تتطلب أيضًا أن تكون هذه القدرة التنبؤية قابلة للتعميم خارج العينة (out-of-sample)، ومحددة سببيًا (causally identified)، وقوية في ظل تغيرات التوزيع (robust to distribution shift)، وأن توفر معلومات إضافية (incremental over baselines) مقارنة بالخطوط الأساسية القوية الموجودة. إذا لم يتم فصل هذه العوامل المربكة من خلال تصميم تجريبي صارم، فإن أي استنتاجات مبنية على الارتباط البسيط قد لا تكون راسخة، بل قد تضلل اتجاه البحث والتطوير وتطبيقات نماذج اللغة الكبيرة. `【استنتاج】`

لتقييم "القدرة التنبؤية الحقيقية" لمقاييس الضغط بدقة، يجب أولاً تحليلها إلى أربعة أنواع من قضايا الصلاحية في القياس. الأول هو **صلاحية البنية** (construct validity)، وهي تتساءل عما يقيسه مقياس الضغط بالفعل، وما إذا كان قد قام بتفعيل "القدرة" أو "الجودة" التي ندعيها بدقة. إذا كان تعريف المقياس غامضًا أو كان هناك خداع في القياس، فإن جميع التنبؤات اللاحقة ستفقد معناها. الثاني هو **صلاحية المعيار/التنبؤ** (criterion/predictive validity)، وهو يفحص ما إذا كان مقياس الضغط يمكنه التنبؤ بفعالية بجودة الأعمال على عينات غير مرئية. يتطلب ذلك التحقق من العلاقة التنبؤية على مجموعة بيانات مستقلة عن عملية الملاءمة، بدلاً من التحقق الذاتي على نفس مجموعة البيانات. `【استنتاج: تصنيف قياس قياسي】` `【بانتظار التحقق: لم يتم جلب النص الأصلي من كتاب القياس في هذه المحادثة بنداً بنداً】`

الثالث هو **صلاحية الزيادة** (incremental validity)، وهي تتساءل عما إذا كان مقياس الضغط لا يزال يوفر زيادة فريدة وقيّمة في المعلومات بعد استبعاد الخطوط الأساسية القوية مثل حجم النموذج وخطوات التدريب. إذا كان مقياس الضغط مجرد بديل لهذه الخطوط الأساسية القوية، فليس له قيمة إضافية في الممارسة. أخيرًا، **الصلاحية الخارجية** (external validity)، وهي تختبر ما إذا كانت القدرة التنبؤية لمقياس الضغط لا تزال قائمة عبر مجالات مختلفة، ولغات، وعملاء، أو فترات زمنية. يجب النظر في هذه الأنواع الأربعة من الصلاحية والحكم عليها بشكل منفصل في تصميم التجربة، حيث تعتبر صلاحية البنية شرطًا مسبقًا لجميع أنواع الصلاحية الأخرى؛ إذا كانت البنية نفسها مشكوكًا فيها، فإن صلاحية التنبؤ اللاحقة قد تكون مجرد وهم قياس. `【تم التحقق·مرجع: Freiesleben & Zezulka 2025؛ تم التحقق·محلي: OPC-316 §3.4؛ استنتاج】`

قبل الشروع في تصميم التجربة، يجب تحديد وتوضيح المشكلات الخمسة الرئيسية المتعلقة بمعايير القياس الخاصة بمقاييس الضغط، وإلا فإن جميع التحليلات الإحصائية اللاحقة قد تتحول إلى ضوضاء. أولاً، يجب أن يكون تعريف المؤشر واضحًا وخالياً من الالتباس؛ على سبيل المثال، لـ "نسبة الضغط" أربعة تعريفات معاكسة أو مختلفة على الأقل (المعيار الهندسي، معيار نسبة الضغط، BPB/BPC، PPL)، ويجب توحيد الاتجاه وطريقة الحساب. ثانيًا، يجب استخدام معيار البايت/الحرف (BPC/BPB) عند مقارنة النماذج المختلفة، بدلاً من معيار الرموز (token) الخاص بالنموذج، وذلك للقضاء على الالتباس الناتج عن أدوات التقسيم المختلفة (tokenizer) وضمان قابلية المقارنة بين المؤشرات. `【تم التحقق·محلي: OPC-316 §1؛ OPC-103 §1.1】` `【تم التحقق·مرجع: Huang et al. 2024 الملخص والنص الكامل؛ تم التحقق·محلي: OPC-316 §2.2، §3.4】`

علاوة على ذلك، يجب الحذر من إمكانية "التحايل على الضغط" (compression hacking) في مقاييس الضغط. فقد أظهرت الدراسات أن تمثيلات النموذج المضغوطة بشدة قد تتدهور إلى تمثيلات غير متجانسة للغاية (highly anisotropic)، مما يؤدي إلى معدلات ضغط عالية زائفة. لذلك، يجب أن تتضمن التجربة تحليل تبديد متغيرات القياس (المعيار الأصلي مقابل المعيار الهندسي المحسن) وتشخيص هندسة التمثيل، لاستبعاد احتمال أن تكون مقاييس الضغط مجرد وهم قياسي. وفي الوقت نفسه، يجب التمييز بين "ضغط التنبؤ بالنموذج" و "ضغط التكرار في الإخراج": قياس نسبة ضغط `zlib` لإخراج النموذج يقيس التكرار في الإخراج، وليس قدرة النموذج على ضغط التنبؤ للتوزيع المرجعي؛ فالبنيتان مختلفتان ولا يجوز الخلط بينهما أو استبدال أحدهما بالآخر. `【تم التحقق·مرجع: Zang et al. 2025 (arXiv:2505.17793)】` `【استنتاج】` `【تم التحقق·محلي: OPC-103 §3.8 البند 1】`

أخيرًا، لتقييم قدرة الضغط الخاصة بالنموذج بدقة، يجب أن يتضمن تصميم التجربة ضاغطات تقليدية كخط أساس. إن استخدام `gzip`/`zstd` لحساب "قابلية ضغط البيانات نفسها" لنفس النص، يمكّن من التمييز بين "سهولة ضغط هذا النص" و "جودة تنبؤ هذا النموذج". إذا افتقرنا إلى مثل هذا الخط الأساسي القوي للمقارنة، فسيصعب التأكيد ما إذا كانت مقاييس الضغط تعكس خصائص النص المتأصلة، أم أنها تعكس قدرة النموذج الاستثنائية الحقيقية على التنبؤ والتمثيل، وهو أمر بالغ الأهمية لتقييم قيمته الفريدة كوكيل لقدرات نماذج اللغة الكبيرة. `【تم التحقق·محلي: OPC-203 §1.5، §1.7】`

في الوقت الحالي، غالبًا ما يُخلط بين العلاقة الظاهرية لمقاييس ضغط نماذج اللغة الكبيرة (LLM) والأداء بعوامل مشتركة مثل حجم النموذج وبيانات التدريب. لقطع مسار هذا السبب المشترك، يجب أن يثبت التصميم التجريبي الصارم السعة، وأن يقدم اضطرابًا خارجيًا في الضغط. على سبيل المثال، تحت نفس وزن النموذج، يمكن توليد تباين ضغط داخلي عن طريق التلاعب بترابط أمثلة السياق (أمثلة ذات صلة مقابل أمثلة عشوائية) أو مستويات الكمية (fp16/int8/int4)، مما يضمن ثبات متغير السعة. بالإضافة إلى ذلك، يجب أن تنخفض وحدة التحليل الإحصائي إلى مستوى البند، حيث يتم إجراء قياسات متكررة لكل بند في ظل ظروف ضغط متعددة. يمكن لنماذج التأثير المختلط أو الاختبارات المقترنة الاستفادة بفعالية من الهيكل المقترن، وتقليل ضوضاء القياس، وتجنب التضليل الناتج عن تحليل الارتباط الكلي الذي يعتمد على عدد قليل من نقاط التكوين. تهدف هذه الخطوة إلى تحديد الدور المستقل بين الضغط والجودة، بدلاً من أن تتأثر بالسبب المشترك. `【تم التحقق·محلي: OPC-103 §3؛ AUTO-005 §3.2؛ OPC-103 §3.2، §3.5】`

ثانيًا، يجب معالجة مشكلة فجوة التجميع في مقاييس الضغط مباشرة. إن إجمالي عدد البتات لكل بايت (BPB) هو متوسط، بينما صحة المهمة غالبًا ما تكون تجميعًا لمعلومات متعددة، ولا يمكن ببساطة مساواة الاثنين. يجب أن تفكك التجربة إجمالي BPB إلى "BPB الحامل للحقائق" (`C_fact`) و "BPB الباقي" (`C_other`)، ومن خلال إدخال مدققين لتحديد الفترات الرئيسية الحاملة للحقائق، يتم اختبار المساهمة الفريدة لـ `C_fact` في الجودة مباشرة، لتجنب الأداء المضلل لإجمالي BPB. وفي الوقت نفسه، لضمان "حقيقية" القدرة التنبؤية، يجب تنفيذ استراتيجية استقراء حقيقية، أي الفصل الصارم على ثلاثة أبعاد: النموذج، والبنود، وتوزيع البيانات (فصل ثلاثي). يجب أن تحتوي مجموعة التقييم على نماذج غير مرئية، وبنود غير مرئية، وعينات من توزيعات مختلفة، لمنع الملاءمة الزائدة وتلوث مجموعة الاختبار، وبالتالي ضمان القدرة على التعميم خارج العينة للتنبؤ. `【تم التحقق·محلي: OPC-103 §1.3①، §3.3】` `【تم التحقق·محلي: AUTO-005 §2.3، §3.4؛ تم التحقق·مرجع: Hofman et al. 2023】`

لا يكفي مجرد القدرة على التنبؤ لإثبات قيمتها، بل يجب أن تثبت مقاييس الضغط قدرتها على توفير معلومات إضافية. يجب أن يتضمن تصميم التجربة مقاييس الضغط ضمن نماذج متداخلة تتضمن خطوط أساس قوية (مثل حجم النموذج، خطوات التدريب، متوسط نقاط الأداء القياسية، ونسب ضغط `gzip`/`zstd` كمعيار لقابلية ضغط البيانات)، ويتم تقييم ما إذا كانت تحسن بشكل كبير أداء التنبؤ خارج العينة من خلال اختبار نسبة الاحتمال أو `ΔAUC`/`ΔR²` للتحقق المتقاطع. خاصة بعد التحكم في العوامل المربكة الرئيسية مثل حجم النموذج، إذا كانت مقاييس الضغط لا تزال تظهر ارتباطًا جزئيًا ذا دلالة إحصائية، فعندئذ فقط يمكنها أن تعكس قيمتها التنبؤية الفريدة، وتجنب الخطأ في اعتبارها مجرد متغير بديل بسيط لخطوط الأساس القوية الموجودة. `【استنتاج】` `【تم التحقق·محلي: AUTO-005 §4.4؛ OPC-203 §1.5】` `【تم التحقق·محلي: OPC-103 §3.4؛ AUTO-005 §2.2، §2.3】`

لضمان الدقة العلمية والموثوقية للنتائج التجريبية، لا غنى عن آلية التسجيل المسبق. قبل بدء التجربة، يجب تجميد مجموعة البنود، وقوالب المطالبات، ودليل الترميز، ونصوص التحليل، وعتبات الحكم، وتحديد مسبقًا قواعد الحكم ثلاثي الحالات "مؤيد/مرفوض/لا يوجد دليل كافٍ" واستراتيجيات تصحيح المقارنات المتعددة. تهدف هذه الآلية إلى إزالة تحيز الإبلاغ الانتقائي بعد الحادث، وتعزيز قابلية تكرار البحث وشفافيته. الإعلان المسبق عن النقاط النهائية الأساسية والثانوية وتوزيع `α` المقابل، يضمن تركيز البحث على الفرضيات الرئيسية، وتحديد التحليلات الاستكشافية بشكل صريح، وبالتالي تجنب فخاخ `p`-hacking الشائعة، ورفع مصداقية الاستنتاجات. `【تم التحقق·محلي: OPC-103 §3.9؛ AUTO-005 §3.4】` `【تم التحقق·محلي: OPC-103 §3.4–3.6】`

أخيرًا، من خلال التصميم المدمج للتفنيد والمراقبة السلبية، يتم استبعاد الأوهام القياسية لمقاييس الضغط. على سبيل المثال، عن طريق الخلط العشوائي لدرجات الضغط أو استبدالها بأرقام عشوائية، للتأكد مما إذا كانت العلاقة التنبؤية تختفي، وللتحقق من دقة سير العمل التجريبي. في الوقت نفسه، يتم إدخال تبديد متغيرات القياس (الضغط الأصلي مقابل الضغط الهندسي المحسّن `【تم التحقق·مرجع: Zang et al. 2025】`) وتشخيص هندسة التمثيل، للكشف عن ظاهرة "التحايل على الضغط"، أي أن النموذج قد يبالغ في الإبلاغ عن معدل الضغط على حساب جودة التمثيل. تُستخدم مهام القيم الحقيقية المعروفة الاصطناعية وتسجيل الأمثلة المضادة لاختبار ما إذا كانت التنبؤات النظرية يمكن أن تكون صحيحة في ظل ظروف مثالية، وللبحث عن الشروط الحدودية في الأمثلة المضادة المعروفة، مما يشكل معًا نظام تفنيد قويًا، ويضمن أن القدرة التنبؤية المكتشفة حقيقية وليست زائفة. `【استنتاج】` `【تم التحقق·محلي: OPC-103 §5】`

يقترح هذا البحث خطة تجريبية متعددة المراحل من خمسة مراحل، تهدف إلى تحويل المبادئ الصارمة المذكورة أعلاه إلى بروتوكول قابل للتنفيذ. أولاً، **المرحلة 0: التجميد ومحاكاة الصلاحية**، يتم فيها تثبيت تعريف البنية، ومجموعة البنود، وقوالب المطالبات، ونصوص التحليل، وتحديد حجم العينة والحد الأدنى للتأثير القابل للكشف من خلال المحاكاة. في هذه المرحلة، يجب إجراء فحوصات مسبقة حاسمة، مثل التأكد مما إذا كان النموذج المحلي يدعم مخرجات `logprobs`، أو ما إذا كانت ملفات النصوص ذات الصلة موجودة ويمكن استخدامها للترميز؛ وإذا لم يتم استيفاء الشروط، فيجب تعديل التصميم أو تخفيض مستواه. يتبع ذلك **المرحلة 1: الاضطراب الخارجي للضغط بنفس الوزن**، حيث يتم إنشاء تباين في الضغط باستخدام ترابط السياق أو مستويات الكمية، وقياس تأثير `C_total` و `C_fact` على جودة المهمة بطريقة `within-item` على مستوى البند. **المرحلة 2: المعايرة عبر التكوينات والاحتفاظ الخارجي**، يتم فيها بناء نقاط معايرة باستخدام نقاط فحص متعددة من نفس الفئة، والاحتفاظ بنماذج من سلسلة خارجية، للتحقق من القدرة التنبؤية لمقاييس الضغط خارج العينة وتأثير المعايرة. `【تم التحقق·محلي: OPC-103 §3.9؛ AUTO-005 §3.4؛ OPC-103 §3.1، §3.8؛ AUTO-005 §1.1】` `【تم التحقق·محلي: OPC-103 §3.2، §3.3】` `【تم التحقق·محلي: AUTO-005 §2.3، §3.2، §4.4】`

تتبعها **المرحلة 3: صلاحية الزيادة والصلاحية التمييزية**، حيث يتم مقارنة مقاييس الضغط بالخطوط الأساسية القوية باستخدام نماذج متداخلة، وإدخال مؤشرات تداخل غير ذات صلة لتأكيد التفرد في مساهمتها الإضافية. **المرحلة 4: المتانة، الصلاحية الخارجية والتفنيد**، يتم فيها اختبار استقرار الاستنتاجات عن طريق تغيير معايير المقام، واستراتيجيات أخذ العينات، والاحتفاظ حسب المجال/اللغة، واستخدام وسائل مثل تشخيص التحايل على الضغط والمؤشرات الزائفة العشوائية للتفنيد العميق. أخيرًا، **المرحلة 5: التحليل المسجل مسبقًا، النشر ثلاثي الحالات، والتكرار التنافسي**، يتم فيها تحليل النتائج ونشرها بدقة وفقًا للنص البرمجي المجمد، سواء كانت سلبية أم لا، ودعوة محللين مستقلين لإجراء تكرار تنافسي، لزيادة موثوقية النتائج وشفافيتها إلى أقصى حد. `【استنتاج】` `【تم التحقق·محلي: AUTO-005 §3.4، §7】` `【تم التحقق·مرجع: Zang et al. 2025】` `【تم التحقق·محلي: OPC-103 §3.9؛ AUTO-005 التزام قابلية التفنيد】`

يتطلب تقييم "القدرة التنبؤية الحقيقية" استخدام معيار حكم ثلاثي الحالات: "دعم"، "رفض"، أو "أدلة غير كافية"، حيث يكون لكل حالة عتبات واضحة على مستوى البند، ومستوى التكوين، وصلاحية الزيادة، مثل `ΔQ≥5pp`. تؤكد معايير التقرير على حجم التأثير وفترات الثقة بطريقة التمهيد (bootstrap)، بدلاً من الاعتماد فقط على قيم p. وفي الوقت نفسه، يجب الإعلان عن قيود التجربة، مثل العدد المحدود للتكوينات المحتفظ بها، والتي تُعتبر دليلاً سلبيًا فقط، أو أن نتائج مجموعة بنود واحدة لا ينبغي تعميمها بشكل مفرط على مجالات أخرى. بالإضافة إلى ذلك، حتى لو كانت القدرة التنبؤية صحيحة، فإنها تدعم فقط استخدامها كإشارة تصفية، ولا تمثل علاقة سببية "الضغط يؤدي إلى القدرة"، مما يحذر الباحثين من التفسير المفرط. `【تم التحقق·محلي: OPC-103 §3.6؛ AUTO-005 §5】` `【تم التحقق·محلي: AUTO-005 §2.3، §2.4】` `【تم التحقق·محلي: OPC-316 §3، §7؛ استنتاج】`

عند تقييم القدرة التنبؤية لمقاييس ضغط نماذج اللغة الكبيرة، توجد سلسلة من الأخطاء الشائعة في التصميم، والتي إذا لم يتم تجنبها، فإنها ستضر بشكل خطير بموثوقية استنتاجات البحث. على سبيل المثال، سيؤدي الاعتماد فقط على تحليل الارتباط المقطعي على مستوى التكوين إلى تحيز النتائج نحو الأعلى بسبب أسباب مشتركة (مثل حجم النموذج)؛ وسيؤدي استخدام `bits/token` بدلاً من معيار البايت عند المقارنة بين النماذج إلى إرباك بسبب اختلافات `tokenizer`؛ بالإضافة إلى الملاءمة والتقييم على نفس البيانات، مما سيؤدي إلى تقدير مبالغ فيه للقدرة التنبؤية وتكوين ملاءمة مفرطة. هذه هي الأخطاء الأكثر أساسية وشيوعًا في عملية التقييم، وتتطلب يقظة عالية من الباحثين.

لتجنب هذه المخاطر، يوفر الإطار الصارم الذي يقترحه هذا البحث استراتيجيات واضحة: استخدام تصميم الاضطراب الخارجي بسعة ثابتة وتحليل `within-item` على مستوى البند لتحديد التأثيرات السببية؛ توحيد استخدام معيار البايت للمقارنات بين النماذج؛ تطبيق فصل ثلاثي الأبعاد للنماذج، والبنود، والتوزيعات لتحقيق الاستقراء الحقيقي. بالإضافة إلى ذلك، يتم تفكيك `C_fact` و `C_other` للتعامل مع فجوة التجميع، وإدخال خطوط أساس قوية وإجراء تحليل نماذج متداخلة للتحقق من صلاحية الزيادة، وكذلك ضمان شفافية البحث والقدرة على مقاومة التزييف من خلال التسجيل المسبق وتصميم التفنيد المدمج، وكل ذلك يشكل معًا خط دفاع قويًا يضمن أن تقييم القدرة التنبؤية لمقاييس الضغط علمي وموثوق وله أهمية توجيهية عملية.