ضبابية قياس الذكاء: كيف تتجنب نظم تقييم الذكاء الاصطناعي التحديات الجوهرية لفرضية 'الضغط هو الذكاء

يتجلى الادعاء بأن 'الضغط هو الذكاء' على المستوى التجريبي في سلسلة من الفرضيات القابلة للتشغيل: تحسن نسبة الضغط يرتبط إيجابًا بتحسن جودة النموذج ضمن نفس العائلة أو توزيع البيانات؛ يمكن تكييف هذا الارتباط كعلاقة تخطيطية قابلة للنقل؛ وتظل هذه العلاقة ثابتة على النماذج غير المرئية. تذهب النسخة الأكثر قوة إلى أن مؤشر الضغط هو وكيل كافٍ لقدرة النموذج، ويمكن حتى استقراءه عبر مختلف أدوات الترميز وعائلات النماذج وسيناريوهات التطبيق، ليحل بذلك محل تقييمات الأداء التشغيلية التقليدية. يمنح هذا المنظور نسبة الضغط معنى وقيمة إضافية تتجاوز قياسها الجوهري في تقييم قدرات الذكاء الاصطناعي، مما يجعلها مؤشرًا عالميًا محتملاً لقياس الذكاء.

ومع ذلك، يواجه مسار اعتبار الضغط وكيلاً للذكاء خمسة قيود هيكلية رئيسية. أولاً، **فجوة التجميع**: متوسط نسبة الضغط على مستوى البايت (BPB) لا يمكنه أن يعكس بشكل مباشر المعرفة التجميعية (كلها صحيحة لكي تعتبر صحيحة) المطلوبة لنجاح مهمة معينة، مما قد يؤدي إلى تحسن في الضغط ولكن ركود في دقة المهمة. ثانياً، **فجوة التحديد**: العوامل المشتركة (Z) مثل سعة النموذج، وبيانات التدريب، والقدرة الحاسوبية، كلها تزيد من قدرة الضغط وتحسن أداء المهمة، مما يجعل الارتباط الملاحظ بين 'الضغط والقدرة' عبر النماذج ليس علاقة سببية بحتة، بل هو انحياز منهجي. ثالثاً، **فجوة الاستقراء**: وجود عينات تدريب محدودة، وانحراف التوزيع، ونظرية 'لا توجد وجبات غداء مجانية' (Wolpert 1996)، يعني أن أي علاقة تخطيطية بين الضغط والقدرة يتم تعلمها من بيانات محدودة يصعب ضمان قابليتها للتطبيق العام على النماذج المتروكة أو العملاء أو المجالات الجديدة. بالإضافة إلى ذلك، تنبع **فجوة القياس/البناء** من التأثير الكبير لعوامل مثل اختيار أداة الترميز، وطول السياق، وتوزيع المدونة على BPB، وكون 'القدرة' نفسها وكيلًا يعتمد على المؤشر، مما قد يجعل 'الارتباط' مجرد وهم ناتج عن طريقة القياس. أخيرًا، **فجوة الصدق التزايدي**: إذا كانت نسبة الضغط مجرد وكيل لحجم النموذج، فإنها تفتقر إلى قيمة إضافية مستقلة للممارسة، وقد تكون 'فائدتها' مجرد تكرار لمعنى 'النماذج الكبيرة تعمل بشكل أفضل'، دون تقديم رؤى جديدة. تشكل هذه القيود تحديًا خطيرًا لمسار 'تقييم/التنبؤ بالقدرة باستخدام الضغط'.

لفهم كيفية تعامل نظام تقييم الذكاء الاصطناعي مع هذه التحديات، يجب علينا أولاً تحديد مكوناته الرئيسية. تشمل هذه المكونات: **مجموعات الاختبار المعيارية**، مثل تقييمات المهام مثل MMLU و GPQA و MATH، بالإضافة إلى تقييمات نمذجة اللغة الداخلية مثل Pile/WikiText؛ **أطر وأدوات التقييم**، على سبيل المثال، `lm-evaluation-harness` من EleutherAI، و Stanford HELM، و OpenCompass، التي تحدد المؤشرات، وطرق التجميع، وتقدير الخطأ؛ **لوحات الصدارة وساحات المنافسة**، مثل HuggingFace Open LLM Leaderboard و Chatbot Arena، والتي تقوم بترتيب النماذج ومقارنتها؛ **المنهجيات والمعايير الإحصائية**، وتشمل مبادئ مثل أشرطة الخطأ، وفترات الثقة، واختبارات الأهمية، وصدق البناء، وكشف التلوث، والتسجيل المسبق؛ وأخيرًا، **معايير التوثيق والحوكمة**، مثل بطاقات النماذج (Model Cards)، وأوراق البيانات (Datasheets)، وقائمة جودة المعايير في BetterBench وغيرها. تشكل هذه المكونات معًا نظامًا بيئيًا معقدًا لقياس أداء نماذج الذكاء الاصطناعي.

ومع ذلك، فإن الملاحظة الرئيسية هي أن استخدام مفهوم 'الضغط' في نظام التقييم مقيد ومُعزل بشكل صارم. تظهر مؤشرات الضغط، مثل البتات لكل بايت (bits-per-byte, BPB) والحيرة (perplexity)، بشكل أساسي في خط تقييم 'نمذجة اللغة الداخلية' ضمن مجموعات الاختبار المعيارية، وفي المسابقات المستقلة مثل Hutter Prize. هذا يعني أن نسبة الضغط تُعتبر مؤشرًا أساسيًا لقياس كفاءة فهم اللغة الداخلية للنموذج أو قدرته على تمثيل البيانات. على النقيض تمامًا، فإن المعايير الرئيسية القائمة على القدرات (مثل MMLU و GPQA) ولوحات الصدارة المقابلة لها، لا تعتبر نسبة الضغط على الإطلاق مؤشرًا وكيلاً لقدرة النموذج. هذا 'العزل' ليس تحققًا أو تفنيدًا نشطًا، بل هو تجنب استراتيجي: بما أنه لا يتم الاعتماد على نسبة الضغط كوكيل للقدرة، فإن التهديدات المذكورة سابقًا فيما يتعلق بالتجميع والتحديد والصدق التزايدي، لن تلوث استنتاجات تقييم القدرات الرئيسية بشكل مباشر. وهذا يضع فرضية 'الضغط هو الذكاء' بشكل فعال في موقف 'غير قابل للتطبيق' أو 'غير ذي صلة' في معظم ممارسات تقييم قدرات الذكاء الاصطناعي.

في مواجهة قيود الفرضية، يعتمد نظام التقييم الحالي استراتيجية 'القياس المباشر والتجنب' بشكل أساسي لمعالجة **فجوة التحديد**. لا يستدل نظام التقييم على قدرة النموذج من خلال نسبة الضغط، بل يقيم أداء النموذج مباشرةً في المهام المختلفة. هذا يتجنب بفعالية الارتباك الناتج عن العوامل المشتركة (مثل القدرة الحاسوبية وكمية البيانات) التي تعزز الضغط والقدرة في آن واحد، وتقتصر استنتاجات التقييم على الإشارة إلى الأداء النسبي للنموذج على معيار محدد، دون التطرق إلى الإسناد السببي. وقد وفرت بعض الوسائل المساعدة تحديدًا ضعيفًا أيضًا: على سبيل المثال، من خلال إطلاق عائلات نماذج متعددة مثل Pythia و Llama، يمكن للباحثين ملاحظة العلاقة بين الحجم والقدرة داخل العائلة، واستخدام حجم النموذج كمتغير صريح. بالإضافة إلى ذلك، توفر اختبارات الإزالة الكمية للمتانة ذراعًا تجريبيًا لـ 'التباين الداخلي للضغط'. لمعالجة **فجوة التجميع**، تبنى جانب تقييم القدرات مؤشرات تجميعية على نطاق واسع، مثل `acc_all` في `lm-evaluation-harness` الذي يتطلب أن تكون جميع الأسئلة الفرعية في مجموعة صحيحة ليتم احتساب النتيجة؛ بينما يتم تقييم المهام الرياضية والبرمجية بمعايير صارمة مثل المطابقة الدقيقة أو pass@k. إطار HELM يقيس ما يصل إلى 7 مؤشرات لكل من الـ16 سيناريو الأساسية (مثل الدقة، والمعايرة، والمتانة، إلخ)، تجنبًا لأن يحجب المتوسط الوحيد الصورة الكاملة لأداء النموذج. ومع ذلك، على جانب الضغط، لا يزال التقييم يقتصر على قيمة BPB المتوسطة الواحدة، ويفتقر إلى تحليل 'البتات الحاملة للمعلومات' و'البتات المتبقية'، مما يجعل هذه الفجوة غير معالجة في قياس الضغط.

فيما يتعلق بـ **فجوة الاستقراء**، تعد استراتيجيات نظام التقييم هي الأكثر نضجًا ومأسسةً. يتضمن ذلك الاستخدام الواسع لمجموعات الاختبار المستقلة والخاصة، لتقييم قدرة النموذج على التعميم على البيانات الجديدة. لمكافحة تلوث البيانات، تقوم دراسات مثل GSM1k باكتشاف ذاكرة النموذج لبيانات التدريب من خلال إعادة تسمية مجموعات الأسئلة، بينما يستخدم LiveBench المسابقات الحديثة وأوراق البحث لتوليد أسئلة جديدة وتحديثها شهريًا، للتفريق المستمر بين القدرات الحقيقية للنماذج. تُستخدم اختبارات الأداء المعيارية متعددة المجالات واللغات، وتقسيمات التوزيع الدقيقة (مثل تغطية HELM لـ 42 سيناريو)، لاستكشاف ما إذا كانت قدرة النموذج مقتصرة على توزيع معين. بالإضافة إلى ذلك، يولي نظام التقييم أهمية متزايدة لأشرطة الخطأ الإحصائية وتقارير الأهمية، ويعتبر التقييم تجربة بشكل منهجي، مقدمًا فترات ثقة وتخطيطًا لحجم العينة (Miller 2024)، لتقدير عدم اليقين في نتائج التقييم كميًا. تهدف هذه الإجراءات إلى تعزيز متانة وموثوقية نتائج التقييم، وعلى الرغم من أنها قد لا توفر ضمانًا رسميًا للقدرة العالمية، إلا أنها تزيد من قابلية الاستقراء التجريبية إلى أقصى حد.

فيما يخص **فجوة القياس/البناء**، أعد نظام التقييم نفسه على مستوى الأدوات التقنية. على سبيل المثال، سجل `lm-evaluation-harness` مؤشر `bits_per_byte` المعياري للبايتات، ويوصي مشروع The Pile بشكل واضح باستخدام BPB القائم على البايتات المشفرة بـ UTF-8، وهذا يستجيب للدعوة لضمان اتساق المعايير عند قياس الضغط (Huang et al. 2024). ومع ذلك، فإن هذه المؤشرات الدقيقة للضغط 'مُعزولة' بشكل أساسي في تقييم نمذجة اللغة الداخلية، ولم تدخل لوحات الصدارة الرئيسية كوكيل للقدرة. على المستوى المنهجي، تم طرح إطار صدق البناء بوضوح: تم إدخال القياس النفسي (Freiesleben & Zezulka 2025)، لمناقشة الشروط المطلوبة لاستنتاج استنتاجات علمية من درجات الأداء المعيارية. أدوات الحوكمة الموثقة مثل بطاقات النماذج (Model Cards) وأوراق البيانات (Datasheets) تتطلب أيضًا الكشف عن الاستخدامات المتوقعة، والمؤشرات، والقيود، مدمجة صلاحية البناء في عملية الإصدار. على الرغم من توفر الأدوات والأطر، إلا أنه لا توجد آلية مؤسسية لدمجهما وتشكيل بروتوكول صدق محدد لـ 'الضغط-القدرة'.

في تقييم القضية الجوهرية لفرضية 'الضغط هو الذكاء'—وهي ما إذا كانت مؤشرات الضغط توفر معلومات تزايدية تتجاوز حجم النموذج—يوجد أكبر فراغ واضح في نظام التقييم السائد الحالي. تهدف لوحات الصدارة إلى ترتيب النماذج، وليس اختبار ما إذا كان مؤشر معين (مثل نسبة الضغط) يمتلك قوة تنبؤية تزايدية مستقلة مقارنة بالخطوط الأساسية الأخرى (مثل حجم النموذج أو القدرة الحاسوبية). هذا يعني أن نظام التقييم لا يقوم بشكل روتيني بإجراء مقارنات النماذج المتداخلة (مثل LRT أو معيار المعلومات ΔAIC)، للحكم على ما إذا كانت مؤشرات الضغط لا تزال تفسر بشكل كبير تباين قدرة النموذج بعد التحكم في عوامل مثل الحجم والقدرة الحاسوبية. على الرغم من أن هناك أبحاثًا (Huang et al. 2024) اقترحت كفاءة الضغط كمؤشر تقييم غير خاضع للإشراف، إلا أن هذا لا يزال في مرحلة النقاش الأكاديمي، ولم يتم اعتماده كمعيار قياسي من قبل مجموعات التقييم الرئيسية (مثل HELM أو Open LLM Leaderboard). وبالتالي، فإن التفسير البديل المحتمل والأكثر فتكًا للفرضية، وهو أن 'نسبة الضغط مجرد وكيل لحجم النموذج'، لم يتم اختباره بشكل روتيني في ممارسات التقييم الحالية، وغالبًا ما تُترك القضايا ذات الصلة للبحوث الأكاديمية المتخصصة بدلاً من تقييمات الأداء المعيارية اليومية.

بالإضافة إلى ذلك، فيما يتعلق بـ 'مراجحة الضغط' أو نسب الضغط العالية الكاذبة الناتجة عن أوهام القياس، يفتقر نظام التقييم إلى آلية تشخيص مؤسسية. على الرغم من أن مشاريع مثل BetterBench أوصت بآليات متعددة لمكافحة الغش في المعايير (anti-gaming)، مثل استخدام المعرفات الفريدة، أو أمثلة التقييم المشفرة، أو اكتشاف تلوث بيانات التدريب، إلا أن مجموعات التقييم الروتينية تكاد تكون خالية من أي معالجة لمشكلة تدهور 'هندسة التمثيل' الخاصة بمؤشر الضغط نفسه. تشير أبحاث Zang et al. (2025) إلى أن نسب الضغط العالية قد تنبع أحيانًا من تدهور هندسة التمثيل (مثل اللاتماثلية)، وقد اقترحت مؤشرات ضغط مصقولة هندسيًا لتشخيص هذه المشكلات. ومع ذلك، فإن أساليب التشخيص هذه المتعلقة بمستوى تمثيل النموذج، لم يتم دمجها حاليًا في أي من عمليات تقييم نماذج الذكاء الاصطناعي الرئيسية، مما يجعل نظام التقييم يفتقر إلى قدرة فعالة على تحديد ومنع احتمال أن يحقق النموذج نسب ضغط عالية بطرق غير ذكية. يمثل هذا منطقة عمياء حرجة في التحقق من الفرضية، ويحد من فهمنا المتعمق لطبيعة 'ذكاء' النموذج.