تحذير من فخ الارتباط: الحقيقة غير المباشرة وراء قدرات النماذج الكبيرة ومعدل الضغط

قبل الخوض في العلاقة بين قدرات النماذج الكبيرة ومعدل الضغط، تكمن المهمة الأولى في توضيح تعريف "انخفاض معدل الضغط". في السياق الصيني، تحتوي عبارة "معدل الضغط" على معنيين متضادين على الأقل، مما يؤثر مباشرة على حكمنا بشأن اتجاه الارتباط. من منظور هندسي، تشير القيمة الأكبر لمعدل الضغط (CR=(1−بعد الضغط/الأصلي)×100%) إلى ضغط أقوى، وبالتالي فإن انخفاض CR يعني ضعف الضغط. أما هذا التقرير والدراسات الداخلية لـ OPC، فتتبع الممارسات السائدة في الأوساط الأكاديمية ونظرية المعلومات، وتستخدم البت لكل حرف (BPC) أو البت لكل بايت (BPB) كمؤشر للضغط. وبموجب هذا المصطلح، تشير القيمة الأصغر لـ BPC/BPB إلى ترميز أقصر للبيانات، أي تأثير ضغط أفضل. وبالتالي، فإن "انخفاض معدل الضغط" المشار إليه في هذا التقرير يشير إلى انخفاض BPC/BPB، مما يعني تحسنًا في تأثير الضغط، وهذا يتوافق مع اتجاه تحسين قدرات النموذج.

بغض النظر عن التعريف المعتمد، فإن حكمنا بأن "الارتباط لا يعني المباشرة أو السببية" لا يتأثر. اختيار التعريف يغير فقط إشارة معامل الارتباط، ولا يغير هذا الاستنتاج الأساسي. لذلك، في المناقشات اللاحقة، يرجى دائمًا تذكر أن "انخفاض معدل الضغط" يعادل "تحسين تأثير الضغط".

تأتي الأدلة التي تدعم وجود ارتباط قوي بين قدرات النماذج الكبيرة وكفاءة الضغط من مستويين رئيسيين. أولاً، الجسر الرياضي في المنطق الشكلي: يمكن تحويل أي نموذج تنبؤي ممتاز إلى ضاغط فعال غير فقدي من خلال نظرية الترميز الحسابي، حيث يرتبط طول الكود ارتباطًا وثيقًا بخسارة التنبؤ؛ والعكس صحيح. يشير هذا إلى أن "القدرة التنبؤية" و "قدرة الضغط" متجانستان رياضيًا، وأن تقليل خسارة اللوغاريتم في التنبؤ يعادل تقليل معدل ضغط البيانات. يشكل هذا المبدأ أساسًا متينًا لنظرية "الضغط هو الذكاء"، ولكنه يربط بشكل أساسي "القدرة التنبؤية" و "قدرة الضغط"، وليس الذكاء الشامل للمهام النهائية.

ثانيًا، تظهر الأدلة القوية المستمدة من الدراسات التجريبية في المقارنات بين النماذج. قام هوانغ وزملاؤه (2024) بتقييم شامل لأداء 31 نموذج لغة كبيرًا مفتوح المصدر على 12 مهمة معيارية، وقارنوا ذلك بكفاءة ضغط هذه النماذج للمتون الأصلية الخارجية (BPC). أظهرت النتائج وجود ارتباط خطي تقريبي عالٍ بين متوسط درجات النموذج في المهام النهائية وكفاءة الضغط، حيث بلغت معاملات ارتباط بيرسون في جميع المجالات الفرعية (مثل المعرفة، الشفرة، الاستدلال الرياضي) حوالي −0.95. دفع هذا الاكتشاف الباحثين إلى اقتراح أن كفاءة الضغط قد تكون مؤشرًا لتقييم قدرة النموذج الكبير بدون إشراف. ومع ذلك، شددت الدراسة أيضًا على دقة المقارنة، مشيرة إلى أن مُجزئات الكلمات (Tokenizers) المختلفة للنماذج تؤثر على BPC، ولذلك يجب توحيدها إلى بت لكل حرف (BPC) للمقارنة، وضمان اتساق طول السياق لتجنب تلوث المصطلحات.

على الرغم من وجود ارتباط إحصائي قوي، لا يمكننا ببساطة تفسير تحسين قدرات النماذج الكبيرة وانخفاض معدل الضغط كعلاقة سببية مباشرة، حيث تكمن وراء ذلك فجوات هيكلية متعددة. أولاً، هناك "فجوة التحديد": غالبًا ما يؤدي "عامل السعة Z" الخفي، مثل سعة النماذج الكبيرة، وحجم بيانات التدريب، وقوة الحوسبة، وعدد خطوات التدريب، إلى تحسين قدرة الضغط للنموذج (a>0) وقدراته في المهام النهائية (b>0) في نفس الوقت. يؤدي هذا التأثير المشترك للقيادة (أي أن Z هو السبب المشترك للضغط والقدرة) إلى المبالغة المنهجية في تقدير الارتباط بين الاثنين في الدراسات الرصدية، مما يجعلنا غير قادرين على تحديد المسار السببي الذي يشير إلى أن "الضغط يؤدي مباشرة إلى تحسين القدرة" بشكل منفصل. وكما يوضح قانون التوسع، تتحسن القدرة بالفعل وفقًا لقانون القوة مع قوة الحوسبة والبيانات والمعلمات، وهذا يؤكد دور Z في تحسين كليهما بشكل مشترك.

ثانيًا، هناك "فجوة التجميع": عادةً ما يكون معدل ضغط النموذج (مثل BPB) مقياسًا لمتوسط طول الترميز في تسلسل النص، مما يعكس كفاءة التنبؤ الكلية أو المتوسطة. ومع ذلك، فإن صحة العديد من المهام المعقدة غالبًا ما تكون "من نوع الاقتران"، أي تتطلب أن تكون نقاط معلومات رئيسية متعددة صحيحة في نفس الوقت لإكمال المهمة. على سبيل المثال، قد تعتمد الإجابة الصحيحة لمهمة استدلالية على التنبؤ الدقيق لموقع حمل حقيقة معين F من بين N موقع. حتى لو تحسن متوسط معدل الضغط، فلا يمكن ضمان تحسين دقة التنبؤ لجميع مواقع الحقائق الرئيسية في وقت واحد. قامت دراسة OPC-103 ببناء أمثلة لإثبات أن نموذجين يمكن أن يكون لهما نفس متوسط BPB تمامًا، ولكن معدل صحة المهمة يختلف بشكل كبير. وهذا يعني أن تحسين متوسط كفاءة الضغط لا يؤدي بالضرورة إلى زيادة مقابلة في معدل صحة المهمة، ما لم يكن هناك افتراض إضافي بأن انخفاض الخسارة موزع بالتساوي على جميع مواقع المعلومات.

علاوة على ذلك، هناك "الحد الأمامي ثنائي الأبعاد" و "فجوة الاستقراء". ضمن إطار نظرية معدل التشوه وعنق الزجاجة المعلوماتي، لا توجد علاقة رتيبة بسيطة بين معدل ضغط البيانات والمعلومات الفعالة المتعلقة بالمهمة، بل يشبه الأمر الوقوع على حد أمامي ثنائي الأبعاد للمفاضلة. الضغط المفرط، خاصة عندما يقوم النموذج بضغط التمثيلات إلى ثابت، يحقق بالطبع أقصى معدل ضغط، ولكن المعلومات المتعلقة بالمهمة (I(T;Y)) ستنخفض أيضًا إلى الصفر، مما يدل على أن الضغط بحد ذاته لا يمكن أن يخلق معلومات، بل قد يدمر المعلومات الأساسية المطلوبة للمهمة. بالإضافة إلى ذلك، تعتمد الدراسات الحالية بشكل أساسي على تحليل مقطعي باستخدام عينات محدودة، ويتأثر أداء النموذج ومعدل الضغط بتوزيع البيانات، وهيكل النموذج، وتفاصيل التدريب. لا يمكن تعميم هذا الارتباط الملاحظ في عينات وتوزيعات محددة بشكل غير مشروط على جميع الحالات، ولا يمكن استبعاد قيود نظرية "لا يوجد غداء مجاني"، أي عدم وجود استراتيجية ضغط مثالية قابلة للتطبيق عالميًا على جميع المهام.

يواجه الافتراض بأن "تحسين قدرات النماذج الكبيرة يرتبط ارتباطًا مباشرًا بانخفاض معدل الضغط" أمثلة مضادة محددة وقيودًا مهمة في الملاحظات الفعلية. قدم ديلتانغ وزملاؤه (2023) مفهوم "معدل الضغط المعدل"، والذي يشمل عدد معلمات النموذج في طول الكود النهائي. ووجدوا أنه عندما يتجاوز حجم النموذج نقطة حرجة معينة، ينخفض أداء الضغط الكلي بدلاً من أن يتحسن. يحدث هذا لأنه على الرغم من أن النماذج الأكبر قد تضغط بيانات الإدخال بشكل أفضل، إلا أن المساحة التي تشغلها معالمها الضخمة تلغي الفوائد الناجمة عن ضغط البيانات. يتحدى هذا الاكتشاف مباشرة الفرضية الخطية البسيطة التي تقول "كلما كان النموذج أكبر، كان ضغطه أفضل وأكثر ذكاءً"، ويكشف أنه عند الأخذ بالاعتبار الشامل، فإن تحسين القدرات وتحسين معدل الضغط لا يسيران دائمًا في نفس الاتجاه.

يأتي مثال مضاد قوي آخر من مجال تكميم النماذج. على سبيل المثال، تقنيات مثل GPTQ قادرة على ضغط أوزان النماذج اللغوية الكبيرة بشكل كبير من الأرقام العائمة التقليدية (مثل 16 بت) إلى 3–4 بتات، مع الإبلاغ عن أن تدهور دقتها "يكاد لا يذكر" مقارنة بالأساس غير المضغوط، ولا يحدث تدهور كبير إلا في الضغط الشديد (مثل 2–3 بتات). تشير هذه الظاهرة إلى أنه ضمن نطاق ضغط كبير، يمكن أن تظل قدرة النموذج ثابتة بشكل أساسي، ولم تنخفض بشكل متناسب مع الانخفاض الملحوظ في "عدد البتات لكل وزن". وهذا يثبت بقوة عدم وجود علاقة دالية بسيطة وواحدة لواحد بين قدرة النموذج ومعدل ضغط الأوزان، وأن الحفاظ على القدرة لا يتطلب بالضرورة معدل ضغط منخفض، والعكس صحيح. كما يذكرنا بأن قياس "القدرة" ليس مقياسًا واحدًا، وأن تعريفه غالبًا ما يعتمد على اختبارات معيارية محددة ومؤشرات تقييم وتكوين المهام، مما يجعل معدل الضغط الواحد غير قادر على عكس تعقيداته بشكل كامل.

إذا تم فهم "انخفاض معدل الضغط" على أنه تقليل درجة الضغط على النموذج نفسه (على سبيل المثال، عرض بتات أوزان أعلى، تقليم أقل)، فإن السؤال يتحول إلى "هل كلما زاد ضغط النموذج، زادت قدرته على التدهور؟". الإجابة على هذا السؤال هي أيضًا "غير مرتبطة مباشرة"، بل هي منحنى أمامي غير خطي يعتمد بشكل كبير على طريقة الضغط المحددة وطبيعة المهمة. كما ذكرنا سابقًا، يمكن لتقنيات التكميم المتقدمة (مثل أوزان 4 بت) أن تقلل بشكل كبير من متطلبات تخزين النموذج وحساباته مع الحفاظ على قدراته الأساسية شبه سليمة، مما يشير إلى أنه ضمن نطاق معين، لا تكون قدرة النموذج حساسة للتغيرات في معدل الضغط، بل يمكن تحقيق فك ارتباط كبير بين "القدرة والضغط".

ومع ذلك، بمجرد تجاوز درجة الضغط عتبة معينة، يصبح تدهور القدرة سريعًا وغير متساوٍ. تظهر الدراسات أنه تحت الضغط المفرط، غالبًا ما تتأثر قدرة النموذج على التعميم، وقدرته على استرجاع المعرفة النادرة، وأداء الاستدلال المتسلسل الطويل أولاً، بدلاً من انخفاض خطي متزامن لجميع المهام. هذا يسلط الضوء على خاصية "الحد الأمامي غير الخطي المعتمد على الطريقة". لذلك، في الممارسة العملية، لا يمكننا الاعتماد على عتبة ضغط واحدة لتعميم قدرة النموذج، بل يجب علينا الحكم على أداء النموذج بعد الضغط من خلال اختبارات و مجموعات معايرة لمهام محددة، بالاقتران مع سيناريوهات التطبيق المحددة، لضمان استمراره في تلبية متطلبات الأداء المتوقعة.

للارتقاء بالعلاقة بين قدرات النماذج اللغوية الكبيرة ومعدل الضغط من «ارتباط مقطعي» إلى ادعاء «سببية مباشرة» يمكن الدفاع عنه، يلزم اعتماد تصميم تجريبي وأساليب استدلال سببي أشد صرامة بكثير من تلك المستخدمة في الدراسات الرصدية الحالية. أولًا، يكمن جوهر الأمر في إدخال «تباين خارجي في الضغط». وهذا يعني تغيير الخصائص المرتبطة بضغط النموذج وحدها، مع إبقاء جميع المتغيرات الأخرى ثابتة؛ فمثلًا، يمكننا في ظل الأوزان نفسها تعديل عدد أمثلة السياق ومدى ارتباطها، أو استخدام عروض بتّية مختلفة للتكميم (مثل fp16 وint8 وint4)، ثم رصد أثر ذلك في قدرات النموذج. وبهذه الطريقة، يمكننا تجاوز آثار الالتباس الناجمة عن الأسباب المشتركة، مثل عدد معلمات النموذج وبيانات التدريب والقدرة الحاسوبية، والتعرّف على أثر الضغط ذاته بصورة أنقى.

ثانيًا، يجب أن ينتقل مستوى دقة التحليل من مستوى إعدادات النموذج الكلي إلى مستوى المهمة أو السؤال الجزئي. وينبغي إجراء «مقارنات داخل العنصر على مستوى السؤال»، أي اختبار السؤال أو المهمة نفسها في ظروف ضغط مختلفة باستخدام اختبارات مزدوجة أو تحليل نماذج التأثيرات المختلطة، لرصد الآثار الدقيقة للضغط في الأداء على مهام بعينها. ويمكن، علاوة على ذلك، محاولة «تفكيك بتّات الضغط» بتقسيم إجمالي البتات لكل محرف (BPB) إلى بتّات تحمل معلومات الحقائق الأساسية (C_fact) وبتّات تحمل سائر المعلومات غير الأساسية (C_other)، للتحقق مباشرة من المسألة التي تشير إليها «فجوة التجميع»: فتحسن الضغط في المتوسط لا يؤدي بالضرورة إلى ارتفاع دقة المعلومات الأساسية.

أخيرًا، لضمان متانة نتائج البحث ومصداقيتها، يجب الالتزام بمنهجية بحث علمي صارمة. ويشمل ذلك «التسجيل المسبق» لفرضيات البحث والتدخلات ومقاييس التقييم والعتبات المعتمدة للحكم على النجاح والإخفاق، تجنبًا للتحيز بأثر رجعي. كما ينبغي اختبار جميع النتائج على «نماذج محجوبة» لم تشارك في التدريب والتطوير، أو على «توزيعات غير مُشاهدة»، لتقييم «قابليتها للتعميم خارج نطاق الدراسة». ولا يمكننا البدء في مناقشة احتمال وجود «ارتباط مباشر» أو علاقة سببية بين الطرفين إلا بعد استيفاء هذه الشروط والتحقق منها بتجارب دقيقة متعددة الأبعاد والمستويات، بدلًا من إساءة تفسير ارتباط رصدي بسيط على أنه تحديد مباشر بالعلاقة الدالية.