كشف غموض هلوسات النماذج الكبيرة: لماذا لا تُعد النماذج اللغوية الكبيرة نماذج عالم حقيقية؟
يستكشف هذا المقال الاختلافات الجوهرية بين النماذج اللغوية الكبيرة ونماذج العالم. وتفترض الحجة الأساسية أن استقرار النماذج اللغوية الكبيرة ينبع من الاتساق الذاتي الإحصائي وقيود المعايرة بدلاً من النمذجة الحقيقية لديناميكيات العالم الواقعي؛ ويؤدي هذا القصور الهيكلي إلى إخفاقات منهجية في الاستدلال السببي.
هذا المقال متاح كاملًا بثلاث لغات
مع انتشار الذكاء الاصطناعي التوليدي، انخرطت الصناعة في نقاش حاد حول ما إذا كانت النماذج اللغوية الكبيرة تمتلك "نموذج العالم" لفهم قوانين الواقع. تشير الآراء التقليدية إلى أن قدرة النموذج على التنبؤ بالكلمة التالية تعني أنه أتقن القوانين الفيزيائية. ومع ذلك، تقترح الأبحاث الحديثة باستخدام الصياغة الرياضية أن التمثيلات الداخلية للنماذج اللغوية الكبيرة لا تستوفي الاكتمال السببي وانغلاق تطور الحالة. يكمن جوهر المشكلة في أن الاستقرار السلوكي للنماذج اللغوية الكبيرة يعتمد بشكل أساسي على الاتساق الذاتي الإحصائي لبيانات التدريب والقيود الضمنية المفروضة من خلال المعايرة أثناء مرحلة فك التشفير. يجادل هذا المقال بأن النموذج اللغوي الكبير هو في الواقع "متنبئ إحصائي تمت معايرته" يفتقر إلى بنية ديناميكية مستقرة داخلياً لدعم الاستدلال المضاد للواقع، مما يفسر سبب إظهار النماذج بشكل متكرر لـ انحراف النوايا عند مواجهة تدخلات خارج نطاق التوزيع.
من منظور سيبراني، يتطلب نموذج العالم الحقيقي وظائف انتقال حالة مستمرة. ومع ذلك، يكشف التحقق المتقاطع لمسارات التنشيط الداخلية للنماذج اللغوية الكبيرة أن تضمينات السياق الخاصة بها لا تشكل طيات مستقرة وتظهر إنتروبيا التنسيق عالية للغاية. تظهر البيانات التجريبية الانحراف كبيراً في تمثيل الكيان نفسه في خطوات زمنية مختلفة، مما يفشل في تلبية متطلبات الثبات الزمني. وهذا يعني أن النماذج اللغوية الكبيرة لم تبنِ عالماً فيزيائياً متسقاً ذاتياً ومنطقياً داخلياً؛ بل هي أشبه بالقيام بنزهات عشوائية في فضاء احتمالي عالي الأبعاد. ونظراً لافتقارها إلى انغلاق ديناميكي قابل للتفنيد، غالباً ما تفشل النماذج في الحفاظ على التماسك المنطقي المتوقع عند معالجة الاستدلال السببي المعقد متعدد الخطوات، مما يؤدي إلى انحراف النتيجة الفعلية عن الواقع الفيزيائي وإنتاج الانحراف بشكل كبير.
تقنيات المحاذاة الحالية مثل RLHF أو DPO هي في الأساس قيود المعايرة مفروضة على مستوى توزيع المخرجات. تشير الأبحاث إلى أن حلقات التغذية الراجعة هذه تعمل فقط على إسقاط توزيعات الاحتمالات ولا تصحح حقاً المنطق العودي الأساسي. عندما نقارن النتيجة الفعلية بـ النتيجة المتوقعة، لا نجد أي تغييرات ذات دلالة إحصائية في وظائف انتقال الحالة الداخلية قبل وبعد المعايرة. على الرغم من أن هذه المعايرة "الإضافية" تحسن القدرة على الحكم الظاهرية، إلا أنها لا تستطيع القضاء على التحيزات المنهجية الناتجة عن غياب نموذج العالم. وبمجرد الخروج عن حدود الصلاحية المحددة مسبقاً، يكشف النموذج عن طبيعته كمتنبئ إحصائي بسبب انحراف النوايا، ويفشل في الحفاظ على الاتساق السلوكي في المجالات غير المعروفة.
يوفر هذا البحث رؤى مهمة قابلة للنقل: عند بناء أنظمة شركة الشخص الواحد أو أنظمة متعدد الوكلاء القائمة على الذكاء الاصطناعي، لا يمكن للمرء الاعتماد بشكل أعمى على قدرات الاستدلال العفوية للنماذج اللغوية الكبيرة. يجب على المطورين أن يدركوا أن حدود الصلاحية للنماذج اللغوية الكبيرة تكمن في اتساقها الذاتي الإحصائي وليس في إتقانها للسلاسل السببية المعقدة. ولتعويض النقص في نموذج العالم، نحتاج إلى إدخال حلقات التغذية الراجعة وآليات التحقق المتقاطع أكثر وضوحاً في بنية النظام. لا ينبغي أن يكون الاتجاه المستقبلي مجرد زيادة عدد المعلمات، بل استكشاف كيفية تمكين النماذج من إنشاء طيات داخلية مع عادة فوقية خلال مرحلة ما قبل التدريب، وبالتالي تقليل إنتروبيا التنسيق بشكل أساسي وتحقيق القفزة من "الاتساق الذاتي الظاهري" إلى "الأمانة الوجودية". إن هذا التحسين للهياكل العميقة هو المفتاح لتعزيز القدرة على الحكم للذكاء الاصطناعي.
هذا سجل عام حي. ستؤرّخ التعديلات المهمة ويُشرح سببها.