وهم «القدرات الناشئة» للنماذج اللغوية الكبيرة وحقيقتها: تصميم تجربة علمية قابلة للدحض

تُعدّ «القدرات الناشئة» التي تُظهرها النماذج اللغوية الكبيرة محور اهتمام راهنًا في مجال الذكاء الاصطناعي. وتشير الفرضية P9 إلى أنه حتى عندما تتحسن القدرات الأساسية للنموذج، مثل دقة الخطوة الواحدة، تحسنًا متصلًا وسلسًا، فقد يبدو الأداء وكأنه يقفز فجأة وبحدة عند قياسه بمؤشرات غير خطية أو قائمة على العتبات، مثل الدقة الكاملة في المهام متعددة الخطوات. فعلى سبيل المثال، إذا ارتفعت دقة الخطوة الواحدة من 0.95 إلى 0.99، فإن نسبة الإجابات الصحيحة في مهمة من 100 خطوة تقفز من نحو 0.6% إلى 36.6%، ما يخلق انطباعًا قويًا بأن النموذج «أصبح قادرًا فجأة». وتقسم الدراسة ظاهرة النشوء إلى ثلاثة أنواع: نشوء المؤشرات، ونشوء الآليات، والقفزة في القدرات المتينة. كما تؤكد ضرورة التمييز بين طبيعة هذه الأنواع عبر استخدام مؤشرات متصلة بديلة، وزيادة عدد العينات، وإجراء تحليل للتدخلات.〔تم التحقق، تقرير RQ-DB3، الأسطر 556–596 (P9)〕

الهدف المحوري للاختبار في هذه الدراسة هو الفرضية القابلة للدحض الخاصة بـ Q5: هل يُعزى التحول الملحوظ في القدرات أساسًا إلى لاخطية المؤشرات أو تأثير الأرضية أو عدم كفاية حجم العينة؟ لا يرفض تصميم هذه التجربة مباشرةً الفرضية الأصلية P9، بل يختبر نسختها القابلة للتشغيل (P9-op/Q5-op)، أي ما إذا كان التلاعب المعروف بسلاسة بالقدرة على محور قدرات مضبوط يمكن أن يُحدث تحولًا ظاهريًا ملحوظًا عبر مؤشرات من نوع حاصل الضرب أو العتبة. ومن المهم التأكيد أن لهذا التصميم حدودًا واضحة: فبسبب عدم توافر تدرّج قابل للتدريب في أحجام المعلمات، أُعيدت معايرة محور القدرات ليصبح «محور قدرات قابلًا للتحكم» بدلًا من حجم المعلمات؛ كما أن مجسّات الآليات مقيّدة بالموارد (إذ لا تتوافر أوزان محلية)، ولذلك جرى اختزالها أساسًا إلى استئصال سلوكي؛ ولا تدّعي هذه التجربة بأي حال إثبات وجود عدم استمرارية بالمعنى الرياضي أو انتقال طوري غير تحليلي. 〔تم التحقق، تقرير RQ-DB3، الأسطر 1049–1077 (Q5)〕

لتحديد مصدر التحوّل في القدرات بدقة، يتبع الاختبار مبدأً أساسياً: لكل تركيبة من «السؤال–مستوى القدرة–التوليد المتكرر»، يُجمَّد أولاً النص الناتج عن النموذج، ثم تُحسب جميع المؤشرات بالتوازي على النص المجمد نفسه. ويضمن هذا الأسلوب ألا تنشأ أي فروق بين المؤشرات عن تغيّر نص المخرجات. يتضمن تصميم الاختبار مسارين: يهدف الجزء الأول إلى التحقق من كفاية المؤشرات أو التفسيرات الإحصائية باستخدام «محور قدرة سلس معروف»، بوصفه مسار القدرة الإحصائية الرئيسي؛ أما الجزء الثاني فيستكشف التحوّلات الفعلية في قدرات النماذج الحالية على «محور الموارد الحقيقية»، بوصفه مساراً استكشافياً.

يتمثل التصميم الأساسي للجزء الأول في تجربة «مقبض كمية المعلومات في التلميح». لكل سؤال، يُزوَّد النموذج تدريجيًا بمزيد من «نقاط التحقق المؤكدة» المستمدة من معيار تقييم ذلك السؤال، وتتراوح النسبة من 0% إلى 100% (على 11 مستوى). ويكون هذا الحقن للمعلومات متصلًا ورتيبًا وعلى نمط الجرعة والاستجابة، من دون تغيير الأوزان الداخلية للنموذج؛ لذا يُتوقع أن يكون أثره في تحسين قدرة النموذج تدريجيًا. فإذا ارتفعت نسبة الإجابات الصحيحة خطوة بخطوة (Step) بسلاسة على هذا المحور، بينما شهدت نسبة الإجابات الصحيحة بالكامل (EM) قفزة حادة عند مستوى معين، فإن ذلك يتحقق مباشرةً من آلية P9، أي إن المؤشر نفسه قادر على إحداث وهم الظهور المفاجئ.

يركّز الجزء الثاني على تقييم أداء القدرات في بيئات واقعية ضمن النماذج والميزانية المتاحين حاليًا. ويشمل ذلك دراسة تأثير ميزانية الاستدلال (مثل وضع حد أقصى لرموز سلسلة التفكير)، وعدد مرات أخذ العينات المتسقة ذاتيًا (مثل أخذ عينة 1 أو 2 أو 4 أو 8 مرات ثم اعتماد الخيار الأكثر تكرارًا)، ومستويات النماذج المختلفة (مثل DeepSeek وgpt-6-astra) في أداء المهام. وتحدّ الموارد المتاحة حاليًا من فعالية هذا المسار؛ لذا يُستخدم أساسًا للتحليل الاستكشافي والتحقق من الصلاحية الخارجية، استكمالًا للتحقق من كفاية الآليات في المسار الرئيسي.

لالتقاط التغيرات في قدرات النموذج على نحو شامل، تستخدم التجربة مجموعة متعددة الأبعاد من المؤشرات، وتُحسب جميعها بمعالجة لاحقة للنصوص الناتجة المجمدة. وتشمل هذه المؤشرات: الدقة التامة (EM، تجميع ثنائي)، ودقة الخطوات (Step، تقييم كل نقطة تحقق على حدة وفق rubric)، والدرجة اللوغاريتمية (LS، متوسط log-prob لرموز الإخراج، أو بديل للترتيب المعاير)، والخطأ المستمر (CE، مثل مسافة التحرير المعيارية أو F1 للرموز)، ومعدل اجتياز عتبة العمل (PRτ، نسبة المسائل التي تحقق Step≥τ). ويهدف إدخال هذه المؤشرات إلى توصيف قدرات النموذج بدرجات مختلفة من التفصيل والاستمرارية، للكشف عن اختلاف المؤشرات في رصد ظاهرة «الانبثاق».

تنقسم الفرضية الأساسية لهذه التجربة إلى معسكرين: الفرضية الصفرية H0 (H_art)، التي ترى أن القفزة الملحوظة في القدرات يمكن تفسيرها بالكامل باللاخطية في المؤشرات أو تحويلها إلى عتبات، وتأثير الأرضية، وضوضاء أخذ العينات. وتنقسم H0 بدورها إلى: H_M1a (نسبة التقطيع R_disc≥3)، وH_M1b (تزداد سعة القفزة رتيبًا مع عدد نقاط التحقق k في المسألة)، وH_M2 (نسبة تجاوز تأثير الأرضية F≥0.40)، وH_M3 (الاختلاف في القفزة بين حجم العينة N=41 وN≥200). أما الفرضية المنافسة H1 (H_rob)، فترى وجود قفزة متينة لا يمكن تفسيرها بالعوامل المذكورة أعلاه، وتتجلى في ظهور قفزات متزامنة غير ناجمة عن الضوضاء في عدة مؤشرات مستقلة متصلة بالقرب من المستوى نفسه، مع إخفاق النموذج المُنعَّم المُسجَّل مسبقًا في التنبؤ.

لضمان صرامة الاستدلال الإحصائي، ستخضع جميع الإحصاءات لتقييم المتانة. وسيُحسب فاصل الثقة المئوي بنسبة 95% لمقدار القفزة ودرجة حدوثها باستخدام «المعاينة العنقودية بإعادة السحب» (إعادة السحب على مستوى السؤال، B=2000 مرة). كما سيُحسب فاصل الثقة لنسبة التكميم بالتوازي؛ أما نسبة تجاوز العتبة الدنيا فستُقدَّر باستخدام فاصل ويلسون للثقة بنسبة 95%. ولضبط مشكلة المقارنات المتعددة، ستُستخدم طريقة «التوزيع الصفري لأكبر إحصاء بالتبديل» لتفادي عيوب تصحيح بونفيروني المفرط في التحفظ. وتشكل هذه الأساليب مجتمعةً الأساس الإحصائي للتمييز بين القفزات الحقيقية والزائفة.〔قيمة تصميمية〕

يكمن جوهر هذه التجربة في عتباتها الصارمة المسجّلة مسبقًا، والتي جُمّدت قبل بدء التجربة ولا يجوز تغييرها. فعلى سبيل المثال، تشمل معايير دعم H0 أن تكون نسبة التكميم R_disc≥3.0 وأن يتجاوز الحد الأدنى لفاصل الثقة بالاستدلال التمهيدي 1.5، وأن تبلغ نسبة تجاوز عتبة الأرضية F≥0.40 مع انخفاض انتقالات EM بنسبة ≥50% بعد استبعاد أسئلة الأرضية، وأن يزداد حجم الانتقال رتيبًا مع عدد خطوات السؤال k. أما شروط نقض H0 (أي دعم الانتقال المتين) فهي أشد: يجب أن يبلغ حجم الانتقال J_m≥0.10 في مؤشرين متصلين مستقلين على الأقل، مع اتساق عالٍ في المستوى الذي يحدث عنده الانتقال، وأن يتجاوز خطأ النموذج التمهيدي المسجّل مسبقًا على بيانات الاحتفاظ NRSME_hold نسبة 10%. إضافةً إلى ذلك، يُعد بلوغ معامل كوهين كابا κ≥0.70 في التقييم البشري بوابةً مسبقةً للانتقال إلى الحكم الرئيسي.〔قيمة تصميمية〕

يُعدّ حجم العينة والقوة الإحصائية من الاعتبارات الأساسية في تصميم التجارب. فالعينة الأولية المكوّنة من N=41 سؤالًا (D0) لا توفر قوة كافية للمؤشرات الثنائية (مثل EM)، إذ يبلغ الحد الأدنى للأثر القابل للكشف (MDE) نحو 30.9 نقطة مئوية، ما يجعل من الصعب رصد انتقالات متجاورة بحجم 15 نقطة مئوية. لذلك، ستعتمد الاختبارات التأكيدية أساسًا على مجموعة بيانات D1 الموسّعة (N≥200)، حيث يمكن أن ينخفض MDE لمؤشر EM إلى نحو 14.0 نقطة مئوية. ومن الجدير بالذكر أن المؤشرات المستمرة (مثل Step/LS/CE) أكثر حساسية بنحو 2 إلى 3 مرات من المؤشرات الثنائية عند حجم العينة نفسه، وهذا هو الأساس الإحصائي لتأكيد هذا التصميم على حساب مؤشرات مستمرة متعددة الأبعاد.〔قيم محسوبة〕

يُستخدم تكرار التجربة (R=5) أساسًا لخفض تباين المعاينة للعنصر نفسه ضمن مستوى القدرة نفسه، لا لخفض التباين بين العناصر. لذلك، يجب أن يستند الحكم الأساسي إلى تحليل مقترن على مستوى العناصر أو إلى تحليل التأثيرات المختلطة، تجنبًا للمبالغة في تقدير درجات الحرية. ويتسق عتبة «المتانة» البالغة 10% ضمن العتبات المسجلة مسبقًا مع معيار «ألا يتجاوز الخطأ النسبي في توقع الخسارة الزائدة 10%» في السؤال Q4 من RQ-DB3، في حين استند الحد الأدنى للأثر العملي البالغ 0.10 إلى القيم المحددة في السؤالين Q3 وQ8، واختيرت قيمة وسطية أكثر تحفظًا. [قيمة تصميمية؛ تم التحقق منها في السطرين 1005 و1174 من التقرير]

تشمل مجموعة بيانات هذه التجربة: D0 (41 سؤالًا تجاريًا باللغة العربية مجمّدًا، بوصفها نقطة النهاية الرئيسية للأعمال ومجموعة الفرز، وهي بانتظار التحقق اليدوي)، وD1 (مجموعة موسّعة قابلة للحسم آليًا، حيث N≥200، موسّعة انطلاقًا من قوالب D0، لاستخدامها في الاختبار التأكيدي وبوابة حجم العينة)، وD2 (مولّد اصطناعي أملس معلوم، لتوفير التوزيع الصفري وضابط إيجابي للآلية). بالإضافة إلى ذلك، تُستخدم المخرجات التاريخية (D3) للتحليل الاستكشافي فقط، ولا تدخل في الحكم الرئيسي، لتجنب إدخال عوامل مربكة غير قابلة للضبط. سيُقيّم جميع التقييمات المفتوحة بصورة مستقلة ومعماة من قِبل مُقيّمين اثنين، مع اعتماد Cohen κ≥0.70 بوابةً لاتساق التقييم؛ وإلا فسيُستبعد هذا المؤشر من الحكم الرئيسي.

تتجلى صرامة التجربة أيضًا في الضبط الدقيق لعدد من المتغيرات. تُثبَّت المعلمات العامة، مثل درجة الحرارة وtop-p وseed وموجّه النظام والقوالب، وتُدرج في تجزئة الإعدادات؛ ويُعشّو ترتيب الأسئلة في كل مستوى للتحكم في أثر الترتيب؛ ويُعمى المقيمون تعميةً مزدوجة مع حجب تسميات المستويات للحد من التحيز؛ ويُراقَب انجراف إصدارات النماذج عبر اختبارات إعادة الإنتاج في بداية التشغيل ونهايته؛ ولا تُسرَّب مطالبات حقن التوجيه إلى مُقيِّم الدرجات. تنقسم العملية التجريبية بأكملها إلى أربع مراحل: التثبيت (المرحلة 0)، والتجربة الأولية (المرحلة 1)، والتشغيل الرئيسي (المرحلة 2)، والتحليل (المرحلة 3)، مع بوابة مرحلية واضحة في كل مرحلة لضمان الجودة والتقدم.

سيكون الحكم النهائي واضحًا بثلاث حالات: دعم الفرضية H0 (تفسير المؤشر/الحدّ الأدنى)، أو دحض الفرضية H0 (انتقال متين)، أو عدم كفاية الأدلة. يتطلب دعم H0 تحقق M1a أو M1b، وتحقق واحد على الأقل من M2 أو M3، مع عدم تحقق المعيار المتين R. أما دحض H0 فيتطلب أن يبلغ مقدار الانتقال في مؤشرين مستمرين على الأقل 0.10 أو أكثر، وأن يكون مستوى الانتقال متسقًا بدرجة عالية، وأن يفشل النموذج التمهيدي المسجل مسبقًا في التنبؤ، وأن يجتاز اتساق التقييم الاختبار، وأن يوجد تغير سلوكي قابل للتدخل. إذا لم تتحقق الشروط المذكورة أعلاه، فسيكون الحكم عدم كفاية الأدلة. ونؤكد مجددًا أن دحض H0 لا يعني إطلاقًا إثبات وجود انتقال طوري غير متصل بالمعنى الرياضي.