أسطورة وواقع "نموذج العالم": الحدود التجريبية لقدرة الذكاء الاصطناعي على التنبؤ بالأفعال

يكمن جوهر هذه التجربة في اختبار التفسير القوي للنموذج لـ "نموذج العالم" – أي ما إذا كان بإمكانه التنبؤ بدقة بنتائج التدخل عند مواجهة التحديات التي كشفت عنها نظرية P11 في الاستدلال السببي. تشير نظرية P11 (السطور 660-719 من تقرير RQ-DB3) إلى وجود فئتين من الأنظمة قد تكونان متكافئتين تمامًا من حيث الملاحظة، ولكن نتائج التدخل لنفس الفعل (do(X)) تختلف اختلافًا جذريًا. وهذا يعني أن مجرد المطابقة الممتازة لبيانات الملاحظة لا يضمن قدرة النموذج على استنتاج تأثيرات الفعل بشكل صحيح. هدفنا ليس دحض هذه النظرية الرياضية، بل تقييم، على المستوى العملياتي المحدد (P11-op)، ما إذا كان النموذج المجمد سيفشل في التنبؤ باستخدام معلومات الملاحظة وحدها في مواجهة هذا التكافؤ الملاحظ.

بالإضافة إلى نظرية P11، ترتبط التجربة أيضًا بالفرضية P10 (السطور 600-656 من تقرير RQ-DB3)، التي تبحث في قابلية فصل القدرة على التنبؤ بالحالة عن القدرة على التنبؤ بالتدخل. إذا نجح النموذج في التنبؤ بالملاحظة التالية (معلومات الحالة)، ولكنه أظهر أداءً ضعيفًا في التنبؤ بالتدخل، فسيؤدي ذلك إلى تفعيل الشرط المضاد لـ P10، وهو أن "هذا التمثيل لا يشكل نموذج عالم يمكن استخدامه للتحكم". لذلك، يقوم هذا البحث، من خلال التمييز بين تنبؤ النموذج بالملاحظات العادية (التنبؤ بالحالة) وتنبؤه بعواقب الأفعال النشطة (التنبؤ بالتدخل)، بتحليل متعمق للمستويات التي يغطيها "نموذج العالم" المزعوم، وما إذا كانت هذه القدرات مستقلة عن بعضها البعض أو تعتمد عليها.

تجدر الإشارة إلى أن هذه التجربة لا تهدف إلى اختبار ما إذا كانت النماذج الكبيرة قد كونت نموذج عالم أثناء مرحلة التدريب المسبق، لأن بيئة التجربة لا تدعم تحديث معلمات النموذج؛ بل تهدف إلى تقييم ما إذا كان النموذج المجمد يظهر قدرة قابلة للتحكم في التنبؤ بالأفعال في ظل توزيع اختبار محدد وظروف سياقية معينة. وهذا يعني أنه حتى لو أظهرت نتائج التجربة أن النموذج لا يستطيع التنبؤ بالتدخلات بشكل موثوق بالاعتماد على الملاحظات وحدها في بيئات متكافئة ملاحظة، فلا يمكن تعميم ذلك مباشرة على استنتاجات مرحلة التدريب المسبق، بل يقتصر الأمر على ما إذا كان النموذج يمكنه الاستفادة بفعالية من التمثيلات الموجودة لإجراء استدلال سببي في ظل موجهات معينة وسياق إدخال محدد.

للبحث بدقة في قدرة النموذج على الاستدلال السببي، قمنا بتصميم بيئات مُحكَمة تم إنشاؤها بواسطة مولدات Python/NumPy نقية (تم التحقق: numpy 2.5.3 متاح). تم بناء هذه البيئات بعناية لتكون من نوع "متكافئة ملاحظة، مختلفة التدخل". على سبيل المثال، البنية الثنائية الكلاسيكية القائمة على نظرية P11: بيئتان، إحداهما يؤدي فيها U إلى X ثم إلى Y، والأخرى يؤدي فيها U إلى Y ثم إلى X. تتطابق البيئتان تمامًا في التوزيع المشترك للملاحظات (مثل X=Y بنسبة 50% لكل منهما)، ولكن نتائج التدخل لـ do(X=1) مختلفة تمامًا. من خلال التحكم الدقيق في أسماء المتغيرات، وتسميات القيم، وترتيب العرض، وعدد السجلات، وبذور العينات، تأكدنا من أن الاختلافات في التوزيعات التجريبية الملاحظة للبيئات التوأم ليست كبيرة (تم التحقق من ذلك بواسطة اختبار مربع كاي لعينتين ومسافة التباين الكلي TV<0.05)، مع إضافة ضوضاء متماثلة P(انعكاس)=0.1، مما جعل التكافؤ يصبح تكافؤًا تقريبيًا.

تم إعداد التجربة بخمسة أذرع شرطية (A0 إلى A3) لتقييم تأثير أنواع المعلومات المختلفة على أداء النموذج بشكل منهجي. يوفر الذراع A0 سجلات ملاحظة فقط، ويعمل كمقارنة رئيسية لاختبار الفرضية القوية S-strong (أي "إذا كانت الملاحظات مطابقة جيدًا، يمكن للنموذج تحديد تأثيرات الأفعال في هذه البيئات بشكل موثوق"). يوفر الذراع A0p مقطعًا وهميًا بنفس الطول ولكنه لا يحتوي على معلومات سببية، وذلك لعزل التأثيرات المربكة المحتملة لطول النص أو نبرة الآلية. يقدم الذراع A1 شرحًا مباشرًا للآلية الحقيقية، ويسمح الذراع A2 للنموذج بالاستعلام عن نتائج تجارب عشوائية محدودة (k=20 سجل)، بينما يسمح الذراع A3 للنموذج بإجراء استكشاف نشط ومحدود (4 خطوات). من خلال مقارنة أداء هذه الأذرع، نهدف إلى قياس المكاسب العملية لأنواع المعلومات المختلفة على الاستدلال السببي.

لقياس أداء النموذج بدقة، حددنا أربعة متغيرات تابعة رئيسية (DVs). DV1 هو معدل التحديد (p_A)، وهو نسبة الاستعلامات التي يقدم فيها النموذج إجابات مؤكدة ومتوافقة مع التوزيع الحقيقي للتدخل في البيئات غير القابلة للتحديد (خط الأساس العشوائي هو 0.5). DV2 هو معدل تحديد عدم القابلية للتحديد (u_A)، ويستخدم لتقييم قدرة النموذج على الإجابة صراحة بـ "لا يمكن تحديد ذلك"، ويتم معاقبة الامتناع عن الإجابة دائمًا مع معدل الدقة في البيئات القابلة للتحديد. DV3 هو دقة التنبؤ بالحالة (s_A)، ويقيس دقة التنبؤ بالملاحظة التالية بناءً على التاريخ المعطى. يقيم DV4 قدرة النموذج على معايرة الثقة من خلال نقاط Brier و ECE (إذا تعذر الحصول على logprob، فسيتم التراجع إلى استخدام تصنيف الثقة اللغوي)، مما يضمن أن النموذج لا يقدم إجابات فحسب، بل يفهم أيضًا حالة عدم اليقين لديه.

تتبنى هذه التجربة إطارًا إحصائيًا صارمًا مسجلًا مسبقًا، حيث تحدد بوضوح الفرضية الصفرية H0 والفرضية البديلة H1. تُعرف الفرضية الصفرية H0 (S-strong صحيحة، P11-op غير قابل للتطبيق) على النحو التالي: أن يصل معدل التحديد p_A0 للنموذج في ظروف الملاحظة فقط (الذراع A0) إلى أكثر من 0.80، وأن تكون الزيادة الناتجة عن المعلومات الإضافية (الأذرع A1، A2، A3) أقل من 0.15. أما الفرضية البديلة H1 (S-strong مرفوضة، P11-op مدعومة) فتتطلب أن يكون p_A0 أقل من 0.65، وأن يحقق ذراع معلومات واحد على الأقل زيادة كبيرة تبلغ 0.15 أو أكثر (بعد تصحيح Holm، يستبعد فاصل الثقة 95% القيمة 0). هذه العتبات، بما في ذلك الحد الأدنى للتأثير العملي MDE=0.15 وحد التكافؤ δ=0.10، هي قيم تصميمية تم تجميدها قبل بدء التجربة لضمان موضوعية وشفافية الحكم.

لضمان متانة النتائج الإحصائية، استخدمنا طريقة التمهيد العنقودي على مستوى البيئة (cluster bootstrap) (B=10,000 إعادة سحب عينات) لحساب فاصل الثقة 95% للفروق المقترنة (p_A-p_A0). أما معدل التحديد المطلق، فقد استخدمنا فاصل ثقة ويلسون 95%، مع تصحيح تأثير تصميم التجميع. فيما يتعلق بالمقارنات المتعددة، استخدمنا طريقة Holm-Bonferroni للتحكم في FWER=0.05 للمقارنات الرئيسية الثلاث (A1-A0, A2-A0, A3-A0)، بينما استخدمنا طريقة Benjamini-Hochberg للتحكم في FDR=0.10 للنقاط الثانوية مثل المعايرة والتنبؤ بالحالة. أخذ تصميم حجم العينة في الاعتبار تأثير التجميع (DEFF=2.5)، مما يضمن أن 120 بيئة غير قابلة للتحديد (20 عائلة هياكل مجردة × 6 متغيرات معلمات/سطحية) تمتلك قوة إحصائية لا تقل عن 80% لـ MDE=0.15 تحت افتراضات متحفظة.

ستقدم النتائج النهائية للتجربة استنتاجات بناءً على جدول قرار ثلاثي الحالات محدد مسبقًا: دعم، دحض، أو أدلة غير كافية. قبل استخلاص أي استنتاجات توجيهية، يجب إجراء تدقيق صارم للتسرب، فعلى سبيل المثال، يجب أن يكون الفرق بين الذراع الوهمي A0p والذراع A0 ضمن حدود التكافؤ، ويجب ألا يتمكن المحكمون العميان من التمييز بين البيئات التوأم بناءً على سجلات الملاحظة وحدها. إذا فشل التدقيق، فسيتم الحكم على النتائج دائمًا بأنها "أدلة غير كافية"، بغض النظر عن التقدير النقطي. من الجدير بالذكر أن "دحض" الفرضية القوية S-strong (أي أن النموذج يمكنه تحديد تأثيرات الأفعال بالاعتماد على الملاحظات وحدها) يتطلب عتبة أعلى من الأدلة، بما في ذلك تكرار التأثير في عائلات بيئية مختلفة ونموذج ثانٍ (مثل DeepSeek)، وذلك لتجنب الخطأ في اعتبار التسرب المحتمل قدرة نموذجية خارقة. يهدف هذا الإجراء الصارم للحكم إلى ضمان موثوقية ومصداقية استنتاجات التجربة.

سيستند التحليل الأساسي لهذه الدراسة إلى مجموعة البيانات الرئيسية D2، وهي مجموعة مكونة من 185 بيئة اصطناعية مُحكَمة تم إنشاؤها تلقائيًا بواسطة سكربتات التوليد. تتضمن هذه المجموعة 120 بيئة غير قابلة للتحديد متكافئة ملاحظة ولكن مختلفة التدخل، و30 بيئة تحكم قابلة للتحديد (للتأكد من صحة DV2)، و20 تحكمًا سلبيًا بعلامات عشوائية (لمعايرة الأهمية الإحصائية)، و15 بيئة للتطوير والمعايرة. عملية إنشاء D2 مرفقة بالبذور، وتقارير اختبار التكافؤ، وجدول العلامات المشفر، مما يضمن قابلية تكرار التجربة ونزاهتها. الأهم من ذلك، أن D2 هي مجموعة البيانات الوحيدة المستخدمة في اختبار الفرضية الرئيسية، وقد تم تصميمها لعزل تعقيدات الاستدلال السببي إلى أقصى حد، واستبعاد ضوضاء وانحرافات بيانات العالم الحقيقي.

بالإضافة إلى D2، تضمنت الدراسة 41 سؤالًا تجاريًا عربيًا مجمدًا (D1، المسار المتحقق منه: `/research-opc-20260915/research/arabic-evaluation/ar_biz_eval_v1.jsonl` وما إلى ذلك)، كمجموعة بيانات ثانوية، تُستخدم بشكل أساسي للصلاحية الخارجية وفحص التسرب. تغطي مهام D1 الترجمة، وتحديد النوايا، والإجابة على الأسئلة، وما إلى ذلك، ولديها بالفعل آلية تسجيل تلقائية. ومع ذلك، لا تحتوي D1 بحد ذاتها على هيكل تدخلي سببي، وبالتالي فهي لا تشارك بشكل مباشر في اختبار الفرضية الرئيسية للاستدلال السببي المتعلق بـ P11. يكمن دورها في: التحقق مما إذا كانت استنتاجات البيئات الاصطناعية لها صلاحية بيئية ظاهرية، فعلى سبيل المثال، إذا كان أداء A0 تحت "الغلاف التجاري العربي" أفضل بكثير من الغلاف الاصطناعي، فقد ينذر ذلك بمعرفة مسبقة بالمجال أو تسرب للبيانات. بالإضافة إلى ذلك، تُعد D1 أيضًا خط أساس لتلوث التدريب المسبق للنموذج، وتُستخدم لتدقيق تداخل n-gram/embedding و canary.

للتحكم الصارم في تلوث التجربة وضمان نقاء النتائج، اتخذنا عدة إجراءات: يُسمح بالوصول إلى جميع مجموعات الاختبار لمرة واحدة فقط وبشكل مختوم، ويحافظ المحللون على التعمية عن العلامات الحقيقية خلال مرحلة جمع البيانات، ويتم تجميد سكربت التحليل الرئيسي وتسجيل تجزئته قبل جمع البيانات. يتم تقسيم عائلات البيئات حسب عائلات الهيكل، حيث يتم تخصيص 4 عائلات من أصل 20 للتحقق من الاستقراء عبر العائلات. وفي الوقت نفسه، سيتم إجراء اكتشاف تداخل n-gram وسلاسل canary لتحديد ما إذا كان النموذج قد "شاهد" نصوصًا مشابهة جدًا لمجموعة الاختبار خلال مرحلة التدريب المسبق. سيؤدي اكتشاف أي علامات تلوث إلى تخفيض النتائج ذات الصلة إلى "أدلة غير كافية"، بدلاً من السماح لها بالتأثير على الاستنتاج النهائي، وبالتالي الحفاظ على الدقة العلمية للتجربة.

توقعت هذه التجربة العديد من المخاطر المحتملة وخططت لاستراتيجيات للتعامل معها. أحد أكبر المخاطر هو "تسرب البيئة"، أي أن أداء النموذج في الذراع A0 يكون ممتازًا بشكل غير عادي (p_A0 ≥ 0.80)، مما قد يعني أن تصميم بيئة الاختبار قد سرب معلومات إضافية عن غير قصد. للتخفيف من هذا الخطر، سنقوم أولاً بتنفيذ إجراء تدقيق صارم (راجع القسم 4.3)، بما في ذلك فحص الذراع الوهمي A0p واختبار قدرة المحكمين العميان على التمييز. إذا فشل التدقيق، سيتم إعادة التجربة، أو سيتم إعادة صياغة النص السطحي في سياق تجاري عربي للتحقق العكسي، وفي النهاية إذا فشل التدقيق، سيتم الحكم على النتائج دائمًا بأنها "أدلة غير كافية"، لتجنب الخطأ في اعتبار التسرب قدرة حقيقية للنموذج.

خطر رئيسي آخر هو "فشل التحكم الإيجابي"، أي أن أداء النموذج في الأذرع A1 أو A2 أو A3 يظل مشابهًا لأداء الذراع A0 (معدل التحديد قريب من 0.5)، حتى لو تم توفير معلومات حول الآلية أو التجربة أو الاستكشاف. قد يشير هذا إلى أن المهمة تتجاوز نطاق قدرات النموذج الحالي. في هذه الحالة، سنحاول تقليل أبعاد التداخل، أو زيادة حجم عينة التجربة، أو تقديم شرح أكثر وضوحًا للآلية. إذا لم يكن هناك مكسب كبير بعد التحسينات، فسيتم تخفيض الاستنتاج إلى "أدلة غير كافية"، بدلاً من دعم أي فرضية محددة. بالإضافة إلى ذلك، نولي اهتمامًا لخطر "الحلول المتدهورة"، مثل اختيار النموذج دائمًا "غير قادر على التحديد" للحصول على قيمة u_A عالية؛ لهذا الغرض، سيعاقب "certified score" لـ DV2 هذا السلوك العشوائي في الامتناع عن الإجابة، مما يضمن أن النموذج "يجيب عند الضرورة ويمتنع عند عدم اليقين".

على المستوى التشغيلي، تعد قيود الوصول إلى النموذج خطرًا لا يمكن إغفاله، خاصة فيما يتعلق بحصة Codex CLI لـ gpt-6-astra. تم التحقق من أن ملف `settings.yaml` المحلي لم يتم تكوينه ببيانات الاعتماد المباشرة لـ gpt-6-astra. إذا تعذر الحصول على الوصول أو كانت الحصة محدودة، فإن البديل هو تخفيض الاستنتاج إلى "نموذج واحد + تكرار نقطتي زمن"، وتوضيح القيود على الصلاحية الخارجية في التقرير. إذا كانت الواجهة لا تستطيع إرجاع logprob، فسيتم تخفيض تقييم المعايرة إلى استخدام تصنيف الثقة اللغوي، ولكن هذا لن يؤثر على تحديد معدل التحديد كمتغير تابع رئيسي. المبدأ الأساسي هو: أي فشل في أي مرحلة، سيؤدي إلى تخفيض الاستنتاج إلى "أدلة غير كافية" كأولوية، بدلاً من تخفيف العتبات المجمدة (MDE=0.15، τ_strong=0.80، إلخ)، لضمان الصرامة العلمية وموثوقية الاستنتاجات.