حل جديد لفعالية النماذج الضخمة: هل يمكن للتحقق والاسترداد أن يتفوقا على نموذج "النموذج الأقوى"؟

ينبع الاقتراح الأساسي لتقرير RQ-DB3 من تفكير عميق في موثوقية عمليات الذكاء الاصطناعي المعقدة. ينص التقرير P14 بدقة على أن احتمال النجاح الشامل هو ناتج ضرب احتمالات شرطية متتالية $P(\text{نجاح})=\prod_{i=1}^{k}P(E_i\mid E_1,\dots,E_{i-1})$، ولا يشترط استقلالية الخطوات، وأن هدفه من حيث التكلفة هو $J=\mathbb E[C_{\text{نموذج}}+C_{\text{أداة}}+C_{\text{بشري}}+C_{\text{إعادة محاولة}}+C_{\text{عواقب الخطأ}}]$ [تم التحقق منه]. يوفر هذا إطارًا شاملاً لحساب التكاليف، مع التركيز على التكاليف الخفية للأخطاء وإعادة المحاولة. يكمن جوهر هذه التجربة في نص الفرضية القابلة للتكذيب من Q8: "بجودة قبول متساوية، تقلل حلول التحقق والاسترداد تكلفة الوحدة لكل تسليم مؤهل بنسبة 15% على الأقل" [تم التحقق منه، مسار ملف التقرير الفعلي: `/Users/zouyongming/metasystem/.../RQ-DB3-REPORT-2026-09-16.md` الأسطر 1139–1184].

ما تنفيه هذه الدراسة بوضوح هو النسخة القوية من اقتراح P14-op / Q8-op: أنه في ظل جودة قبول متساوية، فإن الاستمرار في رفع درجة النموذج الفردي للخطوة (أي استبداله بنموذج أقوى) هو المسار الأكثر اقتصادا لتحقيق تسليم شامل وموثوق. بمعنى آخر، الادعاء الأساسي الذي نسعى لدحضه هو: أن تخصيص الميزانية بشكل أساسي لاستبدال النموذج أكثر فعالية من حيث التكلفة من تخصيصها للتحقق والاسترداد الموجه [تم التحقق منه، السطر 1182 من التقرير]. هذا النفي لا يمس النظرية الرياضية P14 نفسها، بل يختبر فعاليتها في تطبيقات الأنظمة الفعلية، مثل مشكلات الإيجابيات الكاذبة/السلبيات الكاذبة المحتملة للمدقق (P12) والضرر الصافي الذي قد تسببه ملاحظات الاسترداد (P13).

من الجدير بالذكر أن هذه الدراسة لا تنفي السيناريو القائل بأن "النماذج الأقوى قد تظل متفوقة في المهام التي يكون فيها التحقق غير ممكن أو باهظ التكلفة"، كما أنها لا تعمم نتائج التجربة لتشمل "التحقق والاسترداد أفضل بشكل عام في جميع المهام". لقد سجلنا مسبقًا افتراض عدم الدونية كفرضية أولية للتحقق، وهو "أن التحقق والاسترداد لا يقلان سوءًا عن (أو أفضل من) النموذج الأقوى من حيث تكلفة كل تسليم مؤهل ومعدل الإنجاز بدون تدخل بشري"، بينما نعتبر "تقليل تكلفة الوحدة لكل تسليم مؤهل بنسبة 15% على الأقل" من نص التقرير الأصلي كفرضية تفوق ثانوية. سيتم الحكم على كل منهما والإبلاغ عنهما بشكل منفصل، لتجنب الالتباس والتفسير الخاطئ.

تحدد هذه التجربة بشكل منهجي ثلاثة أذرع تجريبية رئيسية: الذراع $S$ (النموذج الأقوى)، الذي يستخدم gpt-6-astra للتنفيذ الشامل بخمس مراحل لمرة واحدة، بدون تحقق واسترداد مستقل؛ والذراع $V$ (النموذج الأصلي + التحقق)، الذي يستخدم DeepSeek flash لتنفيذ خمس مراحل، مع إضافة أدوات تحقق حتمية/شبه حتمية، وفي حالة رفض التحقق يتم التحويل إلى التدخل البشري؛ والذراع $R$ (النموذج الأصلي + التحقق والاسترداد الموجه)، والذي يعتمد على الذراع $V$ لإجراء ما يصل إلى جولتين من الإصلاح الموجه للنقاط المخالفة التي يشير إليها المدقق، وإذا لم يتم اجتيازها، يتم التحويل إلى التدخل البشري. بالإضافة إلى ذلك، تم تحديد ذراع مساعد $V_0$ (النموذج الأصلي بدون تحقق لمرة واحدة)، لفصل القيمة الهامشية للتحقق والاسترداد. يتم تعريف التسليم المؤهل (Qualified Delivery, QD) بدقة على أنه يفي في نفس الوقت بالحدود الحتمية، ودرجات معايير التقييم المجمدة، وعدم وجود تدخل بشري أو السماح فقط بالعمليات التسجيلية [قيمة تصميمية].

تتضمن النقاط النهائية الرئيسية تكلفة كل تسليم مؤهل (CPQD)، حيث يتم تحليل التكلفة $J$ وفقًا لمعادلة P14 إلى خمسة بنود: توكن النموذج، توكن الأداة، دقائق العمل البشري، توكن إعادة المحاولة، وعواقب الخطأ، ويتم تسجيل كل منها بشكل منفصل؛ بالإضافة إلى معدل الأتمتة (Auto)، وهو معدل الإنجاز بدون تدخل بشري. تتضمن النقاط النهائية الثانوية وقت الإنجاز، ومعدل الأخطاء غير المكتشفة (أي القيمة المقاسة لـ $\alpha$)، وشدة عواقب الأخطاء التي يسمح بها المدقق، ودرجات المعايرة الطبقية (وفقًا لنظرية P12). تنص فرضية عدم الدونية الرئيسية على أن تكلفة الذراع $R$ لا يجب أن تتجاوز 10% مقارنة بالذراع $S$ ($\delta_C=0.10$)، وأن معدل الأتمتة لا يقل عن 5 نقاط مئوية عن الذراع $S$ ($\delta_A=0.05$) [قيمة تصميمية]. بالإضافة إلى ذلك، هناك فرضيات تفوق ثانوية ومسبار للضرر الصافي من ملاحظات الاسترداد.

تم تحديد حجم العينة بناءً على حسابات إحصائية صارمة. بالنسبة لمعدل الاستقلالية (ثنائي مقترن، عدم دونية McNemar)، وبناءً على معدل عدم الاتساق $\pi_d=0.20$ [تقدير] والحد الأدنى لعدم الدونية المحدد، فإن حجم العينة المطلوب يبلغ حوالي 493 حالة مهمة. مع الأخذ في الاعتبار تأثير تصميم التجميع والتشغيل غير الفعال، تم أخذ $N=520$ حالة مهمة/ذراع لإجراء التجربة التأكيدية [قيمة محسوبة، قيمة تصميمية]. كانت متطلبات حجم العينة للتكلفة أصغر، وبالتالي فإن معدل الاستقلالية هو النقطة النهائية المقيدة لهذه التجربة. من المهم التأكيد على أن استخدام 41 سؤالًا مجمدًا فقط لتقييم الفعالية غير كافٍ، حيث أن الحد الأدنى للتأثير القابل للاكتشاف يصل إلى حوالي 30.9pp [قيمة محسوبة]، وهو أكبر بكثير من $\delta_A=5\text{pp}$ المحددة، وبالتالي لا يمكن أن تحمل الـ 41 سؤالًا الحكم الرئيسي. تُستخدم فواصل الثقة طريقة التمهيد (bootstrap، $B=10,000$) المجمعة حسب فئة المهام، ويتم التحكم في معدل الخطأ العائلي للنقطتين النهائيتين الرئيسيتين باستخدام طريقة Holm [قيمة تصميمية].

تُجسد هذه التجربة عملية المراحل الخمس في اقتراح Q8 كخط أنابيب تسليم أعمال عربية قابل للأتمتة، يغطي العملية الكاملة من تحليل المتطلبات إلى التسليم النهائي. تتوافق عمليات كل مرحلة مع طرق تنفيذ قابلة للتطبيق ونقاط تحكم صارمة. على سبيل المثال، يتم تحليل المتطلبات من خلال إخراج JSON منظم من DeepSeek، ويتم تجميد مخطط الاستخراج؛ ويتم الحصول على البيانات من خلال استرجاع الكلمات المفتاحية الحتمي، ويتم تجميد لقطة الفهرس. كما يتم تعريف توليد المحتوى، والتحقق من القواعد (بما في ذلك نصوص برمجية مثل `entry.py` و `quantity_gate.py` [تم التحقق منه])، وتوجيه التسليم بوضوح. تضمن هذه التجسيد أن التجربة تتم في ظل منطق عمل حقيقي، وليس مجرد استنتاج نظري بحت.

لضمان الدقة العلمية للتجربة، يتم التحكم في جميع المتغيرات الرئيسية بدقة. يتم تحقيق التصميم المقترن حيث تعمل الأذرع الأربعة لنفس الحالة من خلال التخصيص العشوائي للمتغيرات المستقلة (كل ذراع تجريبي). تم توحيد وتجميد إصدارات النماذج، وقوالب المطالبات (مشتركة لجميع الأذرع الأربعة ومجمدة التجزئة)، وإصدارات المدققات والعتبات (مع قياس قيم $\alpha, \beta$ فعليًا)، وميزانية الاسترداد (جولتان كحد أقصى من الإصلاح الموجه وعدم احتواء الملاحظات على إجابات مرجعية)، واستراتيجيات الاسترجاع، وحالات المهام (تقسيم عشوائي حسب العائلة)، بالإضافة إلى ترتيب التشغيل وتسجيل الطوابع الزمنية، وذلك لتقليل تأثير المتغيرات المربكة إلى أقصى حد. كما يتم توحيد قواعد تشغيل التدخل البشري وتوقيته، ويُحظر أي عمليات يدوية غير مسجلة، لضمان اكتمال سجل التكاليف.

ستجرى التجربة على مراحل متعددة: المرحلة 0 (التجميد، حوالي 5 أيام عمل [تقدير]) تستخدم للتحقق من البيانات، وتجميد أدوات التقييم والعتبات، وتوليد حالات المهام والتسجيل المسبق؛ المرحلة 1 (الطيار) تستخدم 60 حالة لمعايرة حجم العينة، ولن تدخل النتائج في التأكيد؛ المرحلة 2 (التأكيد) هي المرحلة الأساسية، وتستخدم 520 حالة مهمة؛ المرحلة 3 (خارج الوقت) تستخدم 100 حالة إضافية لإعادة اختبار اتساق الاتجاه. يهدف هذا النهج التنفيذي المرحلي، بالاقتران مع تدابير التحكم الصارمة، إلى ضمان موثوقية نتائج التجربة وقابلية تعميمها.

يُقسم مجموعة بيانات هذه الدراسة إلى جزأين رئيسيين. تحتوي D0 على 41 سؤال أعمال عربي مجمد [`ar_biz_eval_v1.jsonl` و `ar_biz_eval_v2.jsonl`، تم التحقق منه]. تُستخدم هذه الأسئلة لثلاثة جوانب فقط: نقاط ربط الصلاحية، ونقاط ربط التكلفة، وخط أساس التلوث، ولا تُستخدم لاختبار الفرضية الرئيسية. نظرًا لأن gpt-6-astra و DeepSeek flash يمكنهما تحقيق حالة التشبع 41/41 بعد المراجعة اليدوية [تم التحقق منه]، فإن هذه الأسئلة لا يمكنها التمييز بفعالية بين الفروق الدقيقة بين أذرع التجربة، وبالتالي فإن فعاليتها غير كافية لدعم حكم بحجم 5pp/10%.

مجموعة التحديد الرئيسية هي مجموعة تأكيد خط الأنابيب D1، والتي اشتق منها $N=520$ حالة مهمة بخمس مراحل من عقود H2/H7 الحسابية في `contracts.json` وقائمة المصطلحات المجمدة، باستخدام القواعد النحوية المجمدة المسجلة مسبقًا [قيمة تصميمية]. تم إنشاء هذه الحالات عبر خانات معلمية وتم تجميعها حسب العميل/عائلة القالب، لضمان عدم مشاركة القوالب والقيم بين العائلات. تم تصنيف مجموعة البيانات هذه بوضوح على أنها اصطناعية/شبه اصطناعية، ويتم تحمل صلاحيتها الخارجية من خلال ربط D0 وإعادة الاختبار خارج الوقت في المرحلة 3. هناك 60 حالة أخرى تُستخدم للطيار، و 100 حالة للاختبار خارج الوقت، مع استبعاد متبادل على مستوى العائلة لتجنب تسرب البيانات.

يعتمد نظام التقييم على الموضوعية والموثوقية. يتم تقييم جميع المتغيرات التابعة الرئيسية (DV) عبر مسارات حتمية، على سبيل المثال، يتم تنفيذ عمليات التحقق الحسابية والكمية بواسطة `arithmetic_reference.py` و `quantity_gate.py` [تم التحقق منه]. يُستخدم حكام LLM لتقييم معايير التقييم، ويتم سحب 20% من النتائج لإجراء تقييم بشري مزدوج، حيث تتطلب عتبة التسجيل المسبق معامل Cohen's κ≥0.6، وإلا فسيتم تخفيض الحكم الرئيسي إلى "أدلة غير كافية". يتم الإبلاغ عن جودة المدقق وفقًا لمتطلبات P14 بقيم $\alpha$ و $\beta$، وإذا كانت $\alpha>0.40$ أو κ<0.6، فسيتم تصنيف الذراع التجريبي ذي الصلة على أنه تحقق منخفض الجودة. بالإضافة إلى ذلك، ستضمن مراجعة صارمة للتلوث والتسرب نقاء البيانات ونزاهة التجربة من خلال عدة جوانب مثل اكتشاف التداخل n-gram/الضم، ومقارنة canary، وتسجيل سجلات الوصول، ومراجعة محتوى ملاحظات الاسترداد.

قبل التوصل إلى أي استنتاجات نهائية، يجب أن تمر نتائج التجربة بسلسلة من فحوصات العتبة الأولية الصارمة. تتضمن هذه العتبات: جودة المدقق ($\alpha\le0.40$)، اتساق التقييم البشري المزدوج للمعيار (Cohen's κ≥0.6)، اكتمال تسجيل البنود الخمسة للتكلفة، اجتياز تدقيق التلوث، عدم وجود انحراف في إصدار النموذج، عدم تسرب الإجابات أثناء عملية الاسترداد، وتسجيل وصول واحد فقط لمجموعة التأكيد للتقييم. إذا لم يتم اجتياز أي من العتبات الأولية، فسيتم تخفيض نتائج التجربة بأكملها إلى "أدلة غير كافية"، ولن يمكن استخلاص أي استنتاجات اتجاهية، مما يضمن جودة نقطة البداية للتجربة وعمليتها.

إذا تم استيفاء جميع العتبات الأولية، فسيتم الحكم على نتائج التجربة بثلاث حالات وفقًا للشروط الكمية المحددة مسبقًا. على سبيل المثال، للحكم بـ "الدعم" (أي دحض النسخة القوية من P14-op، ودعم النسخة الضعيفة من P14-op) يتطلب استيفاء ما يلي: عدم دونية التكلفة (الحد الأعلى لفترة الثقة 95% لـ $\Delta_C <0.10$)، وعدم دونية معدل الاستقلالية (الحد الأدنى لفترة الثقة 95% لـ $\Delta_A >-0.05$)، والتفوق الثانوي ($\Delta_C\le-0.15$ والحد الأعلى لفترة الثقة $<0$). في الوقت نفسه، يجب تأكيد اتساق الاتجاه خارج الوقت، وأن يكون الذراع $R$ متفوقًا بشكل كبير على الذراع $V$، لإثبات القيمة المستقلة لآلية الاسترداد. تصف هذه الشروط مجتمعة السيناريو المثالي الذي تكون فيه حلول التحقق والاسترداد متفوقة أو لا تقل سوءًا عن النموذج الأقوى من حيث التكلفة ومعدل الاستقلالية، ويمكنها تحقيق خفض التكلفة بنسبة 15% المقترح في التقرير.

على العكس من ذلك، للحكم بـ "الدحض" (أي أن النموذج الأقوى يسيطر على تعديل النظام في هذه الفئة من المهام) يتطلب ظهور تأثيرات سلبية كبيرة، مثل تكلفة أسوأ بكثير (الحد الأدنى لفترة الثقة 95% لـ $\Delta_C >0.10$)، أو انخفاض كبير في معدل الاستقلالية (الحد الأعلى لفترة الثقة 95% لـ $\Delta_A < -0.05$). بالإضافة إلى ذلك، إذا أظهر الذراع المقارن $R_e$ الذي تم حقنه بملاحظات خطأ حتمية ضررًا صافيًا كبيرًا، أو فشل المدقق في اكتشاف أخطاء حرجة، فقد يؤدي ذلك أيضًا إلى استنتاج "الدحض". أما إذا لم يتم اجتياز العتبات الأولية، أو إذا تداخلت فترات الثقة مع حدود عدم الدونية و0 في نفس الوقت، أو إذا كان اتساق الاتجاه خارج الوقت غير متطابق، أو إذا أدى معدل عدم الاتساق المقاس $\pi_d>0.25$ إلى عدم كفاية الفعالية، فسيتم الحكم في جميع هذه الحالات بـ "أدلة غير كافية". تضمن آلية الحكم ثلاثية الحالات هذه وضوح الاستنتاجات وأساسها العلمي، وتتجنب المناطق الرمادية غير الواضحة، وتميز بوضوح بين السيناريوهات المختلفة مثل "أدلة بلا فائدة عملية" و "حجم عينة غير كافٍ".

تتألف ميزانية موارد هذه التجربة بشكل أساسي من استهلاك الرموز (token) والوقت البشري. بناءً على تجربة مقارنة G9 لنفس الأسئلة، ينتج gpt-6-astra في المرة الواحدة 18,995 توكن / 73.8 ثانية، بمتوسط حوالي 463 توكن/سؤال [تم التحقق منه]. نظرًا لأن تعقيد المراحل الخمس لهذه التجربة يتجاوز بكثير مجرد سؤال وجواب واحد، يُقدر استهلاك التوكن لكل حالة للذراع $S$ (astra) بحوالي 30,000 توكن، والذراع $V$ (DeepSeek) بحوالي 14,000 توكن، بينما يبلغ للذراع $R$ (بما في ذلك 1.5 جولة من الاسترداد الموجه لحوالي 30% من الحالات) حوالي 17,000 توكن [تقدير]. بالنظر إلى 680 حالة مهمة إجمالاً، بما في ذلك التجربة الأولية والتأكيد والاختبار خارج الوقت، يُقدر إجمالي استهلاك التوكن بحوالي 47 مليون توكن [تقدير].

من حيث الوقت، تتطلب عملية المراحل الخمس لكل حالة فردية حوالي 2-5 دقائق. بالنسبة لما يقرب من 2,100 إلى 2,700 عملية على مستوى الذراع، سيتطلب الحساب التسلسلي 105-140 ساعة من وقت الجهاز، وإذا تم استخدام 4 مسارات حوسبة متوازية، فيمكن تقصير ذلك إلى 26-35 ساعة [تقدير]. بالإضافة إلى ذلك، يُتوقع أن تستغرق مرحلة التقييم البشري المزدوج 520 حالة × 2 مراجع × 3 دقائق/حالة، بإجمالي حوالي 52 ساعة. بإضافة تجميد البيانات في المرحلة 0 والاختبار خارج الوقت في المرحلة 3، يُتوقع أن تكتمل دورة التجربة بأكملها في غضون 6-8 أسابيع، وهو ما يتوافق مع تقدير الجدول الزمني في قسم Q8 من تقرير RQ-DB3 [تم التحقق منه، السطر 1141 من التقرير].

فيما يتعلق بالتكاليف النقدية، ستلتزم هذه الدراسة بدقة بالتعليمات الواضحة في `runtime-ledger/status.json` التي تنص على "cash_cost = unknown unless backed by a billing receipt; token counts are not money" [تم التحقق منه]. لذلك، يعتمد هذا التصميم بشكل أساسي على الرموز والدقائق البشرية كوحدات محاسبية، ولا يتم تحويل العملة إلا كتحليل حساسية بعد الحصول على أسعار وحدة فواتير قابلة للتحقق، ولا يتم اختلاق أي أسعار وحدات مطلقًا. يضمن هذا شفافية وموضوعية حساب التكاليف، ويتجنب التحيز الناتج عن التكاليف النقدية الافتراضية.

تهدف هذه التجربة المسجلة مسبقًا إلى تقديم أدلة تجريبية لاستراتيجيات تحسين منهجية تتجاوز المسار التقليدي لـ "ترقية النموذج". إذا دعمت النتائج حلول التحقق والاسترداد، فسيحث ذلك الشركات على إعادة تقييم تخصيص مواردها لنشر وتشغيل LLM، والانتقال من مجرد السعي وراء حجم معلمات النموذج إلى التركيز بشكل أكبر على مرونة العمليات الشاملة وفعاليتها من حيث التكلفة. لا تكمن قيمة هذه الدراسة فقط في قياس المكاسب الفعالية من التحقق والاسترداد، بل تكمن أيضًا في توفير إطار تفكير جديد لتصميم تطبيقات LLM المستقبلية، أي بناء أنظمة ذكاء اصطناعي أكثر مرونة وقابلية للتحكم في التكلفة من خلال آليات تحكم دقيقة في العمليات ومعالجة الأخطاء.

بغض النظر عما إذا كانت نتائج التجربة تدعم أو تدحض أو تكون غير كافية الأدلة، فإنها ستقدم رؤى قيمة لصانعي السياسات في مجال LLM. إذا ثبت أن استراتيجيات التحقق والاسترداد تتمتع بمزايا كبيرة، فإننا نوصي الشركات بإعطاء الأولوية للاستثمار في تطوير مدققات عالية الجودة، وحلقات تغذية راجعة ذكية للأخطاء، وأدوات إصلاح موجهة فعالة، ودمج هذه القدرات في خط أنابيب تسليم الذكاء الاصطناعي الأساسي الخاص بها. حتى لو ثبت تفوق "النموذج الأقوى"، فإن المنهجية الصارمة لهذه الدراسة وحساب التكاليف الدقيق سيوفران معيارًا لتقييم العائد الحقيقي على الاستثمار في ترقية النموذج، ويكشفان عن قيود تقنيات التحقق الحالية في سيناريوهات معينة. الهدف النهائي هو دفع LLM من المفاهيم المختبرية نحو تطبيقات مؤسسية واسعة النطاق، موثوقة، واقتصادية.