نظام التقييم G1-G10: «كاشف اختناقات» يكشف نضج البحث، لا «لوحة نتائج للأداء»

يهدف نظام التقييم G1-G10 (rubric.json v1، 2026-09-14T11:36 UTC 【تم التحقق · مصدر أولي محلي】) إلى قياس «درجة قبول نضج النظام القابل للتسليم». ويتألف من 10 مؤشرات متساوية الوزن، لكل منها 10 درجات، بإجمالي 100. تبلغ درجة النظام الحالية 30/100، ما يشير إلى استيفاء G1 وG2 وG3 للمعايير، في حين لا تزال G4-G10 جميعها غير متحقق منها. ويرفض هذا التصميم الافتراض التقليدي القائل إن الدرجة تمثل قياسًا وحيدًا للقدرة أو ترتيبًا مرجعيًا للصناعة.

تشمل مبادئ التصميم الأساسية ما يلي: أولاً، اعتماد 10×10 مؤشرات متساوية الوزن. وهذا ليس ترجيحاً إحصائياً، بل خيار استراتيجي من الإدارة يهدف إلى تجنب الخلاف حول الأوزان، وإلى تحديد نقاط الضعف بوضوح عبر نظام ثنائي مستقل لكل بند (مستوفى/غير متحقق منه/غير مستوفى)، ما يجعله أقرب إلى «كاشف للاختناقات» منه إلى «مجموع مرجح». 【تم التحقق · أدبيات منشورة】تشير MDPI إلى أن الدرجة النهائية للمؤشر المركب تعتمد على الأوزان والتطبيع وطريقة التجميع، وأن تساوي الأوزان أحد الخيارات.

ثانيًا، إنشاء مسار تحقق صارم. يجب ربط كل درجة بدليل، كما تُجمَّد قيمة تجزئة rubric ‏(rubric_sha256=4be4d5be... 【تم التحقق · مصدر أولي محلي】) لضمان ثبات القواعد. ولا يتحقق البرنامج النصي score.py إلا من تجزئة القواعد، وتفرّد المعرّفات، وعدد البنود، وقيم الحالة المسموح بها، ووجود حقول الأدلة، مع توضيح أنه «لا يقيّم الأدلة بصورة مستقلة». فعلى سبيل المثال، يتضمن التحقق من G2/G3 تجميد التجزئة، والمقارنة دون اتصال، وإعادة الحساب المستقلة؛ أما G1 فيُتحقق منه عبر بيانات الجلسة الوصفية (rollout jsonl ‏【تم التحقق · مصدر أولي محلي】) لتأكيد النموذج والجهد المبذول.

ثالثًا، إدراج قائمة لمكافحة التحايل، تنص بوضوح على أن سلوكيات مثل «تشغيل وكيل»، و«إنشاء مستندات»، و«الحصول على الدرجة الكاملة في الأسئلة الاصطناعية» لا ترفع درجات G4–G10. وفي الوقت نفسه، يجب أن يؤدي تنقيح المعايير إلى إصدار نسخة جديدة مع الاحتفاظ بالدرجات السابقة، تجنبًا للتعديل بأثر رجعي. فعلى سبيل المثال، يشترط G7 «تشغيل سير عمل البحث الأساسي باستقرار لمدة 7 أيام متتالية»، مع «مواصلة المراقبة 30 يومًا إضافية»، تأكيدًا على الاستقرار طويل الأمد لا النجاح لمرة واحدة. 【تم التحقق·مصدر أولي محلي】

رغم دقة تصميمه، لا يزال نظام G1-G10 يعاني من قيود جوهرية. فالتصميم المتساوي الأوزان قد يحجب الفوارق في الحدود القصوى؛ إذ تُمنح G1 (استدعاء ناجح واحد) وG6 (مكسب تجاري) الدرجة نفسها، وهي 10، رغم اختلاف قيمتهما الهامشية بوضوح، ما قد يحفّز سلوكًا تحايليًا يعطي الأولوية «للمهام السهلة منخفضة المستوى». وإضافة إلى ذلك، فإن الاقتصار على 10 درجات ثنائية (متحقق/غير متحقق منه/غير متحقق) يوفّر دقة محدودة، ويفتقر إلى الدرجات الجزئية أو الحد الأدنى للأثر القابل للكشف (MDE) أو فواصل الثقة؛ لذلك لا تقدّم الدرجات إشارة متصلة، ويصعب معها رصد التقدم الطفيف. 【استنتاج】وهذا يعني أن الفرق بين 30 و40 نقطة قد يقتصر على انقلاب نتيجة بند واحد، لا على قفزة ملحوظة في مستوى القدرة.

يشكّل غياب الاستقلالية في مرحلة التحقق تحديًا رئيسيًا أيضًا. يصرّح score.py بوضوح بأنه لا يحكم على الأدلة؛ إذ يقدّمها الطرف المتحكّم أساسًا ويعيد احتسابها، ولا تقتصر «استقلاليته» إلا على بصمة البرنامج والعدّ. فعلى سبيل المثال، لا تزال إعادة الاحتساب المستقلة لـ G2 تُنفَّذ بواسطة الطرف المتحكّم، ما يحدّ من نزاهة سلسلة التحقق ومصداقيتها لدى الأطراف الثالثة. إضافةً إلى ذلك، فإن ملفات rubric وobservations في مساحات العمل التسع الحالية متطابقة بايتًا ببايت【تم التحقق · مصدر أولي محلي】، ما يوحي بإمكانية نسخ الدرجات وتداولها بدلًا من احتساب كل منها بصورة مستقلة، وينطوي على خطر «تكاثر الدرجات مع المستودعات».

حجم العينة في نافذة الاستقرار التي امتدت سبعة أيام صغير جدًا، ولا يغطي سوى بيئة واحدة (اتصال Mac بالإنترنت)، كما يفتقر إلى العشوائية وإلى دعم قائم على الحد الأدنى للأثر القابل للكشف (MDE)، ما يصعّب التمييز بين «الاستقرار الحقيقي» و«مجرد عدم حدوث عطل بالمصادفة». 【تم التحقق·أدبيات منشورة】تُظهر دراسة منشورة في BMC أن مقاييس الموثوقية تكون غير مستقرة عند استخدام عينات صغيرة. وقد يؤدي ذلك إلى تداخل بنائي بين G7 وG8 (الاستقرار وحلقة التعافي المغلقة) وG5/G6 (التبني والعائد). وينص قانون غودهارت على أنه عندما يصبح المقياس هدفًا، يفقد صلاحيته كمقياس جيد. وقد تتحول البنود التي يسهل استيفاؤها شكليًا، مثل G1-G3، إلى أهداف «لتحصيل النقاط» لدى الفريق الداخلي، بينما قد تُهمَل بنود القيمة الحقيقية، G4-G6، لصعوبتها الأكبر، وقد يتوقف الحافز عند 30 نقطة.

وأخيرًا، على الرغم من أن معايير التقييم تحظر صراحةً مساواة «غير مُتحقَّق منه» بـ«صفر»، فقد يُساء فهم المجموع الكلي البالغ 30/100 عند تداوله على أنه يعني أن «القدرة لا تتجاوز 30٪». وقد يؤدي خطر هذا الالتباس التداولي إلى تحريف مقصد مصممي النظام، والتأثير في مستوى الثقة به واعتماده داخل المؤسسة وخارجها.

يرتكز نظام G1-G10 في التقييم على «التبني في المراحل اللاحقة» و«العوائد القابلة للقياس» (G5/G6)، وهو ما يتوافق بدرجة كبيرة مع نموذج الأعمال القائم على «التحصيل بحسب النتائج» في Research OPC (FR-04/FR-15 【تم التحقق · مصدر أولي محلي】). ويكشف الوضع الحالي، حيث لا يوجد تبنٍّ تجاري ولا تكاليف نقدية، بصدق أن الحلقة التجارية المغلقة لـOPC لم تتشكل بعد. وتساعد هذه الشفافية على تحديد العوائق الحقيقية أمام التحول التجاري، وتوجيه البحث نحو حالات الاستخدام العملي.【استنتاج】كما ستدفع الباحثين إلى إعادة التفكير في القيمة النهائية لعملهم.

على المستوى التنظيمي، يعني إدراج G7 (استقرار التشغيل) وG8 (التعافي) وG9 (المقارنة في الموضوع نفسه) وG10 (حساب التكاليف) دمج قدرات التشغيل والتدقيق والمحاسبة ضمن «تعريف القدرات» في المؤسسة البحثية. وهذا يشير إلى تحول من النهج التقليدي القائم على أن «الطاقة الإنتاجية هي الأساس» إلى نهج تقوده «قابلية التحقق». وبالنسبة إلى «شركة الشخص الواحد» أو فرق البحث الصغيرة، سينتقل موطن الاختناق من القدرة على الإنتاج وحدها إلى ضمان الاستقرار طويل الأمد للنتائج وإمكانية تكرارها وإمكانية تتبع جدواها الاقتصادية.

بالنسبة إلى الباحث الفرد، يحوّل اشتراط G9 «تجميد المقارنة في الموضوع نفسه» واشتراط G10 «حساب التكاليف بالكامل» التحسين الذاتي من سرد ذاتي إلى تجربة قابلة للدحض. ولم يعد البحث يقتصر على نشر الأوراق العلمية أو تطوير النماذج، بل بات عليه أيضًا إثبات الاستقرار والجدوى من حيث التكلفة وقابلية التكرار. ولا شك أن ذلك يزيد العبء الإداري، لكنه يعزز أيضًا صرامة البحث ومصداقيته، ويدفع الباحثين إلى تنمية تفكير أشمل في الهندسة والأعمال.

لتحسين فاعلية منظومة G1-G10 ومصداقيتها، نقترح ما يلي: أولاً، يُستخدم التقييم المتساوي الأوزان عتبةً داخليةً لرصد «عنق الزجاجة» فحسب، أما التقارير الخارجية فينبغي أن توضح صراحةً المقام والبنود «غير المُقيَّمة». كذلك، تُضاف إلى بنود النتائج الرئيسية مثل G4-G6 «أوزان للصعوبة/القيمة» أو مستويات متدرجة (بوابة خط الأساس ← بوابة النتائج)، لتجنب منحها الوزن نفسه الممنوح للبنود سهلة التنفيذ، واعتماد آليتين متوازيتين لا تحل إحداهما محل الأخرى: «بوابة متساوية الأوزان» و«درجة نتائج موزونة».

ثانيًا، ينبغي تسجيل الحد الأدنى للأثر القابل للكشف (MDE) وحجم العينة مسبقًا لكل مؤشر. فعلى سبيل المثال، ينبغي أن يحدد G7 بوضوح «عدد مرات التشغيل المتوقع خلال نافذة الأيام السبعة (N)، والحد الأقصى لمعدل الإخفاق المسموح به»، إلى جانب «قاعدة استبعاد فترات التوقف المخطط لها». كما ينبغي أن يسجل اختبار المقارنة للموضوع نفسه في G9 مسبقًا مجموعة المقارنة، وترتيب التعمية، ودرجة الاتفاق بين المقيمين. ومن شأن ذلك أن يعزز بدرجة كبيرة الصرامة الإحصائية لنتائج التحقق وموثوقيتها، وأن يقلل من عدم اليقين الناجم عن صغر حجم العينة.

ثالثًا، افصل «تقييم الأدلة» عن وحدة التحكم الرئيسية. أضف مراجعًا ثانيًا مستقلًا أو بوابة آلية للأدلة (مثل إيصال بلوك تشين أو إيصال من نظام لاحق)، ويمكن النظر في استخدام معايرة براير أو معامل كابا لتقييم مدى الاتساق. رابعًا، عزّز محاسبة التكاليف، وارفع G10 من «مكتمل» إلى «قابل للتسوية» (بما يشمل الرموز النقدية والمال والموارد البشرية وتكاليف الجهة المستدعية)، مع النص صراحةً على تسجيل التكلفة المجهولة كـ null لا كصفر، تمهيدًا لتحليل تكلفة النتيجة الواحدة لاحقًا.

أخيرًا، يُحظر منعًا باتًا نسخ الدرجات ونشرها. يجب إعادة احتساب الملاحظات في كل مساحة عمل جديدة وإرفاق الأدلة الخاصة بها، بدلًا من نسخ الدرجات القائمة ببساطة (ينبغي إضافة تأكيد يمنع النسخ إلى الملاحظات التسع المتطابقة حاليًا). وفي الوقت نفسه، يجب مواصلة العمل بسياسة التغيير (change_policy) وتحسينها، لضمان الاحتفاظ بالدرجات القديمة وبصمات تجزئة معايير التقييم القديمة عند كل ترقية للمعايير، وإنشاء سجل كامل لإصدارات معايير التقييم، بما يكفل قابلية تتبّع البيانات التاريخية وشفافيتها.