Jev: عندما يصبح حكم الذكاء الاصطناعي عنصراً أساسياً في البرمجيات، كيف يتغير حدود الشركات ذات الشخص الواحد

تُدرّب نماذج اللغة الكبيرة الذاتية الانحدار عادةً على التنبؤ بالرمز التالي، حيث يمكن كتابة احتمال التسلسل كـ P(w₁…wₜ | x) = ∏ P(wᵢ | x, w₍<ᵢ₎). يحسن التدريب اللاحق السلوك من خلال التفضيلات البشرية والمكافآت القابلة للتحقق وغيرها. تكافئ RLHF الإجابات التي يفضلها البشر، ولكن "الإجابات المرضية" لا تعني تلقائياً "تقديرات احتمالية دقيقة للصواب". يمكن لـ RLVR مكافأة الإجابات الصحيحة، ولكن لا يمكنه أيضاً اشتقاق احتمالات معايرة فقط من معدل الدقة. تسمي TypeSafe منهجها RLCD، التعلم المعزز للقرارات المعايرة: التدريب مباشرة على القرارات والاحتمالات. كما تضع دروسها الرسمية RLCD كفرع تدريبي بعد التدريب المسبق. لذلك، يجب فهم التحول في الفئة على أنه تغيير في هدف التحسين وواجهة الحساب، وليس كدليل على أن الأساس لا علاقة له بنماذج اللغة.

يوضح مثال إحصائي هذا الاختلاف في الهدف: تُكتب خسارة Brier للتنبؤ الثنائي كـ (p-y)²، حيث p هو الاحتمال المتوقع وy هو النتيجة الفعلية (0 أو 1). تعاقب الأخطاء الواثقة؛ في المتوقع، فإن الإبلاغ الصادق عن الاحتمالات الشرطية يتفوق على المبالغة العشوائية في الثقة. تُظهر قواعد التقييم المناسبة تماماً هذه الأساس الرياضي لـ "تدريب صدق الاحتمالات". هذا مجرد مثال توضيحي، وليس دالة الخسارة المعلنة لـ Jev. لا توفر المواد الرسمية التي تمت مراجعتها معلومات كافية لإعادة إنتاج دالة هدف RLCD الكاملة، وبنية المكافأة، وتجارب التذبذب.

الواجهة الأساسية لـ Jev هي state + questions → answers: يمكن أن يكون الإدخال نصاً أو حالة منظمة، ويتكون المخرج من ثلاثة عناصر أساسية تُعرَّف قبل الاستدعاء. يختار Choice من بين 255 خياراً محدداً مسبقاً كحد أقصى، ويعيد احتمالات كل خيار، وهو مناسب للتصنيف والتوجيه واختيار المرشحين الموجودين. يقدم Score توزيعات ودرجات مرجحة لـ 2-10 مستويات مرتبة معرفة نصياً، وهو مناسب للشدة والأولوية والأهمية. يعيد Noul احتمال "نعم" في النطاق 0-1، وهو مناسب للأهمية وتحقق الشروط.

بالنظر إلى مجموعة الخيارات القانونية S، فإن أمان الأنواع يعني P(المخرج ليس في S) = 0. على سبيل المثال، إذا قدم البرنامج ثلاثة معرفات أوراق بحثية موثقة فقط، فلا توجد لدى النموذج قناة لإخراج معرف رابع ملفق. هذا يزيل درجة واحدة من حرية التوليد. ومع ذلك، قد يختار النموذج الورقة الخاطئة أو يحكم على "غير مدعوم" بأنه "مدعوم". لذلك، لا يمكن توسيع "من المستحيل رياضياً أن يكون خاطئاً من حيث النوع" إلى "من المستحيل رياضياً أن يكون خاطئاً من حيث الحقيقة". يقع ضمان عدم وجود أخطاء في الإصدار الرسمي بوضوح على مطابقة المخطط (schema). يجب على التصميم الهندسي أيضاً ترك مخارج مثل "أخرى" و"لم يذكر" و"أدلة غير كافية" في مجموعة المرشحين.

تُفك النماذج الذاتية الانحدار النموذجية الرموز خطوة بخطوة؛ حتى لو كانت الإجابة JSON، فإن الرموز اللاحقة تعتمد على السياق السابق. الآلية التي وصفها Jev رسمياً هي مشاركة حالة الإدخال، حيث يتم تقييم أسئلة متعددة بالتوازي وبشكل معزول في استدعاء واحد، وإعادة النتائج مباشرة بدلاً من كتابة الإجابة رمزًا برمز. على سبيل المثال، يمكن لمعالجة ملاحظات قارئ أن تحكم في نفس الوقت في الموضوع والإلحاح وما إذا كانت تشير إلى أخطاء واقعية وما إذا كانت تقترح تعاوناً. يستلم البرنامج النتائج ثم يقرر أي الأحكام مفيدة. يُطلق على هذا النمط رسمياً اسم speculative fan-out: الحساب المسبق للفروع التي قد تكون مطلوبة، مما يقلل من الرحلات التسلسلية.

تغير الحالة المشتركة أيضاً طريقة تنظيم البرمجيات: بدلاً من تمرير نفس المقالة بشكل متكرر وطرح عشرة تسميات بالتتابع، يمكن وضع عشرة أسئلة محددة بوضوح في طلب واحد. هذا يقلل من الإدخال المتكرر ورحلات الشبكة. ومع ذلك، فإن الأسئلة نفسها لا تزال تُحتسب ضمن ميزانية الإدخال، وزيادة الأسئلة بشكل مجمّع تخضع لقيود السياق وحدود الخدمة؛ لا ينبغي فهم "المخرج المجاني" على أنه حكم غير محدود بدون تكلفة حسابية. هناك حدان. أولاً، لا يعني التقييم المتوازي أن الأحداث مستقلة إحصائياً؛ لا يمكن ضرب الاحتمالات بشكل عشوائي. ثانياً، الخطوات التالية التي تتطلب أدلة جديدة لا تزال بحاجة إلى استرجاع أو استدعاءات إضافية.

إذا أبلغ نموذج ما عن حوالي 0.8 لمجموعة من الأحداث، فإن المعايرة تعني أن حوالي 80% من هذه الأحداث تحدث. إنها خاصية تردد مجتمعي، وليست ضماناً لأي حكم فردي؛ "كلما زادت الثقة زادت الدقة" نفسها أيضاً أضعف من المعايرة بالمعنى الدقيق. هناك تفصيل يمكن أن يؤدي بسهولة إلى نشر خاطئ: حقل confidence في Jev هو مقياس تركيز يُحسب من توزيع الاحتمالات، ولا يمكن تفسيره مباشرة على أنه احتمال صحة الإجابة المختارة. يعيد Choice وScore توزيعات كاملة؛ بينما لا يملك Noul سوى احتمال ثنائي بدون حقل confidence مستقل. عند حساب الخسارة المتوقعة، استخدم احتمالات الأحداث الموثقة تجارياً بدلاً من خلط الحقلين.

تقدم مفارقة Jevons وراء اسم Jev تفسيراً اقتصادياً لهذا المسار. في القرن التاسع عشر، أشار Jevons إلى أن تحسين كفاءة استخدام الوقود قد يوسع استخداماته ويزيد في النهاية الاستهلاك الكلي. وبنقله إلى الذكاء الاصطناعي، يكون الاستنتاج: عندما يصبح الحكم رخيصاً بما يكفي، ستبدأ البرمجيات في تنفيذ أحكام لم تكن تستحق التنفيذ في الماضي. حيث كان التصنيف اليدوي يُجرى فقط لأهم التقارير في الماضي، يمكن في المستقبل إرفاق أحكام متعددة بكل رسالة، وكل جزء استرجاع، وكل استدعاء أداة. بافتراض انخفاض تكلفة الاستدعاء الواحد 100 مرة ونمو الطلب 1000 مرة، لا يزال إجمالي الإنفاق ينمو 10 مرات. ولكن هذا النمو يعتمد على مرونة الطلب وعائد الأعمال وتكلفة الخطأ؛ لا يمكن كتابة "انخفاض التكلفة" كقانون حتمي لانفجار الطلب.

بالنسبة لـ OPC، من المرجح أن يكون المورد الأكثر ندرة هو الانتباه. عشرة آلاف حكم في اليوم، حتى مع تحويل 1% فقط إلى البشر، يعني مائة مراجعة؛ دقيقتان لكل منها تساوي مائتي دقيقة. لذلك، بالإضافة إلى التحكم في الأخطاء، يجب التحكم في حجم التصعيد، ودمج الأحداث المكررة، وإعطاء الأولوية للعناصر ذات أكبر خسارة. يمكن لشركات البحث ذات الشخص الواحد أن تبدأ بعملية منخفضة المخاطر، وتستخدم مئات إلى آلاف المواد الموسومة يدوياً لإنشاء خط أساس، وتشغيلها دون التأثير على المعالجة الفعلية، ثم فتح التصنيف التلقائي تدريجياً. التركيز على تسجيل معدل الإغفال، ومعدل الإيجابيات الكاذبة، وحجم المعالجة اليدوية، وزمن الاستجابة الذيلية، والتكلفة الإجمالية لكل نتيجة صالحة.

المزيج القابل للتطبيق هو: الكود يتعامل مع الفحوصات الحتمية، وJev يتولى الأحكام عالية التردد والمحددة النطاق، ونماذج اللغة الكبيرة الاستدلالية تتعامل مع الحالات المعقدة أو منخفضة الثقة، والبشر يتولون النزاعات عالية التكلفة والمسؤولية النهائية. يمكن لنماذج اللغة الكبيرة أيضاً المساعدة في تصميم الأسئلة ومجموعات التقييم أثناء مرحلة التطوير. يصف النظام الأول والنظام الثاني تقسيم المهام هنا؛ استخدام Jev لفحص مخرجات نماذج اللغة الكبيرة يضيف طبقة تحقق، ولكن يجب أن يخضع الفاحص نفسه أيضاً لتقييم مستقل. وبالمثل، ليس من المستحسن مطالبة Jev بإعطاء درجة عامة مثل "هل يستحق هذا البحث النشر". التصميم الأكثر قابلية للتطبيق هو الحكم بشكل منفصل على ما إذا كانت المواد جديدة، وما إذا كانت الحجج لها مصادر، وما إذا كانت الأدلة تتناقض مع نفسها، ثم الدمج عبر الكود. بهذه الطريقة يتم التحكم في أولويات الأعمال من قبل المشغل، ولا يحتاج النموذج إلى الموازنة السرية بين جميع الأهداف في درجة واحدة.