تقييم أفضل للوكيل
تسهيل الثقة في تجارب البرامج.

خط اختبار، وحظيرة للحجر، وجدار من تسع أدوات.
رسم توضيحي أُنشئ لهذا الموقع باستخدام Blender. يشرح الفكرة، وليس بيانات من المشروع.
تُعرض الصور والمخططات ومقاطع الفيديو الأصلية بلغتها الأصلية.
قبل السؤال عمّا إذا كان وكيل البرمجة قد تحسّن، من المفيد أن نعرف بدقة على أي شيء اختُبر. يبني هذا المشروع البنية التحتية الكامنة وراء هذا السؤال لوكيل إصلاح مستودعات مبني على Gemma 4: تتبّع مصدر المهام، وعزل التقييم، وجداول تدريب حتمية، وعمليات تشغيل قابلة للاستئناف. وقاعدته في العمل ألّا يستند أي ادعاء إلى خطوة لم يُتحقق منها.
المهمة الخاضعة للاختبار
يُعطى الوكيل مستودعًا حقيقيًا مفتوح المصدر ومشكلة مُبلَّغًا عنها. ويمكنه استخدام تسع أدوات بالضبط، تغطي تشغيل الأوامر، وقراءة الملفات وتحريرها، والتحقق من الحالة، والتنقل في بنية الشفرة، وتقديم تصحيح برمجي. أما صحة التصحيح فتحسمها اختبارات لا يراها الوكيل أبدًا.
غرفة محكمة الإغلاق ونوعان من الاختبارات
تعمل كل مهمة داخل حاوية مفصولة عن الشبكة. والمهمة الصالحة يجب أن تفشل قبل الإصلاح وتنجح بعده: فالاختبارات التي كانت تفشل يجب أن تنجح الآن، والاختبارات التي كانت تنجح يجب أن تظل ناجحة. وتقرأ محلّلات لخمسة أُطر اختبار نتائج كل حالة على حدة، وترفض الملخّصات التي تتعارض مجاميعها مع حالاتها.
معرفة مصدر كل مهمة
من بين 32,079 صفًّا مرشحًا، كان 4,818 مؤهلًا، واختير منها 2,966 وثُبِّتت في مجموعات التدريب والتطوير والتأكيد، مفصولةً بحسب المستودع والمالك كي لا يظهر المشروع نفسه في الجانبين. وفُحصت ملفات الترخيص عند الإيداع المثبَّت لكل مهمة، وهو ما كشف أربعة مستودعات تحمل نص ترخيص من نوع الحقوق المتروكة (copyleft) تحت وسم ترخيص متساهل.
أربع بوابات ومدقِّقان
تبدأ أمثلة التدريب في الحجر، ولا تُقبل إلا عبر أربع بوابات: الحقوق والإسناد، وعزل المجموعات، والتأهّل للتشغيل، ومواءمة المهمة. ثم تعيد وحدة تدقيق منفصلة حساب كل كمية دون مشاركة أي شفرة مع المُحمِّل، فيجب أن يتفق الاثنان على نحو مستقل. وتضم أول مجموعة مقبولة 51 مهمة.
فصل البنية التحتية عن الأداء
النموذج هو Gemma 4 مكمَّم بأربع بتات مع مُهايئ LoRA صغير. وحتى الآن لم يخضع إلا لتحديث واحد على بيانات اختبار صغيرة جدًا؛ أما أول خطوة تدريب حقيقية فنفدت فيها الذاكرة، فشُخِّصت المشكلة وأُصلحت في الشفرة، لكن الإصلاح لم يُعَد قياسه على GPU بعد. ولم يجرِ أي تدريب متواصل، لذا لا يدّعي المشروع أن الوكيل قد تعلّم شيئًا حتى الآن.
جعل التحسين قابلاً للتكرار.
- 01
تتبع نسب المهمة
تحمل مهام المستودع عقود مصدر وتقييم. تعمل عمليات التحقق من التداخل والعزل على إبقاء المواد المشكوك فيها بعيدًا عن مسار التدريب. وهذا يجعل الحدود بين بيانات التطوير والتقييم الجاري أمرًا يمكن للأدوات فحصه.
- 02
اقرأ الاختبارات، وليس العنوان فقط
يحافظ تدقيق الاختبارات على نتائج كل حالة على حدة، ويرفض المجاميع الإجمالية المتناقضة. وتبقى حالات الفشل والأخطاء والحالات المتخطّاة متمايزة. ولا يمكن لخروج ناجح من العملية أو لعدد ملخّص جذاب أن يحلّ محل أدلة الاختبار الفعلية.
- 03
ترجِم الإجراءات، واستخرج النتائج بإعادة التنفيذ
تُحوَّل مسارات المعلِّم القادمة من إطار وكلاء آخر إلى صيغة الأدوات التسع وفق مجموعة ثابتة من القواعد. ولا تُترجَم نتائج الأدوات عمدًا: بل يجب أن تأتي من إعادة تنفيذ الإجراء، لأن إعادة كتابتها تعني اختلاق مخرجات تشغيل. ويكفي استدعاء واحد غير قابل للترجمة لرفض المسار بأكمله.
هذه آليات منفَّذة للتقييم وللإعداد للتدريب. ولا يثبت المستودع بعد مكاسب متعلَّمة في مهام مستودعات لم يرها النموذج، ولا تقدّم هذه الصفحة أي ادعاء بشأن نتيجة في مسابقة.
اقرأ سجل جاهزية التنفيذالحدود، بصراحة.
- لم يُدرَّب أي نموذج على نطاق واسع. ولا يوجد تحسّن مقيس يمكن الإبلاغ عنه.
- جميع المهام الـ51 المقبولة مكشوفة لمرحلة التطوير، فلا يمكن استخدامها مجموعةَ اختبار محجوبة.
- تسجّل فحوص الترخيص ما يقوله كل مستودع عند إيداع مثبَّت. وهي ملاحظات، وليست تصريحًا قانونيًا.
نقاط الالتقاء.
ZenithSync Assay Plannerيشترك معه في اسم المشروع، ZenithSync، وفي عاداته: تثبيت البروتوكول، والاحتفاظ بالنتائج السلبية.
اللغة في حركةالشك في أدوات القياس حاضر في كليهما: يُدقَّق المُتحقِّق قبل أن يُصدَّق.
CollegeAdvisorيذكر كل إيصال ما لا يثبته، وهي الفكرة نفسها التي يقوم عليها مبدأ «استشهد أو امتنع».أدوات البحث في التطوير. لم ينشئ المشروع بعد مكاسب الأداء المستفادة في مهام المستودع غير المرئية.