← सभी परियोजनाएँ

एजेंट का बेहतर मूल्यांकन

सॉफ्टवेयर प्रयोगों पर भरोसा करना आसान बनाना।

भूमिका

प्रोजेक्ट लीड और शोधकर्ता

संदर्भ

जेनिथसिंक डेवलपर एजेंट

उपकरण और विधियाँ

Python · Gemma 4 · LoRA फ़ाइन-ट्यूनिंग · Docker सैंडबॉक्स · मूल्यांकन टूलिंग

“एजेंट का बेहतर मूल्यांकन” के लिए हाथ से बनाया गया द्वीप मॉडल
द्वीप, विस्तार से

एक परीक्षण लाइन, एक क्वारंटीन बाड़ा और नौ टूल्स की एक दीवार।

इस साइट के लिए Blender में बनाया गया एक चित्रण। यह विचार को समझाता है; यह परियोजना का डेटा नहीं है।

परियोजनाओं की मूल तस्वीरें, आरेख और वीडियो उनकी मूल भाषा में दिखाए गए हैं।

मूल सवाल

यह पूछने से पहले कि कोडिंग एजेंट में सुधार हुआ या नहीं, यह ठीक-ठीक जानना मददगार है कि उसका परीक्षण किस पर हुआ। यह परियोजना Gemma 4 पर आधारित एक रिपॉज़िटरी-रिपेयर एजेंट के लिए उस प्रश्न के पीछे का बुनियादी ढाँचा बनाती है: कार्यों का स्रोत-विवरण (provenance), मूल्यांकन का अलगाव, नियतात्मक प्रशिक्षण शेड्यूल और ऐसे रन जिन्हें बीच से फिर शुरू किया जा सके। इसका कार्य-नियम है कि कोई भी दावा किसी असत्यापित चरण पर टिका न हो।

9एजेंट जिन टूल्स का उपयोग कर सकता है
4किसी प्रशिक्षण उदाहरण के स्वीकार होने से पहले के जाँच-द्वार
2,966जाँचे गए और स्प्लिट में फ़्रीज़ किए गए सार्वजनिक कार्य
51पहले स्वीकृत प्रशिक्षण सेट में कार्य
01

जिस काम का परीक्षण होता है

एजेंट को एक वास्तविक ओपन-सोर्स रिपॉज़िटरी और एक रिपोर्ट किया गया इश्यू दिया जाता है। वह ठीक नौ टूल्स का उपयोग कर सकता है, जिनमें कमांड चलाना, फ़ाइलें पढ़ना और संपादित करना, स्थिति जाँचना, कोड की संरचना में नेविगेट करना और पैच जमा करना शामिल है। पैच सही है या नहीं, यह उन टेस्ट से तय होता है जिन्हें एजेंट कभी नहीं देखता।

02

एक बंद कमरा और दो तरह के परीक्षण

हर कार्य नेटवर्क बंद किए गए एक कंटेनर में चलता है। एक वैध कार्य फ़िक्स से पहले फ़ेल और फ़िक्स के बाद पास होना चाहिए: जो टेस्ट फ़ेल हो रहे थे, वे अब पास हों, और जो पास हो रहे थे, वे अब भी पास हों। पाँच टेस्ट फ़्रेमवर्क के पार्सर हर केस के परिणाम पढ़ते हैं और ऐसे सारांशों को अस्वीकार करते हैं जिनके कुल योग उनके अपने केसों से मेल नहीं खाते।

03

यह जानना कि प्रत्येक कार्य कहां से आया

32,079 उम्मीदवार पंक्तियों में से 4,818 योग्य थीं, और 2,966 को चुनकर प्रशिक्षण, डेवलपमेंट और पुष्टि (confirmation) स्प्लिट में फ़्रीज़ किया गया। ये स्प्लिट रिपॉज़िटरी और मालिक के आधार पर अलग किए गए, ताकि एक ही परियोजना दोनों तरफ़ न आ सके। हर कार्य के पिन किए गए कमिट पर लाइसेंस फ़ाइलें जाँची गईं, जिससे चार ऐसी रिपॉज़िटरी पकड़ी गईं जिनमें परमिसिव लेबल के तहत कॉपीलेफ़्ट टेक्स्ट था।

04

चार जाँच-द्वार और दो जाँचकर्ता

प्रशिक्षण उदाहरण क्वारंटीन में शुरू होते हैं। उन्हें केवल चार जाँच-द्वारों से होकर स्वीकार किया जाता है: अधिकार और श्रेय (attribution), स्प्लिट का अलगाव, रनटाइम योग्यता, और कार्य का संरेखण। फिर एक अलग ऑडिट मॉड्यूल लोडर के साथ कोई कोड साझा किए बिना हर मात्रा की दोबारा गणना करता है, ताकि दोनों को स्वतंत्र रूप से मेल खाना पड़े। पहले स्वीकृत सेट में 51 कार्य हैं।

05

बुनियादी ढांचे को प्रदर्शन से अलग करना

मॉडल 4-बिट Gemma 4 है, जिसके साथ एक छोटा LoRA अडैप्टर है। अब तक उस पर एक छोटे फ़िक्स्चर पर केवल एक अपडेट हुआ है; पहले वास्तविक प्रशिक्षण चरण में मेमोरी ख़त्म हो गई, उसका निदान किया गया, और उसे ऐसे कोड में ठीक किया गया जिसे अभी GPU पर दोबारा मापा नहीं गया है। कोई निरंतर प्रशिक्षण नहीं चला है, इसलिए परियोजना यह दावा नहीं करती कि एजेंट ने अभी तक कुछ सीखा है।

तकनीकी संरचना

एक सुधार को पुनरुत्पादित करें।

  1. 01

    कार्य की वंशावली को ट्रैक करें

    रिपॉजिटरी कार्यों में स्रोत उद्गम और मूल्यांकन अनुबंध होते हैं। ओवरलैप और संगरोध की जांच संदिग्ध सामग्री को प्रशिक्षण पथ से बाहर रखती है। यह विकास डेटा और रुके हुए मूल्यांकन के बीच की सीमा बनाता है जिसका टूलींग निरीक्षण कर सकता है।

  2. 02

    परीक्षण पढ़ें, केवल शीर्षक नहीं

    टेस्ट ऑडिट हर केस का अलग परिणाम सुरक्षित रखता है और विरोधाभासी कुल गिनतियों को अस्वीकार करता है। फ़ेल्योर, एरर और छोड़े गए केस अलग-अलग रहते हैं। सफल प्रोसेस एग्ज़िट या आकर्षक सारांश-गिनती, मूल टेस्ट साक्ष्य की जगह नहीं ले सकती।

  3. 03

    कार्रवाइयों का अनुवाद, परिणामों का रीप्ले

    किसी दूसरे एजेंट फ़्रेमवर्क की टीचर ट्रैजेक्टरीज़ को नियमों के एक तय सेट के तहत नौ-टूल प्रारूप में बदला जाता है। टूल के परिणामों का जानबूझकर अनुवाद नहीं किया जाता: उन्हें कार्रवाई को दोबारा चलाकर ही आना चाहिए, क्योंकि उन्हें दोबारा लिखना रनटाइम आउटपुट गढ़ने जैसा होगा। एक भी ऐसी कॉल, जिसका अनुवाद न हो सके, पूरी ट्रैजेक्टरी को अस्वीकार करवा देती है।

ये लागू किए गए मूल्यांकन और प्रशिक्षण-तैयारी तंत्र हैं। रिपॉज़िटरी अभी यह स्थापित नहीं करती कि अनदेखे रिपॉज़िटरी कार्यों पर कोई सीखा हुआ सुधार हुआ है, और यह पृष्ठ किसी प्रतियोगिता परिणाम का दावा नहीं करता।

कार्यान्वयन तत्परता रिकॉर्ड पढ़ें
यह क्या नहीं दिखाता

ईमानदार सीमाएँ।

  • किसी मॉडल को बड़े पैमाने पर प्रशिक्षित नहीं किया गया है। रिपोर्ट करने लायक कोई मापा गया सुधार नहीं है।
  • स्वीकार किए गए सभी 51 कार्य डेवलपमेंट के दौरान देखे जा चुके हैं, इसलिए उन्हें होल्ड-आउट टेस्ट के रूप में इस्तेमाल नहीं किया जा सकता।
  • लाइसेंस जाँच यह दर्ज करती है कि पिन किए गए कमिट पर हर रिपॉज़िटरी क्या कहती है। ये अवलोकन हैं, क़ानूनी मंज़ूरी नहीं।
आसपास के द्वीप

यह कहाँ जुड़ता है।

संदर्भ और आगे पढ़ना

विकास में अनुसंधान टूलींग। प्रोजेक्ट अभी तक अनदेखे रिपॉजिटरी कार्यों पर सीखा हुआ प्रदर्शन लाभ स्थापित नहीं कर पाया है।