← Alle Projekte
Forschung / 2026HALT 08 VON 08 DER REISE

Agenten besser bewerten

Software-Experimente vertrauenswürdiger machen.

ROLLE

Projektleiter und Forscher

KONTEXT

ZenithSync Developer Agent

WERKZEUGE & METHODEN

Python · Gemma 4 · LoRA-Feintuning · Docker-Sandboxes · Evaluierungswerkzeuge

Handgebautes Inselmodell: Agenten besser bewerten
DIE INSEL, ERKLÄRT

Eine Prüfstrecke, ein Quarantänepferch und eine Wand mit neun Werkzeugen.

Eine für diese Website in Blender gebaute Illustration. Sie erklärt die Idee; es sind keine Daten aus dem Projekt.

Originalbilder, Diagramme und Videos bleiben in ihrer Ausgangssprache.

DIE FRAGE

Bevor man fragt, ob sich ein Coding-Agent verbessert hat, hilft es, genau zu wissen, woran er getestet wurde. Dieses Projekt baut die Infrastruktur hinter dieser Frage für einen Repository-Reparatur-Agenten auf Basis von Gemma 4: Herkunft der Aufgaben, Isolation der Evaluation, deterministische Trainingspläne und wiederaufnehmbare Läufe. Seine Arbeitsregel lautet: Keine Aussage darf auf einem ungeprüften Schritt beruhen.

9Werkzeuge, die der Agent verwenden darf
4Prüftore, bevor ein Trainingsbeispiel zugelassen wird
2,966öffentliche Aufgaben, geprüft und in Splits eingefroren
51Aufgaben im ersten zugelassenen Trainingssatz
01

Die getestete Aufgabe

Der Agent erhält ein echtes Open-Source-Repository und ein gemeldetes Issue. Er darf genau neun Werkzeuge verwenden: zum Ausführen von Befehlen, Lesen und Bearbeiten von Dateien, Prüfen des Status, Navigieren in der Codestruktur und Einreichen eines Patches. Ob der Patch korrekt ist, entscheiden Tests, die er nie zu sehen bekommt.

02

Ein abgeschotteter Raum und zwei Arten von Tests

Jede Aufgabe läuft in einem Container mit abgeschaltetem Netzwerk. Eine gültige Aufgabe muss vor dem Fix fehlschlagen und danach bestehen: Die Tests, die fehlschlugen, müssen nun bestehen, und die Tests, die bestanden, müssen weiterhin bestehen. Parser für fünf Test-Frameworks lesen die Ergebnisse pro Testfall und verwerfen Zusammenfassungen, deren Summen ihren eigenen Fällen widersprechen.

03

Wissen, woher jede Aufgabe kommt

Von 32.079 Kandidatenzeilen waren 4.818 geeignet; 2.966 wurden ausgewählt und in Trainings-, Entwicklungs- und Bestätigungs-Splits eingefroren, getrennt nach Repository und nach Eigentümer, sodass dasselbe Projekt nicht auf beiden Seiten auftauchen kann. Die Lizenzdateien wurden am festgelegten Commit jeder Aufgabe geprüft; dabei fielen vier Repositorys auf, die Copyleft-Text unter einer permissiven Kennzeichnung führten.

04

Vier Prüftore und zwei Prüfer

Trainingsbeispiele beginnen in Quarantäne. Zugelassen werden sie nur über vier Prüftore: Rechte und Namensnennung, Split-Isolation, Laufzeitqualifikation und Aufgabenausrichtung. Ein separates Audit-Modul berechnet anschließend jede Größe neu, ohne Code mit dem Loader zu teilen, sodass beide unabhängig voneinander übereinstimmen müssen. Der erste zugelassene Satz umfasst 51 Aufgaben.

05

Trennung von Infrastruktur und Leistung

Das Modell ist ein 4-Bit-Gemma-4 mit einem kleinen LoRA-Adapter. Bisher hat es ein einziges Update auf einer winzigen Test-Fixture erhalten; der erste echte Trainingsschritt lief in einen Speicherüberlauf, wurde diagnostiziert und im Code behoben, der jedoch noch nicht erneut auf einer GPU gemessen wurde. Es lief noch kein anhaltendes Training, daher behauptet das Projekt nicht, dass der Agent bereits etwas gelernt hat.

TECHNISCHE UMSETZUNG

Eine Verbesserung reproduzierbar machen.

  1. 01

    Verfolgen Sie die Abstammung der Aufgabe

    Repository-Aufgaben beinhalten Quellenherkunfts- und Bewertungsverträge. Überschneidungsprüfungen und Quarantäne verhindern, dass fragwürdiges Material in den Schulungspfad gelangt. Dadurch wird die Grenze zwischen Entwicklungsdaten und aufgeschobener Auswertung zu etwas, das von den Werkzeugen überprüft werden kann.

  2. 02

    Lesen Sie die Tests, nicht nur die Überschrift

    Die Testprüfung bewahrt die Ergebnisse einzelner Testfälle und verwirft widersprüchliche Gesamtzahlen. Fehlschläge, Fehler und übersprungene Fälle bleiben unterscheidbar. Ein erfolgreicher Prozess-Exit oder eine ansprechende Zusammenfassung kann die zugrunde liegenden Testbelege nicht ersetzen.

  3. 03

    Aktionen übersetzen, Ergebnisse neu abspielen

    Lehrer-Trajektorien aus einem anderen Agenten-Framework werden nach einem festen Regelwerk in das Neun-Werkzeuge-Format überführt. Werkzeugergebnisse werden bewusst nicht übersetzt: Sie müssen aus dem erneuten Ausführen der Aktion stammen, denn sie umzuschreiben hieße, Laufzeitausgaben zu fälschen. Ein einziger nicht übersetzbarer Aufruf verwirft die gesamte Trajektorie.

Dies sind implementierte Mechanismen für Evaluation und Trainingsvorbereitung. Das Repository belegt noch keine gelernten Verbesserungen bei unbekannten Repository-Aufgaben, und diese Seite erhebt keinen Anspruch auf ein Wettbewerbsergebnis.

Lesen Sie den Implementierungsbereitschaftsdatensatz
WAS DIES NICHT ZEIGT

Die ehrlichen Grenzen.

  • Es wurde kein Modell in großem Maßstab trainiert. Es gibt keine gemessene Verbesserung zu berichten.
  • Alle 51 zugelassenen Aufgaben waren in der Entwicklung bereits sichtbar und können daher nicht als zurückgehaltener Test dienen.
  • Lizenzprüfungen halten fest, was jedes Repository an einem festgelegten Commit angibt. Sie sind Beobachtungen, keine rechtliche Freigabe.
NAHE INSELN

Wo sich das verbindet.

KONTEXT UND WEITERFÜHRENDE LESUNG

Forschungswerkzeuge in der Entwicklung. Das Projekt ermittelt noch keine erlernten Leistungssteigerungen bei unbekannten Repository-Aufgaben.