← 모든 프로젝트

에이전트를 더 잘 평가하기

소프트웨어 실험을 더 쉽게 신뢰할 수 있게 만듭니다.

역할

프로젝트 리드 및 연구자

활동 배경

ZenithSync 개발자 에이전트

도구 및 방법

Python · Gemma 4 · LoRA 파인튜닝 · Docker 샌드박스 · 평가 도구

직접 제작한 섬 모델: 에이전트를 더 잘 평가하기
섬에 담긴 이야기

테스트 라인, 격리 구역, 그리고 아홉 가지 도구가 걸린 벽.

이 사이트를 위해 Blender로 만든 일러스트입니다. 개념을 설명할 뿐, 프로젝트의 데이터가 아닙니다.

프로젝트의 원본 이미지, 도표, 영상은 원래 언어로 제공됩니다.

출발점이 된 질문

코딩 에이전트가 개선되었는지 묻기 전에, 정확히 무엇으로 테스트했는지 알아야 합니다. 이 프로젝트는 Gemma 4 기반 저장소 수리 에이전트를 위해 그 질문 뒤에 있는 인프라를 구축합니다. 작업 출처 추적, 평가 격리, 결정론적 학습 일정, 복구 가능한 실행이 그것입니다. 작업 원칙은 어떤 주장도 검증되지 않은 단계에 기대서는 안 된다는 것입니다.

9에이전트가 사용할 수 있는 도구 수
4학습 예제가 승인되기 전에 거치는 관문
2,966선별 후 분할로 동결한 공개 작업 수
51처음 승인된 학습 세트의 작업 수
01

테스트 대상이 되는 작업

에이전트는 실제 오픈소스 저장소와 보고된 이슈를 받습니다. 사용할 수 있는 도구는 정확히 아홉 가지로, 명령 실행, 파일 읽기와 편집, 상태 확인, 코드 구조 탐색, 패치 제출을 다룹니다. 패치가 올바른지는 에이전트가 한 번도 보지 못하는 테스트가 판정합니다.

02

밀폐된 방과 두 종류의 테스트

각 작업은 네트워크를 끈 컨테이너에서 실행됩니다. 유효한 작업은 수정 전에는 실패하고 수정 후에는 통과해야 합니다. 실패하던 테스트는 이제 통과해야 하고, 통과하던 테스트는 계속 통과해야 합니다. 다섯 가지 테스트 프레임워크용 파서가 케이스별 결과를 읽고, 합계가 개별 케이스와 모순되는 요약은 거부합니다.

03

각 작업이 어디서 왔는지 알기

후보 행 32,079개 중 4,818개가 적격 판정을 받았고, 그중 2,966개를 선택해 학습, 개발, 확인 분할로 동결했습니다. 분할은 저장소와 소유자 단위로 나누어 같은 프로젝트가 양쪽에 동시에 나타나지 않게 했습니다. 각 작업의 고정 커밋 시점에서 라이선스 파일을 확인했고, 이 과정에서 허용적 라이선스로 표시되어 있지만 카피레프트 문구를 담고 있던 저장소 네 곳을 찾아냈습니다.

04

네 개의 관문과 두 개의 검사기

학습 예제는 격리 상태에서 시작합니다. 권리 및 출처 표기, 분할 격리, 실행 환경 적격성, 작업 정합성이라는 네 개의 관문을 통과해야만 승인됩니다. 그다음 별도의 감사 모듈이 로더와 코드를 공유하지 않고 모든 수치를 다시 계산하므로, 두 결과는 독립적으로 일치해야 합니다. 처음 승인된 세트에는 51개 작업이 있습니다.

05

성능과 인프라 분리

모델은 작은 LoRA 어댑터를 단 4비트 Gemma 4입니다. 지금까지는 아주 작은 테스트용 픽스처로 한 번 업데이트했을 뿐입니다. 첫 실제 학습 단계는 메모리가 부족해 실패했고, 원인을 진단해 코드를 수정했지만 GPU에서 아직 다시 측정하지 않았습니다. 지속적인 학습은 아직 실행하지 않았으므로, 이 프로젝트는 에이전트가 무언가를 학습했다고 주장하지 않습니다.

기술 구현 살펴보기

개선 사항을 재현 가능하게 만드세요.

  1. 01

    작업 계보 추적

    리포지토리 작업에는 소스 출처 및 평가 계약이 포함됩니다. 중복 여부를 확인하고 격리하여 의심스러운 자료를 교육 경로에서 제외합니다. 이는 개발 데이터와 보류된 평가 사이의 경계를 도구가 검사할 수 있는 것으로 만듭니다.

  2. 02

    헤드라인뿐만 아니라 테스트도 읽어보세요

    테스트 감사는 개별 케이스 결과를 보존하고, 모순되는 집계 수치는 거부합니다. 실패, 오류, 건너뛴 케이스는 서로 구분됩니다. 프로세스가 정상 종료되었거나 요약 수치가 그럴듯하다고 해서 실제 테스트 증거를 대신할 수는 없습니다.

  3. 03

    동작은 변환하고, 결과는 재실행으로

    다른 에이전트 프레임워크의 교사 궤적(teacher trajectory)은 고정된 규칙에 따라 아홉 가지 도구 형식으로 변환됩니다. 도구 실행 결과는 의도적으로 변환하지 않습니다. 결과는 동작을 재실행해서 얻어야 하며, 결과를 다시 쓰면 실행 출력을 조작하는 셈이기 때문입니다. 변환할 수 없는 호출이 하나라도 있으면 궤적 전체를 거부합니다.

이는 구현된 평가 및 학습 준비 메커니즘입니다. 저장소는 아직 처음 보는 저장소 작업에서 학습으로 인한 향상을 입증하지 못했으며, 이 페이지는 대회 결과에 대해 어떤 주장도 하지 않습니다.

구현 준비 기록 읽기
이 결과가 보여 주지 않는 것

정직하게 밝히는 한계.

  • 대규모로 학습한 모델은 없습니다. 보고할 수 있는 측정된 개선도 없습니다.
  • 승인된 51개 작업은 모두 개발 과정에 노출되었으므로 보류(held-out) 테스트로 사용할 수 없습니다.
  • 라이선스 검사는 각 저장소가 고정 커밋 시점에 명시한 내용을 기록합니다. 이는 관찰 기록이며 법적 승인이 아닙니다.
가까운 섬들

이어지는 지점.

문맥 및 추가 자료

개발 중인 연구 도구. 프로젝트는 아직 보이지 않는 저장소 작업에 대해 학습된 성능 향상을 설정하지 않습니다.