MirrorCode 벤치마크: AI가 1만6천 줄 코드베이스를 14시간에 재구현한 이유

핵심 요약

Epoch AI와 METR이 2026년 6월 26일 공개한 MirrorCode는 AI 모델이 원본 소스 코드·인터넷 접근 없이 실행 파일과 테스트만으로 실제 프로그램을 처음부터 재구현하는 장기( long-horizon ) 코딩 벤치마크다(〈TechTimes〉 2026-06-27). Claude Opus 4.7은 25개 대상 중 56%를 해결했고, 16,905줄짜리 bioinformatics 툴킷 gotree는 14시간·약 251달러로 재구현했다(〈The Decoder〉 2026-06-26). 반면 61,000줄 Pkl 인터프리터 등 최대 규모 과제는 아직 미해결이다. 개발자에게는 "코파일럿 수준의 자동완성"을 넘어 며칠~몇 주 단위 프로젝트를 어디까지 맡길 수 있는지 가늠하는 기준이 될 수 있다.

무슨 일이 있었나

MirrorCode는 25개의 실제 CLI 프로그램을 대상으로, 모델에게 컴파일된 바이너리 실행, 자연어 문서, 입·출력 테스트만 제공한다. 해답은 보이는 테스트와 숨겨진 테스트 모두에서 바이트 단위 일치를 요구해 암기·룩업 테이블 우회를 막는다(〈TechTimes〉 2026-06-27).

리더보드( epoch.ai/MirrorCode ) 기준 주요 성적은 다음과 같다(〈The Decoder〉 2026-06-26):

• Claude Opus 4.7: 56% solve rate
• GPT-5.5: 44%
• Gemini 3.1 Pro Preview: 32%

gotree(Go, 40+ 서브커맨드)는 2,001개 테스트 중 99.95% 통과. 연구진은 숙련 엔지니어가 2~17주 걸릴 작업으로 추정했다. 반면 가장 큰 과제 중 하나는 19일 연속·약 2,600달러 추론 비용이 든 사례도 보고됐다(〈The Decoder〉 2026-06-26).

벤치마크는 Unix 유틸리티, bioinformatics, 암호, 인터프리터 등 6개 언어로 구현 가능하며, 22개 프로그램은 오픈소스로 공개됐다.

실무에서 읽는 방법

기존 SWE-Bench가 패치·버그 수정 중심이라면, MirrorCode는 그린필드 재구현에 가깝다. 즉 "레거시 코드 이해"가 아니라 관찰·가설·반복 테스트 능력을 측정한다. 팀 입장에서 유용한 해석은 세 가지다.

1. 작은~중형 CLI·내부 툴은 이미 자율 에이전트 실험 대상이 될 수 있다.

2. 대형 인터프리터급 과제는 아직 비용·시간·성공률 모두 불확실하다.

3. 벤치마크 비용이 과제마다 수백~수천 달러까지 갈 수 있어, CI/CD에 무작정 붙이기보다 스코프 제한이 필요하다.

체크포인트와 리스크

• 체크포인트
• epoch.ai/MirrorCode 리더보드 업데이트(신규 모델 제출)
• 숨겨진 3개 private 테스트셋 유지 여부
• 토큰 예산(최대 10억) 대비 실제 사용량·비용 추이

• 리스크·한계
• 바이트 일치 테스트는 실무 UX·유지보수성을 평가하지 않음
• 바이너리 관찰만으로는 보안·라이선스 이슈 검증 불가
• 고비용 장기 실행은 프로덕션 자동화에 바로 적용하기 어렵다

마무리

MirrorCode는 "AI가 코딩을 대체한다"는 선언보다, '며칠 단위 작업'의 재현 가능한 측정치를 처음 제시했다는 점에서 의미가 크다. 개발팀은 당장 전체 서비스를 맡기기보다, 테스트가 풍부한 CLI·배치·데이터 파이프라인부터 파일럿하는 전략이 현실적이다. 동시에 2,600달러짜리 19일 실행처럼 비용 상한·중단 조건을 코드 리뷰와 같이 설계해야 한다.

참고 자료

• AI Solves 56% of Weeks-Long Coding Projects in New Benchmark: MirrorCode - TechTimes (2026-06-27)
• An AI model programmed nonstop for 19 days on a single MirrorCode task - The Decoder (2026-06-26)
• MirrorCode: AI Reimplements a 16k-Line Codebase - AI/TLDR (2026-06-26)