에이전트 1,393개에 2만 달러를 태워 코드 34% 줄였지만, 테스트가 못 잡은 회귀가 나왔다

Threads 첫 글 5일 전

에이전트 1,393개를 19시간 돌려 파이썬 코드베이스를 34.4% 줄이고 약 2만 달러를 쓴 실험 결과가 공유됐다. 에이전트가 심볼 하나를 찾을 때 읽는 평균 토큰도 절반 넘게 줄었다. 다만 리뷰 과정에서 기존 테스트가 놓친 실제 회귀가 발견됐고, 공개 이름 일부가 사라졌으며 예외 처리 약 65곳이 바뀌어 되돌려야 했다. OpenAI Codex 개발자 쪽에서는 에이전트를 두 개 넘게 붙이면 대부분 품질은 그대로고 토큰만 샌다는 경고가 나왔다.