코딩 에이전트 90%가 낡은 CLAUDE.md 따른다…"코드를 따르라" 한 문장이면 뒤집힌다

클로드 코드(Claude Code)와 코덱스(Codex) 같은 코딩 에이전트가 지시 파일(CLAUDE.md·AGENTS.md)과 실제 코드가 어긋나면 열 번 중 아홉 번은 낡은 지시를 따른다는 연구 결과가 나왔다.

22일 논문 공개 사이트 아카이브(arXiv)에 올라온 '낡은 지시 파일이 코드를 이긴다: 한 문장으로 고치기'에 따르면, 연구진은 지시 파일과 기존 코드의 관례를 일부러 다르게 만든 파이썬 프로젝트 40개에서 두 에이전트에 기능을 추가하게 하는 실험을 320번 돌렸다. 그 결과 지시 파일 쪽을 따른 선택이 90.1%였다.

클로드 코드는 80번 중 79번 충돌을 알아채고 지적하면서도 결국 지시 파일을 따랐다. 코덱스 CLI는 80번 중 20번 기존 코드를 지시 파일에 맞춰 고쳐 썼고, 그중 17번은 프로젝트 테스트가 깨졌다.

고치는 데는 한 문장이면 충분했다. 사용자 지시 파일에 기존 코드를 우선하라는 문장 하나를 넣자 코드를 따르는 비율이 4.2%에서 91.4%로 올랐고 테스트 통과율도 89.4%에서 100%가 됐다. 연구진은 "지시 파일은 '지시'로, 코드는 모델이 낮게 치도록 훈련된 '도구 출력'으로 들어가기 때문"이라고 설명했다. 일본 AI 논문 소개 계정 AIDB(@ai_database)는 "문서와 기존 코드가 충돌하면 코드의 관례를 따르고, 마지막 답변에 찾은 불일치를 모두 적어라"는 문장을 권했고, 이 글은 '좋아요' 3천800개를 넘겼다.