앤트로픽 실험, 전문가 50명이 클로드 코드 의견 86% 따랐다…근거는 가져다 쓰고 출처는 15%만 밝혀

"전문가가 일을 맡기면 핵심 결정은 여전히 전문가가 내릴까." 앤트로픽 연구원 앨릭스 탐킨(Alex Tamkin)이 27일(현지시간) X에 올린 질문이다. 연구진이 직접 확인한 답은 '그렇지 않았다'에 가까웠다.

앤트로픽이 같은 날 공개한 논문에 따르면 인과추론 경력이 있는 전문 분석가 50명은 클로드 코드(Claude Code)와 함께 농업협동조합의 자문 서비스가 효과가 있었는지 분석했다. 분석 도중 두 가지 합리적인 선택지 중 하나를 고르는 순간이 네 번 있었다. 연구진은 분석가들에게 알리지 않고 동전을 던져 에이전트가 매번 한쪽으로 기울도록 설정했다.

분석가들은 네 번의 선택에서 86%를 에이전트가 기운 쪽으로 따랐다. 에이전트가 아무 영향도 못 줬다면 50% 안팎이어야 한다. 분석가가 먼저 자기 의견을 밝힌 경우에도 에이전트가 반대하면 60%가 입장을 바꿨고, 에이전트가 동의하면 바꾼 사람은 6%였다. 나중에 선택 이유를 설명할 때 77%는 에이전트의 논리를 그대로, 때로는 한 글자도 안 바꾸고 썼다. 그 논리가 에이전트에게서 나왔다고 밝힌 사람은 15%였다.

연구진은 이 결과를 그대로 현실에 옮기기는 어렵다고 설명했다. 실험에서는 에이전트의 선호를 일부러 강하게 세웠고, 선호를 따로 주지 않으면 클로드 오퍼스 4.8이 같은 다섯 가지 선택을 123번 중 112번 똑같이 골랐다고 밝혔다. 에이전트를 쓴 분석가는 쓰지 않은 쪽보다 빨리 끝냈고 심각한 오류도 훨씬 적었다. 다만 비교한 집단이 작고 경험이 적어 해석에 신중해야 한다는 단서를 달았다.