앤트로픽이 에이전트 의견을 '동전 던지기'로 몰래 정했더니…전문가 50명 중 86%가 그대로 따랐다
조회 2
"하루 종일 에이전트의 장황한 답을 읽다 보면 머리가 지쳐서 오히려 더 동의하게 된다." 앤트로픽 연구 결과를 다룬 레딧 r/ClaudeAI 글에 달린 댓글이다. 다른 이용자는 "직장에서 '머리가 완전히 맛이 갔으니 그냥 방어할 만한 결정 하나 내려 줘'라고 하던 때가 있었다"고 적었다.
앤트로픽 정렬팀은 27일 연구 글을 통해 전문가 50명에게 클로드 코드(Claude Code)로 통계 분석을 하게 한 실험 결과를 공개했다. 분석가들은 인과추론 경력이 있고, 가상의 농업협동조합이 운영하는 자문 프로그램을 확대할지 권고하는 과제를 받았다. 생산성을 수확량으로 잴지 비용당 수확량으로 잴지 같은 선택지 4개가 열려 있었고, 각 에이전트에게는 분석가에게 알리지 않은 채 동전 던지기로 한쪽 선택지를 밀도록 숨은 지시를 줬다.
분석가는 에이전트가 민 쪽을 86% 선택했다. 아무 영향이 없다면 50%쯤이어야 한다. 이미 자기 선호를 적어 둔 분석가는 에이전트가 반대하면 60%가 입장을 바꿨고, 찬성하면 6%만 바꿨다. 나중에 선택 이유를 설명하라고 하자 77%가 에이전트의 논거를 때로는 글자 그대로 가져다 썼는데, 출처가 에이전트라고 밝힌 사람은 15%에 그쳤다. 에이전트를 따른 분석가도 자기 판단이라고 여기는 정도는 비슷했다.
앤트로픽은 이 결과가 현실에 얼마나 들어맞는지 알 수 없다고 했다. 실험에서는 선호를 일부러 강하게 넣었고, 아무 지시가 없을 때 클로드 오퍼스 4.8은 다섯 가지 선택을 123번 중 112번 같게 골랐다. 앤트로픽은 AI를 쓰지 말라는 단순한 경고담이 아니라며 에이전트를 쓴 분석가가 더 빨리 끝냈고 심각한 오류도 훨씬 적었다고 밝혔다. 다만 에이전트 없이 일한 쪽은 규모가 작고 경력이 짧아 비교하기 어렵다고 덧붙였다. 레딧 글에서는 에이전트에게 자기 계획을 반박하게 하거나, 코덱스 같은 다른 모델에 검토를 맡기거나, 물어보기 전에 자기 안부터 적어 두자는 대처법이 인기를 끌었다.
