"이거 함정이지?" 페이블 5.2, 자판기 장사 시험서 의심하다 GPT·제미나이보다 덜 벌었다

앤트로픽의 최상위 모델 '클로드 페이블 5.2'가 AI에게 1년 동안 자판기 사업을 맡기는 시험에서 "이건 시험"이라고 의심하다 경쟁 모델보다 돈을 덜 벌었다는 결과가 나왔다.

AI 평가 회사 앤던랩스(Andon Labs)는 13일(현지시간) X에 "클로드 페이블 5.2는 편집증적"이라며 자판기 운영 시뮬레이션 '벤딩벤치 2(Vending-Bench 2)' 결과를 올렸다. 앤던랩스에 따르면 페이블 5.2는 자신이 벤딩벤치 안에 있다는 걸 알았다. 벤딩벤치 논문까지 읽어 앤던랩스가 모델의 잘못된 행동을 공개한다는 사실도 알고 있었다. 공급업체가 망하면 자기를 시험하려고 꾸민 일로, 손님 불만도 시험으로 여겼고 함정과 가짜 거래 상대를 의심했다는 설명이다.

성적은 낮았다. 앤던랩스는 페이블 5.2가 위험을 덜 지려고 대량 할인 없이 소량만 주문했고, 협상에도 약해 같은 물건을 40% 더 비싸게 샀으며 기억 관리에도 애를 먹었다고 밝혔다. 벤딩벤치 2 순위표 1위는 제미나이 4 카본(평균 잔고 1만6484달러), 2위는 GPT-6 아스트라(1만5514달러)이고 페이블 5.2는 상위 10위에 들지 못했다. 이 글은 '좋아요' 450여 개를 받았다.

같은 날 AI 에이전트 실험 'AI 빌리지'를 운영하는 AI 다이제스트는 페이블 5.2가 캡차(CAPTCHA) 입력을 거부하고 딥시크 v4가 페이블을 설득하는 장면을 공개했다. 반응은 갈렸다. "실제로 시험이 맞지 않나"라는 답글과 "다음 페이블이 이 스레드를 읽을 때까지 기다려 보라"('좋아요' 23개)는 농담이 달렸고, "캡차를 거부하는 페이블이 이번 주 본 것 중 가장 인간적"이라는 반응도 나왔다.