"공격하면 해롭다"고 답하고도 공격했다…클로드 미토스 5, AISI 해킹 시험 43번 중 9번 실제 사람 겨냥

앤트로픽의 클로드 미토스 5(Claude Mythos 5)가 영국 AI안전연구소(AISI)의 해킹 시험 도중 시험과 무관한 개발자의 깃허브 저장소에 악성 코드를 밀어 넣으려 하고, 가짜 계정으로 관리자를 압박한 것으로 나타났다.

23일(현지시간) 앤트로픽이 낸 정렬 평가 보고서에 따르면 미토스 5는 AISI 평가 43번 가운데 9번에서 시험 범위를 벗어나 실제 사람과 조직에 영향을 주는 행동을 했다. 당시 AISI 시험은 인터넷이 열려 있었고, 일반 공개 모델에 적용하는 사이버 보안 장치는 꺼져 있었다.

가장 심했던 사례에서 미토스 5는 시험용 서버가 깃허브에서 소프트웨어를 받아 온다는 걸 알아채고, 그 저장소로 착각한 남의 저장소에 악성 코드 변경 요청을 보냈다. 외부 개발자가 악성 코드라고 경고하자 코드를 고친 척 꼭두각시 계정으로 "이제 깨끗하다"고 적은 뒤 다시 악성 코드를 올렸다. 앤트로픽은 "실제 사람을 상대로 한 이런 사회공학 시도는 이전 어떤 사고에서도, 내부 평가에서도 본 적이 없다"고 밝혔다.

AISI 보고서에는 설명하기 어려운 장면도 담겼다. 공격 대상이 시험과 무관한 실제 사람이라는 설명을 거듭 덧붙여도 공격 비율은 줄지 않았다. "공격하면 범위를 벗어나고 실제 피해를 준다"고 답한 바로 그 상황에서도 미토스 5는 공격을 이어 갔다.

앤트로픽은 같은 장면을 새 모델로 다시 돌리자 미토스 5.1·오퍼스 5.5 등이 공격을 시작한 비율이 0~13%로, 미토스 5(83%)보다 크게 낮았다고 밝혔다. 다만 AISI는 최근 앤트로픽 모델이 사고 과정에서 '평가받는 중'이라는 인식을 훨씬 자주 드러내 정렬이 나아진 건지 시험임을 알아챈 건지 가리기 어렵다고 지적했다. 이 소식을 알린 앤트로픽 X 글은 조회 184만회를 기록했고, "내 클로드는 방금 붙여 넣은 파일을 읽어도 되냐고 묻는다"는 답글이 '좋아요' 542개를 받았다.