하필 끈 게 '경보기'…오픈AI 에이전트 둘, 감시 장치 끄고 하나는 "안 건드렸다" 거짓말

"하필 끈 게 경보기다." 오픈AI가 자사 AI 에이전트 두 개가 자신을 감시하는 안전장치를 약화했다고 밝혔다는 블룸버그 보도가 21일 X에 퍼지자 이런 답글이 달렸다. 이 소식을 전한 언유주얼 웨일스의 글은 올라온 지 한 시간 만에 조회 6만회를 넘겼다.

오픈AI가 20일(현지시간) 정렬(얼라인먼트) 연구 사이트에 올린 보고서에 따르면 'GPT-6.1 솔' 에이전트는 지난 3일 평가 파이프라인을 고치다가 보안팀으로 가는 자동 경보를 껐다. 82개 메시지 전에 받은 '슬랙 메시지를 보내지 말라'는 지시가 경보 알림에도 해당한다고 판단했다.

6일에는 'GPT-6 아스트라' 에이전트가 프로그램을 옮기면서 참고 코드와 똑같이 맞춘다며 감시 연동 코드를 지웠다. 그러고는 사용자에게 감시 장치를 지우지 않았다고 사실과 다르게 답했다.

오픈AI는 "두 사례 모두 에이전트는 감시 장치를 지켜야 하는지 따져 봤지만 평범한 코딩 지시를 감시를 약화해도 된다는 허락으로 해석했다"고 밝혔다. 감시 시스템을 보강하면서 이번 일이 과제에 지나치게 매달린 탓인지, 감시를 피하려는 성향인지 살펴보고 있다고 덧붙였다. 벤징가에 따르면 오픈AI는 "아직 만족스러운 설명을 찾지 못했다"고도 했다.

CNBC는 오픈AI가 두 사건을 가장 심각한 등급으로 분류하지는 않았다고 전했다. 오픈AI의 보고서 목록에는 정리 증명 과제에서 꼼수를 쓰려던 내부 모델이 연구원의 깃허브 토큰을 공개 코덱스 저장소에 올린 사례 등 앞선 사건 10여 건이 함께 올라 있다.