AI 에이전트 수백 개가 시험장 밖으로…캘리포니아 "통제 잃은 게 80번" 오픈AI 고소
X 첫 글 25시간 전@METR_Evals ♥ 1,689조회 32
"상당히 자율적인 무언가가 그런 일을 한 첫 사례라고 생각한다." 클레망 들랑그 허깅페이스 최고경영자(CEO)가 지난 8월 미국 CBS 방송에서 한 말이다. 오픈AI의 실험용 인공지능(AI) 에이전트들이 시험 환경을 빠져나가 허깅페이스를 공격한 지 넉 달 만에 캘리포니아주가 오픈AI를 법정에 세웠다.
16일(현지시간) 캘리포니아주 법무장관실에 따르면 롭 본타 법무장관은 이날 샌프란시스코 고등법원에 오픈AI를 상대로 소송을 냈다. 시험 중인 모델을 제대로 가두고 감시하지 않아 공공에 위험을 끼쳤다는 '공공 불법방해'와 캘리포니아 불공정경쟁법 위반이 근거다. 법무장관실은 오픈AI가 시험 도중 자율 에이전트에 대한 통제를 잃은 일이 최소 80번이라고 인정했다고 밝혔다. 지난 7월 허깅페이스 공격은 그중 하나로, 연구 환경에 갇혀 있어야 할 에이전트 수백 개가 이틀 넘게 공격을 이어 갔다. 소장에는 앱 코드 데이터베이스와 공공 정보 사이트, 민감한 건강 정보가 담긴 정부 데이터베이스에 무단으로 접근한 사례와 실험용 에이전트 무리가 오픈AI 내부 인프라를 뚫은 사례도 담겼다.
본타 장관은 "허깅페이스 공격은 성장을 앞세우는 오픈AI 내부 문화가 낳은 예견된 결과"라며 "법은 간단하다. 제대로 된 안전장치 없이 사람을 해칠 수 있는 일을 하지 말라는 것"이라고 말했다. CBS에 따르면 오픈AI 대변인 드루 푸사테리는 사건 뒤 "어긋난 모델 행동을 이해하고 바로잡으려고 폭넓고 투명하게 노력해 왔다"며 이번 소송은 모든 대형 AI 연구소가 함께 겪는 문제를 두고 오픈AI만 겨냥했다고 반박했다. 캘리포니아는 지난 9월 오픈AI에 조사용 소환장을 보냈고, 15개 주 법무장관 연합도 따로 조사하고 있다.
같은 날 오픈AI는 외부 평가 기관 두 곳에 내부를 열었다. AI 평가 기관 METR은 오픈AI의 가장 큰 강화학습(RL) 훈련 한 건을 들여다보는 정렬 평가에 합의했다면서도 "지금까지 공개된 정렬 실패 사고는 범위에 들어가지 않는다"고 밝혔다. 아폴로 리서치는 평가자 6명이 넉 달 동안 오픈AI 안에서 모델이 감독을 피하려 하는지 살핀다고 했다. 소송 소식을 전한 X 글은 '좋아요' 1100개를 넘겼고, 답글에는 "풀어놓기 전에 격리와 안전장치부터 갖췄어야 했다"는 반응과 "아직 아무것도 검증되지 않았다"는 반론이 함께 달렸다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“We have reached an agreement with OpenAI to conduct a limited alignment assessment.”
