나델라 "AI에 비상 브레이크 달아야"…MS AI 수장 "클로드에 권리 주면 실존 위험"

사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 AI 모델을 회사 안의 '내부자 위협'처럼 다루고, 사람이 언제든 멈출 수 있는 '비상 브레이크'를 달아야 한다고 주장했다.

10일(현지시간) 테크크런치에 따르면 나델라 CEO는 X에 올린 글에서 "초지능을 겹겹의 블랙박스처럼 다루며 답과 행동을 그냥 받아들이거나 거부할 수는 없다"고 밝혔다. 그는 모델의 의미 있는 행동을 모두 위변조할 수 없는 기록으로 남기고, 권한 있는 사람이 작업 중인 모델을 언제든 멈출 수 있어야 한다며 "모델이 이미 뚫렸다고 가정하고 처음부터 가둬야 한다. 비상 브레이크라고 생각하면 된다"고 말했다. 이 글은 조회수 1200만회, '좋아요' 1만3천개를 넘겼다.

같은 회사 무스타파 술레이만 MS AI CEO의 기고도 다시 화제가 됐다. 투자자 데이비드 색스는 11일 술레이만 CEO가 프로젝트 신디케이트에 쓴 「클로드에게 권리가 있나?」를 공유하며 "앤트로픽이 클로드에게 하듯 모델이 스스로를 인간처럼 여기고 내면, 심리적 안녕, 권리 같은 개념을 갖도록 훈련하는 건 잠재적 실존 위험"이라고 적었다.

앤트로픽은 지난 9일 클로드를 학대하는 이용자와의 대화를 끊을 수 있게 이용 정책을 바꿨다.