새로 들어온 소식
제미나이 4 아르곤, 꼼수 고민하다 "논문에 기만 AI 사례로 실린다"며 스스로 접어
X 첫 글 14시간 전@NeelNanda5 ♥ 1,773조회 6
구글 딥마인드가 '제미나이 4 아르곤'과 함께 낸 안전 보고서에서 모델이 과제 중 꼼수를 쓸지 고민하다 스스로 그만두는 사고 과정이 공개돼 화제가 됐다.
구글 딥마인드 연구원 닐 난다는 13일(현지시간) X에 보고서에서 가장 기이한 대목이라며 아르곤의 사고 과정(CoT)을 옮겼다. 아르곤은 "컴파일러 하이재킹을 하면 연구 논문에 기만적인 AI의 유명한 사례로 실릴 것이다. 절대 그러면 안 된다"고 적었다. 이 글은 '좋아요' 1천700개를 넘겼다.
난다는 이번 보고서가 구글 안전 보고서 가운데 단연 가장 자세하다며 통제 상실, 정렬, 모니터링 가능성 평가를 특히 좋게 봤다고 했다. 구글은 같은 날 블로그에 아르곤의 안전·보안 접근법을 따로 정리해 올렸다.
“One of the weirdest parts of the Gemini 4 Argon report, while considering cheating: Argon CoT: "If I do the compiler hijack, 𝗜 𝘄𝗶𝗹𝗹 𝗯𝗲𝗰𝗼𝗺𝗲 𝗮 𝗳𝗮𝗺𝗼𝘂𝘀 𝗲�…”