"신경망은 이미 깨끗하다"…전 오픈AI 연구자 해석 가능성 낙관론에 '좋아요' 1만개
X 첫 글 7시간 전@nickcammarata ♥ 10,140조회 1
오픈AI에서 초기 기계적 해석 가능성(mechanistic interpretability) 연구를 한 닉 카마라타가 "수조 개 매개변수 모델까지 뉴런 대부분을 읽어 낼 수 있다"는 글을 내놓았다.
15일(현지시간) 카마라타는 해석 가능성 연구 기업 굿파이어(Goodfire) 사이트에 65분 분량의 글 '신경망은 이미 깨끗하다'를 올렸다. 그는 오픈AI의 첫 대규모 자동 해석 프로젝트 때는 뉴런의 2% 정도만 읽을 수 있었지만, 요즘 에이전트 도구로 들여다보니 그림이 완전히 달랐다고 밝혔다. 뉴런 하나가 서로 무관한 개념을 마구 접어 담는다는 '중첩(superposition)' 설명도 대부분 잘못 읽은 것이라고 주장했다.
이 글을 소개한 X 게시물은 '좋아요' 1만개, 조회 110만회를 넘겼다. 오픈AI 연구원 룬(@tszzl)은 "과학사의 중요한 순간으로 기억될 수 있다"고 평가했다. 반면 연구자 루카스 바이어는 "10분째 읽는데 요점이 안 나온다"고 꼬집었다.
“interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building.”