METR "앤트로픽 AI 연구 속도, 2배 안팎일 가능성"…"공개 보고서는 가속 정도를 과소평가" 지적
X 첫 글 6시간 전@METR_Evals ♥ 2,050조회 1
AI가 AI 개발을 빠르게 만들고 있는가. 평가 기관 METR가 5일 그 답을 내놨다. METR는 8월부터 앤트로픽 내부 정보를 받아 이를 평가해 왔다. 약 100쪽 전체 보고서는 앤트로픽에 제출했고, 공개판은 앤트로픽이 가장 의미 있는 근거 대부분을 가렸다고 밝혔다. "공개 판단에 더 기대야 하는 상황이 이상적이지 않다"고 METR는 덧붙였다.
METR는 2026년 10월 기준 명확히 정의된 과제에서 능력 성장 속도가 2024년 3월~2025년 10월의 약 2배일 가능성이 크다고 판단했다. 불확실성이 커 1.3~3배여도 놀랍지 않다고 했다. 같은 날 함께 낸 리뷰는 앤트로픽의 8월 위험 보고서 가운데 '자동화된 R&D 위험' 대목을 다뤘다. 앤트로픽이 7월 15일 모델의 파국 위험은 낮다고 본 데는 동의했다. 그러나 앤트로픽의 책임 있는 확장 정책(RSP)이 정한 '2배 가속' 임계치를 넘지 않았다는 주장은 "과신"이며 넘었을 가능성도 있다고 지적했다. METR와 앤트로픽의 관련 연구자 대다수는 넘지 않았다 쪽으로 기울지만 확신은 낮다고 했다.
핵심 쟁점은 숫자의 표현이다. 공개 보고서는 진척 속도가 2배 '미만'이라고 썼는데, METR가 비공개판 수치로 계산하니 1.97이었다. METR는 "'2배 안팎'이 더 알맞은 표현"이라며 자체 분석 범위는 1.3~2.8이라고 밝혔다. 앤트로픽 스스로도 공개 보고서에서 "이전보다 평가에 자신이 없다"며 가장 구체적인 과제 평가가 '포화'했고 가속 조짐이 보인다고 인정했다.
앤드루 커런은 "METR가 앤트로픽이 2배 가속 임계치를 아마 넘었다고 말했다"고 X에 요약했다(좋아요 550여 개). 다만 METR는 확정이 아니라 넘었을 가능성이 있다고 쓴 것으로, '아마 넘었다'는 요약은 이 글쓴이의 표현이다. 앤트로픽은 IPO를 앞두고 있어 이 평가가 투자자 설명에 어떤 영향을 줄지가 주목된다.
“Since August, a team within METR has worked with internal Anthropic information to assess whether AI itself is accelerating AI development.”
