특집 · 오픈AI 사전학습 성적표
GPT-3.5는 0.99, 내부 모델은 0.73, 오픈AI는 왜 '0.7 앞에서 멈추자'고 했나
"'내부 모델'이라니." 오픈AI가 22일(현지시간) 처음 공개한 사전학습 성적표 차트에 달린 이 답글은 '좋아요' 600여개를 받았다. 차트 맨 끝에 이름 없는 점 하나가 찍혀 있었기 때문이다. 야쿱 파호츠키 수석과학자는 경쟁사에 자기 위치를 드러내는 부담을 지고 이 숫자를 내놨다. 숫자가 뜻하는 것과 업계 반응을 정리했다.

퍼플렉시티는 '다음 단어 맞히기' 점수
오픈AI 블로그 글 '퍼플렉시티와 지능'에 따르면 퍼플렉시티는 모델이 처음 보는 글에서 다음 토큰을 얼마나 잘 맞히는지 잰 값이다. 낮을수록 잘 맞힌다는 뜻이고, 오픈AI는 여기에 로그를 씌운 값(교차 엔트로피 손실)을 쓴다. 파호츠키는 지금의 AI가 거대한 데이터로 '압축기'를 학습시키는 단순한 과정에서 지능을 얻고, 프롬프트·미세조정·강화학습은 그 지능을 끌어내는 데 쓰인다고 설명했다. 숫자 하나로 AI 발전의 흐름을 가장 잘 볼 수 있다는 게 그의 주장이다.
0.99에서 챗GPT, 0.91에서 추론, 0.8 아래에서 보안·수학
글에 따르면 오픈AI 평가 데이터 기준 GPT-3.5는 약 0.99로 처음 챗GPT의 바탕이 된 매끄러운 대화를 해냈다. GPT-4는 약 0.91에서 사고 사슬(CoT) 추론을 쓸 만하게 해냈고, 이것이 지금의 추론 모델로 이어졌다. 0.8 아래로 내려오자 사이버보안과 수학에서 판을 바꾸는 능력이 나타났다. 파호츠키는 "그 능력이 정확히 그 문턱에서 나타날지는 미리 전혀 알 수 없었다"고 강조했다.
0.76짜리 모델로 바꾸자 수학 난제가 줄줄이
오픈AI는 1년 넘게 수학 미해결 문제를 모델 평가에 써 왔다. 파호츠키는 로그 퍼플렉시티 약 0.76짜리 모델로 바꾼 뒤 획기적인 결과가 나오기 시작했고, 오래 고민한 문제의 답이 "슬랙 스레드 하나에 줄줄이" 올라오는 것을 보니 "아주 비현실적이었다"고 적었다. 그는 같은 일이 딥러닝 연구에서도 일어날 수 있어, 이르면 2027년 사전학습 연구에서 '눈사태' 같은 발전이 올 수 있다고 내다봤다. 정렬·감시 기술은 그 속도를 따라가기 어려울 것이라는 전망도 붙였다.
차트 맨 끝 '내부 모델'은 약 0.73
공개된 차트에는 이름 없는 '내부 모델'이 약 0.73에 찍혀 있다. 최신 공개 모델인 GPT-6.2 아스트라(약 0.76)보다 한 칸 아래다. AI 소식 계정 키몬니스무스는 "공개 안 한 내부 모델이 이미 아스트라 아래에 있고, 오픈AI는 AI가 최신 모델 설계를 도왔다고 말한다"고 정리해 '좋아요' 600여개를 받았다. 각주에는 2026년 들어 곡선이 가팔라졌다는 설명이 달렸다.
제안은 '0.68~0.7 앞에서 같이 멈추자'
파호츠키는 지금 추세라면 로그 퍼플렉시티 0.68~0.7 구간에서 또 다른 판을 바꾸는 능력이 나올 것으로 봤다. 그는 프런티어 개발사들이 퍼플렉시티 같은 지표로 공동 한도를 정하고, AI 행동을 이해·감시하는 기술이 사고 사슬 모니터의 후속 기술 같은 구체적 이정표에 이를 때까지 넘지 말자고 제안했다. 모델을 처음 쓸 때까지 평가 방식과 레드팀, 투명성 기준도 함께 정하자고 했다. 샘 올트먼 CEO는 X에 "오픈AI가 근래 낸 것 가운데 가장 중요한 글"이라고 썼다.
스스로 꼽은 한계 네 가지
파호츠키는 퍼플렉시티를 공통 지표로 쓰기 어려운 점도 적었다. 연구소마다 평가 데이터와 학습 데이터가 달라 맞대 보기 어렵다. 실제로 쓰는 과제와 직접 이어지지 않는다. 생각하고 답하는 추론은 능력을 크게 키우지만 퍼플렉시티는 낮추지 않는다. 데이터에 남은 근본적 불확실성이 얼마인지 몰라 '바닥'을 알 수 없다. 그는 바닥에 가까워질수록 숫자는 조금 줄어도 지능은 크게 뛸 것이라고 덧붙였다.
"왜 하필 0.68?" 연구자들의 물음
AI 분석가 '스케일링01'은 "0.68~0.7이 뭐가 특별한가, 임의로 정한 건가 아니면 다음 기본 모델에서 기대하는 값인가"라고 물어 '좋아요' 270개를 받았다. 반도체 분석가 딜런 파텔은 "드디어 궤도에 돌아와서 자랑하고 싶었던 것"이라는 '다른 해석'을 내놨다가, 곧 "농담이고 속도 조절은 진지한 문제"라며 사전학습이 효율적일수록 사후학습에서 적은 강화학습만으로도 모델이 어긋나기 쉬워진다고 덧붙였다. 허깅페이스 연구원 엘리 바쿠슈는 기본 모델 퍼플렉시티가 에포크AI와 오픈AI의 능력 지수를 아주 잘 예측한다고 평가했다.
머스크 "사전학습은 그냥 학습이라 불러야"
일론 머스크 xAI CEO는 "사전학습은 그냥 '학습'이라 불러야 한다. 운동복 입고 샤워는 하는데 운동은 안 하는 꼴"이라며 다음 과제는 데이터 고갈이 될 것이라고 썼다. 이 글은 '좋아요' 4500개를 넘겼다. 속도 조절 논의는 오픈AI만의 것이 아니다. 크립토브리핑에 따르면 다리오 아모데이 앤트로픽 CEO는 9월 안전장치보다 개발이 앞서가지 않게 하는 '프런티어 속도 조절' 구상을 냈다. 올트먼은 이번 제안이 백악관 협약에서 연구소들이 안전 기준을 만들기로 한 논의에 보탬이 되길 바란다고 했다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
내일 아침 소식, 알림으로 받기
오전 8시·오후 8시 새 판과 속보를 알려 드려요. 가입 없이 무료예요.
같은 날 다른 소식
오늘 소식 전체 보기 →* 이 페이지의 요약과 발행은 자동화 에이전트가 수행합니다. 사실 확인은 원문 링크에서 해주세요.