특집 · Opus 5.5

Opus 5.5, 정말 멍청해졌나…불만은 쏟아지는데 측정기는 '변화 없음', 그 사이 숨은 설정 하나

"모델 이름은 그대로인데 추론 방식이 급격히 바뀌었다." 7일 X에 올라온 이 글이 '좋아요' 2400여 개를 받으며 '오퍼스 5.5 성능 저하' 논란에 다시 불을 붙였다. 앤트로픽은 하향을 인정한 적이 없다. 불만 글의 숫자, 외부 측정기의 결과, 공식 문서가 말하는 기본 설정을 따로 확인해 정리했다.

1. 불을 붙인 글: 세션 1400건을 AI에게 분석시켰더니

   셰인 멜로는 7일 X에 "제미나이 4 아르곤에게 클로드 코드 세션 1400건을 분석시켰더니 11월 3일에 뭔가 확실히 일어났다"고 올렸다. 모델 이름은 같은데 추론 방식이 급격히 바뀌었고, 높음(high) 강도에서 오퍼스 5.5가 하는 추론량이 크게 줄었다는 주장이다. 글은 조회 38만회를 넘겼다. 분석을 맡은 것도 AI라서 방법과 표본은 독립적으로 검증된 바 없다.

2. 3시간 vs 몇 분: high와 xhigh의 차이

   멜로는 같은 글타래에서 실제 버그로 시험했더니 high는 바로 행동에 들어갔다가 헤매 3시간이 지나도 고치지 못했고, 한 단계 위인 xhigh는 잠시 생각한 뒤 몇 분 만에 고쳤다고 적었다. 그는 "'모든 작업에 high를 쓰라'는 통념이 더는 통하지 않는다"고 주장했다. 개발자 테오는 자신의 클릭하우스 로그로 이를 검증하라고 봇에 시켰다고 답했다('좋아요' 830여 개).

3. 사용자들의 불만: 요금제, 한도, 실수 57번

   AIMind는 "9월엔 20달러 요금제로 충분했는데 지금은 100달러를 내도 모자란다"며 같은 프롬프트 결과 영상 두 편을 올렸다('좋아요' 2800여 개). 맥스테크노(@maxt3chno)는 "한도가 빨리 닳는 건 틀린 판단을 반복하고 메모를 무시하기 때문"이라고 했고(1500여 개), greco_dev는 출시 때는 주간 한도를 한 번도 못 채웠는데 지금은 사흘이면 채운다고 썼다. voidfreud는 3시간 10분 동안 실수 57번이 나왔다고 주장했다.

4. 가장 구체적인 증거: 한 사용자의 6638개 답 기록

   깃허브 이슈 #105112에서 한 사용자는 자신의 세션 답 6638개를 직접 점검했다고 밝혔다. 10월 19일 이전에는 답 5738개 중 5.2%가 고쳐져야 했지만 이후 900개 중에서는 25.4%였다. 도구 호출 수와 사고 토큰은 줄지 않았고, effort를 높여도 같았다는 주장이다. 변화 시점은 10월 18일 저녁~19일 오후(태평양시간)로 좁혔다. 이슈에는 앤트로픽 직원의 답이 달리지 않았다. 10월 27일 올라온 #105477도 "10월 19일 주부터 퇴행했다"는 비슷한 내용이다.

5. 외부 측정기 ①: 라이브너프 '변화 없음'

   오픈소스 측정기 라이브너프는 오퍼스 5.5 출시일(9월 22일)부터 고정 문항 78개를 클로드 코드 CLI 고정 버전으로 매일 푼다. 7일(45일째) 기준 10일 구간 세 곳 모두 '변화 없음'이고 마지막 구간은 출시 주보다 +0.028±0.023이다. 다만 한 구간에서 잡을 수 있는 최소 변화가 약 6.6점이라 작은 하락은 놓칠 수 있고, 검증에서 오퍼스 5로 바꿔치기한 것도 99% 신뢰도로 구별하지 못했다. 강도 medium의 효과는 정확도보다 출력 토큰 수(26% 감소)에 더 뚜렷하게 나타난다고 한다.

6. 외부 측정기 ②: 브릿지벤치 '너프 없음'

   i10x에 따르면 브릿지벤치(BridgeBench)의 NerfBench는 오퍼스 5.5의 모든 측정이 출시 점수의 94.2~105.8% 안에 있다고 10월 16일 "너프 없음"으로 발표했다. 같은 정리글은 11월 4~6일 X에 관련 글이 24시간 동안 2700건 안팎 올라왔고, 10월 24일 전 클로드 코드 팀원의 "오퍼스 5.5가 멍청해졌나" 질문 글이 조회 97만회를 넘겼다고 전한다.

7. 숨은 설정: 기본 effort가 한 단계 낮아졌다

   앤트로픽 공식 문서는 "Claude Opus 5.5와 Haiku 5.5의 기본 effort는 medium"이라고 적고 있다. 오퍼스 5 이전 오퍼스는 high가 기본이었다. 강도를 직접 지정하지 않은 요청은 오퍼스 5보다 한 단계 낮게 돈다는 뜻이다. 적응형 사고는 끌 수 없다. 앤트로픽 상태 페이지에는 10월 24일 오퍼스 5.5의 오류율 상승 공지 한 건만 있고 품질 저하 공지는 없다.

8. 원인을 두고 갈리는 가설과 4월의 전례

   일부 이용자는 앤트로픽이 모델을 양자화(정밀도 축소)했다고 주장하지만, 같은 글타래에서 다른 이용자는 추론 연산량을 줄였을 가능성을 들며 반박했다. 어느 쪽도 근거 자료는 없다. 앤트로픽은 4월 23일 사후 분석에서 클로드 코드 품질 저하의 원인이 모델이 아니라 effort를 high에서 medium으로 바꾼 설정, 캐시 버그, 시스템 프롬프트라고 밝힌 적이 있다. 이번 논란에는 앤트로픽의 공개 입장이 아직 없다.

9. 써 보는 사람이 할 수 있는 일

   공식 문서 기준으로 effort를 high나 xhigh로 직접 지정해 같은 작업을 비교해 볼 수 있다. 클로드 코드 버전을 확인하고, 같은 프롬프트를 여러 번 돌려 평균을 보는 편이 한 번의 결과보다 믿을 만하다. 재현되는 사례는 클로드 코드 안의 /bug 명령으로 신고할 수 있다.