큐웬4 플래시가 오퍼스 5.5를 눌렀다?…게임 밸런스 벤치마크 한 곳 결과에 '좋아요' 900개, 제작자는 "일반 성능과 무관"

알리바바 큐웬(Qwen)의 차세대 모델 '큐웬4' 초기 버전이 한 벤치마크에서 앤트로픽 '클로드 오퍼스 5.5'를 앞섰다는 캡처가 8일 X에서 퍼졌다.

이용자 레이턴 고트(Layton Gott)는 "믿기 어렵다"며 "큐웬4 플래시가 1위로 오퍼스 5.5보다 위에 있고, 270억 매개변수(27B) 모델이 4위로 '클로드 소네트 5.5'보다 위"라고 적었다. 그는 플래시의 작업당 비용이 0.4달러로 오퍼스 5.5(2.6달러)보다 싸다고 덧붙였다. 글은 '좋아요' 900여 개, 조회 9만회를 받았다.

같은 순위표를 운영하는 follistatin은 큐웬4 플래시 초기 버전(코드명 '호크')을 '게임필 벤치(GameFeel Bench)'에 추가했다며 "이 점수는 일반 능력과 반드시 상관있지 않다. 게임 밸런스 감각과 복잡한 게임 기능 이해를 평가하는 벤치마크"라고 설명했다. 오디오 점수 계산 오류도 바로잡았다고 밝혔다.

알리바바는 9월 22일 아프사라 콘퍼런스에서 큐웬4를 훈련 중이라고 밝혔고, 6일에는 "변화가 시작된다(The becoming begins)"는 문구만 담은 예고를 올렸다. 모델 이름과 출시일, 가중치 공개 여부는 밝히지 않았다. 다른 이용자는 "기대치가 너무 높아 큐웬에 좋지 않다"며 "출시를 계속 미루니 이런 추측이 나올 수밖에 없다"고 썼다.