새로 들어온 소식
AI 성적표 새 기준 나왔다…9개 시험 중 클로드 오퍼스 5.5가 3개 1위, 나머지 6개는 다섯 모델이 나눠 가졌다
X 첫 글 20시간 전@ArtificialAnlys ♥ 3,981조회 3
인공지능(AI) 평가 기관 아티피셜 애널리시스(Artificial Analysis)가 28일(현지시간) 종합 지수 'v5'를 공개했다. 9개 평가를 모두 앞선 모델은 없었다.
아티피셜 애널리시스에 따르면 클로드 오퍼스 5.5(Claude Opus 5.5)는 코딩 평가 '프런티어코드 2.0'(46%)과 'HLE-다이아몬드'(68%) 등 3개에서 1위다. 나머지 6개는 다른 모델 5개가 나눠 가졌다. 과학 연구 과제를 푸는 '터미널벤치-사이언스'에서는 GPT-6 아스트라(Astra, max)가 63%로 1위, 오퍼스 5.5(max)가 59%로 2위였다. HLE-다이아몬드에서는 오퍼스 5.5가 68%, GPT-6 아스트라가 64%였다.
이번 개편으로 지수의 60%가 비공개 시험 문제나 공개되지 않은 정답을 쓰는 평가로 채워졌다. 코그니션(Cognition)이 내놓은 프런티어코드 2.0은 실제 오픈소스 저장소의 과제 132개를 풀게 하고 저장소 관리자가 병합할 만한 수정인지로 채점한다. 아티피셜 애널리시스는 모델의 시간에 따른 성능 변화를 한 척도로 보여 주는 '프로그레스 지수 v1'도 함께 내놓았다. 발표 글은 '좋아요' 4천개를 받았다.
같은 날 AI 유튜버 매슈 버먼(Matthew Berman)은 "딥시크 V4.1 플래시가 지금 세상에서 가장 좋은 오픈 웨이트 모델"이라는 글로 '좋아요' 1천800개를 받았다. 이 주장은 지수 결과와는 별개이며 확인되지 않았다.
“Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades.”