'세계 최고 AI도 과제 열에 아홉은 못 푼다'…세미애널리시스 새 벤치마크 GDPx, 오퍼스 5.5 1위가 12%

반도체·AI 분석업체 세미애널리시스(SemiAnalysis)가 실무 과제 206개로 AI 에이전트를 시험하는 벤치마크 'GDPx'를 공개했는데, 1위인 앤트로픽의 오퍼스 5.5(Opus 5.5)도 점수가 12.0%에 그쳤다.

2일(현지시간) 세미애널리시스 뉴스레터에 따르면 GDPx는 칩 설계·사이버보안·생물학·금융·법률·퀀트 트레이딩·소프트웨어 엔지니어링 등 11개 분야를 다룬다. 14개 전문 데이터 파트너가 만든 과제를 에이전트가 최대 8시간 동안 푸는 방식으로, 클로드 코드(Claude Code)와 코덱스(Codex) 같은 각사 전용 도구를 가능한 한 그대로 썼다. 점수는 과제마다 세 번 시도한 결과를 합친 값이다. 오피스차이(OfficeChai)는 2위가 구글의 제미나이 4 카본(Gemini 4 Carbon) 10.9%, 3위가 오픈AI의 GPT-6 아스트라(Astra) 9.6%라고 전했다. 과제당 비용은 오퍼스 51.41달러, 아스트라 53.99달러였고 카본은 오퍼스의 3분의 1 수준이었다.

분야별로는 오퍼스가 퀀트 트레이딩과 칩 설계·하드웨어 설계에서, 카본이 생물학에서 앞섰고 아스트라는 재료과학 등에서 앞섰다. 법률 분야에서는 쓸 만한 수정안(레드라인)이 하나도 나오지 않았다. 부분 점수 기준으로 오퍼스가 44%, 아스트라가 25%, 제미나이 4 아르곤(Argon)이 2%였다. 금융 분야 공개 과제는 25번 시도해 한 번도 풀지 못했다. 세미애널리시스는 "낮은 점수가 핵심"이라는 취지로 설명했다.

이 벤치마크를 만든 딜런 패텔(Dylan Patel)은 X에 "구글에 공식 사과한다. 카본이 잘 만들었다"며 "분야별 편차는 크지만 몇몇 분야에서는 정말 훌륭하다"고 썼다. 이 글은 '좋아요' 1,100여 개를 받았고 데미스 허사비스(Demis Hassabis) 구글 딥마인드 최고경영자(CEO)가 "새롭고 엄밀한 벤치마크는 언제나 반갑다"고 답글을 달았다.

다만 표본이 작다는 한계도 있다. 과제당 시도는 세 번이고 분야에 따라 롤아웃이 20~25번에 그친다. 안전장치(분류기)가 사이버보안·생물학·정렬 분야에서 오퍼스와 아스트라의 점수를 깎았다고 세미애널리시스가 밝혔다. 이 세 분야를 뺀 순위에서는 아스트라가 오퍼스를 0.1%포인트 앞서고 카본은 5위로 내려간다. 카본은 구글이 지난달 말 공개했지만 아직 일반에 풀리지 않았다.