300MB 붙였더니 로컬 코딩 모델 SWE-bench Pro 35%→51%, 생각 끄고도 최대 추론 넘었다
X 첫 글 47시간 전@TeksEdge ♥ 1,617조회 15
내 컴퓨터에서 돌리는 27B 코딩 모델에 300MB짜리 부품 하나를 붙여 성적을 크게 올렸다는 글이 X에서 '좋아요' 1600개, 북마크 2100개를 받았다. 허깅페이스 쪽 '하네스 허브' 팀이 18일(현지시간) 공개한 '큐웬3.8-27B-오픈코드-어댑티드(Qwen3.8-27B-opencode-adapted)' 이야기다.
모델 카드에 따르면 이 파일은 알리바바의 큐웬3.8-27B 위에 얹는 LoRA 어댑터로, 오픈소스 코딩 에이전트 오픈코드(OpenCode)에서 일하도록 강화학습으로 훈련했다. 어려운 51개 과제로 추린 SWE-bench Pro 점수가 35.3%에서 51.0%로 15.7%포인트 올랐고, 터미널 작업 시험 Terminal-Bench 2.1은 46.4%에서 52.4%가 됐다. 둘 다 푼 과제에서 걸린 턴 수는 48번에서 13번으로 줄었다. 생각(thinking)을 끈 상태로도 원래 모델의 최대 추론(xhigh)보다 SWE-bench Pro에서 앞섰고(51.0% 대 47.1%) 토큰은 6~8배 적게 썼다고 팀은 밝혔다.
라이선스는 아파치 2.0이고 vLLM, transformers, llama.cpp용 GGUF 파일까지 함께 올라와 있어 집에 있는 GPU로 바로 시험해 볼 수 있다. 모델 카드는 생각 기능을 켜도 이득이 거의 없으니 끄고 쓰라고 권한다. 학습 방법 전체는 블로그로 공개해 다른 하네스용 어댑터도 누구나 만들 수 있게 하겠다고 했다.
단서도 있다. 팀은 모든 수치가 오픈코드 하네스에서 과제당 한 번, 100단계 제한으로 잰 것이라 큐웬 공식 모델 카드의 점수(클로드 코드 등 다른 하네스, 전체 SWE-bench Pro)와 비교할 수 없다고 적었다. 답글에선 "가중치 어댑터는 어떤 종류의 로컬 모델이든 크게 낫게 만든다"는 반응이 나왔다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“So now a small 300MB adapter makes your local 27B coding model dramatically better!”
