중국 문샷AI, 2.8조 파라미터 'Kimi K3.1 Pro' 가중치 공개…직접 돌리려면 GPU 8장 서버, 7억~9억원
X 첫 글 36시간 전@AlexFinn ♥ 1,440조회 10
중국 문샷AI(Moonshot AI)가 4일(현지시간) 'Kimi K3.1 Pro'의 가중치를 허깅페이스에 공개했다. 전체 2조8000억 개 파라미터 중 토큰당 1040억 개가 쓰이는 전문가 혼합(MoE) 모델이다.
오르카라우터 분석에 따르면 저장소는 파일 111개, 1.56TB다. 학습 때부터 MXFP4로 양자화한 상태로 내놓은 것이어서 BF16 기준 5.6TB로 알려졌던 용량보다 훨씬 작다. 컨텍스트는 약 105만 토큰, 입력은 텍스트와 이미지를 받는다. 기존 K3 모델 위에 강화학습을 더한 후속 학습 모델로, 구조를 새로 짠 것은 아니라고 문샷은 밝혔다. 직접 돌리는 데 드는 장비로는 엔비디아 B300 GPU 8장(메모리 2.3TB) 서버가 거론됐고 추정 비용은 55만~65만달러다(AI 해설 계정 키모니스무스). 라이선스는 오픈소스 표준이 아니다. 연 매출 2000만달러를 넘는 사업자가 제3자에게 추론·파인튜닝 서비스를 제공하려면 문샷과 별도 계약을 맺어야 하고, 월 이용자 1억 명 또는 월 매출 2000만달러를 넘는 제품은 화면에 'Kimi K3.1-Pro'를 표기해야 한다.
유천 진은 X에 K3.1 Pro를 데이터브릭스에서 첫날부터 제공한다며 "지금까지 최고의 오픈소스 모델"이고 팀이 내부 코딩에 이미 쓰고 있다고 썼다. 추론 엔진 vLLM도 첫날 지원을 발표했다.
로컬 쪽 반응은 둘로 갈렸다. 한 이용자는 "오픈 웨이트, 닫힌 지갑"이라고 꼬집었다. 반면 AI 크리에이터 알렉스 핀은 큐웬 3.8을 RTX 스파크 노트북에서 돌려 보니 "오퍼스 4.6 수준의 성능을 무제한·비공개·로컬로 쓴다"며 감탄했다고 주장했다(좋아요 1400여 개, 본인 평가이며 독립 검증은 없다).
“I got Qwen 3.8 running on a laptop and I'm blown away It's Opus 4.6 performance, but unlimited, private, and local It's on the RTX Spark and it's amazing In this video I…”
