마이크로소프트, 자체 개발 2조8천억 매개변수 'MAI-Base-2' 사전학습 마쳐
X 첫 글 7시간 전@mustafasuleyman ♥ 1,961
마이크로소프트(MS) AI 조직이 사내 기술만으로 만든 초대형 기반 모델 'MAI-Base-2'의 사전학습을 마쳤다.
무스타파 술레이만 MS AI 최고경영자(CEO)는 15일(현지시간) X에 "3조 매개변수급 최첨단 사전학습 모델을 전부 사내에서 만들었다"며 후속 학습 결과는 곧 공개한다고 밝혔다. MS AI 기술 블로그에 따르면 MAI-Base-2는 전체 2조8천억개, 활성 800억개 매개변수의 전문가혼합 모델이다. MS는 자체 평가에서 시험한 모든 오픈 웨이트 모델을 앞섰고, 가장 강한 공개 기반 모델인 딥시크 V4 프로보다 사전학습 연산 효율이 4~12배 높다고 설명했다.
술레이만 CEO는 코드 평가에서 딥시크 V4 프로 기반 모델과 같은 점수를 12분의 1 연산으로 냈다고 덧붙였다. MS는 지난 6월 전작 MAI-Base-1에 후속 학습을 얹은 'MAI-Thinking-1'을 공개했다.
“We now have state-of-the-art pre-trained base models in the 3T-parameter weight class, built entirely in-house at MAI. Post-training results coming soon -- stay tuned!”