사람 목소리 한 번도 안 들은 음성 AI, 학습비 9.56달러…플로피 디스크·게임보이에 들어간 언어 모델도
X 첫 글 21시간 전@n4ze3m ♥ 5,454조회 6
사람 목소리를 한 번도 듣지 않고 말을 배운 음성 합성 모델이 나왔다. 개발자 나짐(@n4ze3m)이 14일(현지시간) 공개한 '타이니 보카(tiny-voca)'로, 학습에 든 돈은 모두 9.56달러다.
그가 X에 올린 설명에 따르면 타이니 보카는 매개변수 450만개, 용량 18MB짜리 영어 음성 합성(TTS) 모델이고 그래픽카드 없이 CPU에서 돈다. 학습 자료는 알리바바의 공개 모델 '큐원3-TTS'로 만든 합성 음성 19시간 분량이 전부다. 빌린 RTX 4090 한 장을 24시간 썼는데 최종 모델 학습에 들어간 건 7.7시간, 약 3달러였다. 코드와 가중치, 데이터, 학습 방법을 모두 공개했고 이 글은 '좋아요' 5400개를 받았다.
같은 주말 더 작은 모델도 나왔다. 레딧 r/ClaudeAI에는 클로드 페이블 5.2(Claude Fable 5.2)에 트랜스포머를 직접 짜게 하고 오퍼스 5.5가 만든 문답 약 3500개로 학습시킨 언어 모델이 올라왔다. 매개변수는 36만7000개다. 프로그램과 가중치를 합쳐 약 435KB라 플로피 디스크 한 장에 들어가고 인텔 펜티엄 PC의 도스(DOS)에서 돈다. 팀 황(@timhwang)은 게임보이 카트리지에 넣을 600만 매개변수(3.2MB) 모델을 클로드로 학습시켜, 미국 독립전쟁을 묘하게 잘 아는 새와 대화하는 게임을 만들었다고 밝혔다.
만든 사람들은 한계도 적었다. 플로피 모델 제작자는 "본 적 있는 단어와 사실에는 꽤 잘 답하지만 복잡하거나 긴 질문을 하면 완전히 헛소리를 내놓는다"고 썼다. 팀 황은 "꼬박 일주일과 터무니없이 많은 페이블 크레딧이 들었다"고 했다. 나짐은 타이니 보카를 영어로만 낸 이유를 두고 "다른 언어는 내가 할 줄 몰라 목소리가 이상해도 알 방법이 없었다"고 설명했다.
“I trained a text-to-speech model that has never heard a real human voice. 4.5M parameters. 18 MB. Runs on a CPU. Meet tiny-voca”