글자 한 줄 안 읽고 '말'로만 배웠다…잭 도시의 블록, 웃고 끼어드는 음성 AI '데사'

텍스트 없이 사람의 대화 소리만 듣고 말하는 법을 익힌 음성 AI가 나왔다. 잭 도시가 이끄는 핀테크 기업 블록(Block)의 소규모 AI 연구실이 23일(현지시간) 공개한 '데사(Dessa)'다.

블록에 따르면 데사는 글자나 사전 학습 모델 없이 사람의 대화 음성만으로 처음부터 학습했다. 말하면서 동시에 듣는 '전이중(full-duplex)' 방식이라 상대 말 중간에 웃거나 "응", "그렇지" 같은 맞장구를 넣고, 크게 말해 달라고 하면 목소리를 키운다. 학습에는 엔비디아 GB200 NVL72 한 대만 썼고, M4 맥스 이상 맥북프로에서 직접 돌릴 수 있다고 밝혔다. 텍스트 대규모언어모델(LLM)보다 수백 배 적은 단어로 언어를 배웠다는 설명이다.

도시는 X에 "이야기를 나누면 사람과 대화하는 것 같다"고 적었고 이 글은 '좋아요' 1만9천개를 넘겼다. 연구를 이끈 라가반 투라이라트남은 "음성의 GPT-3 순간"이라고 했다. 공개된 녹음에는 데사가 챗GPT 음성 모델 'GPT-라이브-1'과 서로 끼어들며 대화하는 장면도 있다.

답글엔 농담이 많았다. "전 세계 할머니들 큰일 났다"는 답글이 '좋아요' 318개, "퀸스 사는 내 친구들로 학습시켰냐"는 답글이 97개를 받았다. 블록은 소리로만 말을 배운 모델에 어떤 위험이 있는지 살펴볼 AI 안전 연구자를 소수 모집하고 있다.