엔비디아가 매개변수 110억 개 규모의 음성 대화 모델 네모트론랩스 보이스챗 11B(NemotronLabs VoiceChat 11B)를 오픈웨이트로 공개했다. 매개변수는 모델이 학습으로 얻은 내부 수치의 개수로, 모델 규모를 가늠하는 기준이 된다. 모델 카드에 적힌 공개일은 8월 3일이며, 가중치와 실행 컨테이너 모두 허깅페이스와 깃허브에서 받을 수 있다.

이 모델은 전이중(full-duplex) 방식으로 작동한다. 전이중은 말하는 동안에도 상대의 말을 동시에 듣는 구조로, 전화 통화처럼 양쪽이 언제든 끼어들 수 있는 대화를 뜻한다. 기존 음성 비서는 음성 인식(ASR)으로 말을 글자로 바꾸고, 언어 모델이 답을 만들고, 음성 합성(TTS)이 이를 소리로 읽는 세 단계를 차례로 거쳤다. 보이스챗은 이 셋을 하나의 신경망으로 합쳐 중간 전달 과정을 없앴다.

엔비디아가 공개한 측정값을 보면 대화가 자연스럽게 넘어갈 때의 응답 지연은 448밀리초다. 사용자가 모델의 말을 끊고 들어올 때는 480밀리초 만에 발언권을 넘겼고, 이때 양보에 성공한 비율은 1.00으로 기록됐다. 오픈 모델을 대상으로 한 풀듀플렉스-벤치 1.0과 보이스벤치 평가에서는 각각 2위를 기록했다.

대화를 끊지 않고 외부 도구를 부르는 기능도 들어갔다. 엔비디아는 이 기능을 갖춘 첫 오픈 전이중 모델이라고 밝혔다. 도구 호출은 날씨나 주가처럼 모델이 스스로 알 수 없는 정보를 외부 프로그램에 물어보는 동작을 말한다. 보이스챗은 음성과 별도로 마련된 출력 채널로 호출 명령을 내보내고, 그 사이 미리 정해 둔 대기 멘트를 읽어 침묵을 메운다.

구조는 크게 세 부분으로 나눌 수 있다. 앞단에는 패스트 콘포머 음성 인코더가 붙어 소리를 모델이 다룰 수 있는 형태로 바꾸고, 중간에는 네모트론 나노 v2 9B 언어 모델이 들어가며, 뒤에는 엔비디아 TTS 디코더가 붙어 답을 소리로 만든다. 전체 구조는 맘바와 트랜스포머를 섞은 형태이며, 학습에는 실제 녹음과 합성 음성을 합쳐 약 55만 시간 분량의 오디오가 쓰였다.

도구 호출 성적은 항목에 따라 다르게 나타났다. 음성으로 바꾼 BFCL-v3 평가에서 평균 56.1%를 기록했고, 단순 호출은 58.5%, 병렬 다중 호출은 27.5%에 그쳤다. 불필요한 호출을 걸러내는 항목은 89.6%로 높았다. 풀듀플렉스-벤치 v3에서는 도구 선택 정확도가 82.5%였지만 인자 정확도는 44.2%, 한 번에 성공한 비율은 33%였다.

라이선스는 오픈MDW 1.1로 상업적 재배포까지 열려 있지만, 엔비디아는 모델 카드에 연구 목적으로만 준비된 모델이라고 적어 뒀다. 실행에는 vLLM과 A100·H100·B200급 엔비디아 GPU가 필요하며, 시스템 프롬프트와 도구 응답은 ASCII 문자만 써야 한다.

자세한 내용은 엔비디아 모델 카드에서 확인할 수 있다.

이미지 출처: 엔비디아