아마존(Amazon)이 인간의 대화 방식을 더 깊이 이해하는 새로운 생성형 AI 모델 '노바 소닉(Nova Sonic)'을 발표했다. 이 모델은 단순히 말의 내용뿐만 아니라 어조, 억양, 속도까지 파악할 수 있는 기술을 탑재했다.

8일(현지 시간) 아마존 뉴스룸에 공개된 내용에 따르면, 노바 소닉은 음성 이해와 음성 생성을 단일 모델로 통합한 새로운 기반 모델(foundation model)이다. 이 모델은 아마존 베드록(Amazon Bedrock)의 새로운 API를 통해 사용할 수 있으며, 고객 서비스 자동화, 여행, 교육, 의료, 엔터테인먼트 등 다양한 산업 분야에서 AI 에이전트 개발을 단순화한다.

아마존은 지난 10년 이상 알렉사(Alexa)와 같은 세계 최고의 개인 AI 비서부터 렉스(Lex), 폴리(Polly), 커넥트(Connect)와 같은 AWS 서비스에 이르기까지 음성 기반 기술 개발의 최전선에 있었다. 하지만 음성 AI가 고객에게 더 많은 실질적 가치를 제공하려면 인간 대화의 뉘앙스와 복잡성을 고려해야 한다.

기존의 음성 지원 애플리케이션 개발 방식은 음성을 텍스트로 변환하는 음성 인식, 응답을 이해하고 생성하는 대규모 언어 모델(LLM), 그리고 텍스트를 다시 오디오로 변환하는 텍스트 음성 변환 등 여러 모델을 복잡하게 조율해야 했다. 이러한 분절된 접근 방식은 개발 복잡성을 증가시킬 뿐만 아니라, 자연스러운 대화에 필수적인 어조, 운율, 말하기 스타일과 같은 중요한 음향적 맥락과 뉘앙스를 보존하지 못했다.

노바 소닉은 이러한 문제를 해결하기 위해 새로운 접근 방식을 취한다. 서로 다른 모델을 사용하는 대신 이해와 생성 기능을 단일 모델로 통합했다. 이러한 통합을 통해 모델은 음향적 맥락(예: 어조, 스타일)과 음성 입력에 맞게 생성된 음성 응답을 조정하여 더 자연스러운 대화를 가능하게 한다. 노바 소닉은 화자의 자연스러운 휴지와 주저함을 포함한 인간 대화의 뉘앙스를 이해하여 적절한 시간에 말하기를 기다리고 끼어들기를 우아하게 처리할 수 있다.

아마존은 노바 소닉을 활용한 여행 AI 에이전트의 예시를 공개했다. 이 대화에서 고객이 하와이 여행에 대해 가상 여행 도우미와 상호작용할 때, 고객의 어조가 흥분에서 비용에 대한 걱정으로 바뀌면 AI의 어조도 관련 가격 정보를 제공하며 더 안심시키는 방향으로 변화한다. 또한 기업용 AI 비서 사례도 소개했다. 대시보드 AI 비서는 기업 고객이 노바 소닉의 회사 데이터에 기반한 응답 능력을 활용할 수 있음을 보여준다. 이 비서는 보고서를 가져와 자연스러운 대화 어조로 정확한 데이터를 공유하면서 관련 후속 질문을 적극적으로 던진다. 유연한 대화 방식은 화자가 명시적인 맥락 설정 없이도 여러 차례의 교환을 가능하게 한다.

노바 소닉은 사용자 음성에 대한 텍스트 기록도 생성하여 개발자가 해당 텍스트를 사용해 특정 도구와 API를 호출할 수 있게 한다. 이 기능들과 빠른 추론 속도를 통해 노바 소닉이 구동하는 음성 애플리케이션은 더 자연스럽고 유용해진다. 노바 소닉의 출시로 아마존은 모든 아마존 고객에게 실제 가치를 제공하는 최첨단 기반 모델로 혁신을 계속하고 있다. 관심 있는 개발자와 기술 애호가들은 nova.amazon.com에서 아마존 노바를 탐색하고, 웹 브라우저에서 작업을 수행하는 에이전트를 구축하기 위한 아마존 노바 액트 SDK(Amazon Nova Act SDK)에 접근할 수 있다.

아마존의 이번 발표는 음성 AI 기술이 단순한 명령 인식을 넘어 인간과 기계 사이의 더 자연스러운 대화를 가능하게 하는 중요한 진전으로 평가받고 있다.

해당 발표에 대한 자세한 사항은 링크에서 확인할 수 있다.

이미지 출처: 아마존

기사는 클로드와 챗gpt를 활용해 작성되었습니다.