알리바바 클라우드가 2024년 9월 20일, 엔비디아와 알리바바의 지능형 콕핏 솔루션 제공업체인 반마(Banma)가 공동 개발한 자동차용 대형 멀티모달 모델(LMM) 솔루션을 발표했다. 이 솔루션은 향후 중국 자동차 제조업체에 제공될 예정이며, 자동차 소유자에게 보다 인터랙티브하고 혁신적인 경험을 제공하고 스마트 모빌리티를 위한 새로운 가치를 창출하는 것을 목표로 하고 있다.


이번 파트너십을 통해 알리바바 클라우드의 큐엔(Qwen)2-7B 언어 모델 및 큐엔2-VL 비전 언어 모델이 자율주행차용 엔비디아 드라이브 AGX 오린 플랫폼에 원활하게 통합될 예정이다. 또한, 엔비디아의 모델 가속화 기술을 활용하여 알리바바 클라우드의 모델이 복잡한 작업을 실시간으로 처리할 때 컴퓨팅 비용을 절감하고 대기 시간을 최소화할 수 있다고 강조했다. 이를 통해 운전자와 승객은 부드럽고 중단 없는 지능적인 경험을 누릴 수 있다.


이번 이니셔티브는 알리바바의 대형 모델이 엔비디아의 자동차 플랫폼에 통합된 첫 사례로, 큐엔의 고급 기능을 통해 차량 내 음성 비서는 복잡한 쿼리를 처리하고 시각적 지능을 활용하여 역동적이고 지속적인 대화를 나눌 수 있다. 또한, 주변 랜드마크에 대한 정보를 제공하고, 눈 오는 날 헤드라이트를 켜는 것과 같은 작업을 제안할 수 있다.


LMM 솔루션의 일환으로 알리바바 클라우드의 모바일 에이전트는 엣지 디바이스용 멀티모달 AI 에이전트로서 차량 내 음성 비서의 기능을 확장한다. 사용자는 모바일 에이전트의 복잡한 작업 계획, 자기 분석 및 의사 결정 기능을 활용하여 음식 배달 앱을 통해 밀크셰이크를 주문하는 등의 음성 명령을 쉽게 실행하며 보다 풍부하고 편안한 차량 내 경험을 즐길 수 있다.


알리바바 클라우드는 엔비디아와 협력해 큐엔 모델을 엔비디아의 차세대 중앙 집중식 컴퓨팅 플랫폼인 엔비디아 드라이브 토르(Thor)에 적용할 예정이다. 이 플랫폼은 고급 운전자 지원 기능, 자율주행 및 AI 콕핏 기능을 안전하고 보안이 유지되는 단일 시스템에 통합하는 역할을 한다.​
<저작권자(c) 글로벌오토뉴스(www.global-autonews.com). 무단전재-재배포금지>