엔비디아가 엣지 환경에서 피지컬 AI를 구현하기 위한 월드 파운데이션 모델 ‘엔비디아 코스모스 3 엣지(NVIDIA Cosmos 3 Edge)’를 공개했다.

피지컬 AI 시스템은 월드 모델을 활용해 물리적 환경을 인식하고 추론하며 앞으로 벌어질 상황을 예측한다. 창고를 이동하는 로봇부터 공장 현장을 모니터링하는 카메라 네트워크까지, 주변 상황을 이해하고 다음 상황을 추론해 신속하게 행동하는 능력이 요구된다.

하지만 현실 세계는 범위가 넓고 예측하기 어려우며 끊임없이 변화한다. 그동안 프론티어급 AI를 엣지 환경에 구현하려면 모델 성능과 배포 효율성 사이에서 일정 부분 절충해야 했다.

코스모스 3 엣지는 이러한 한계를 줄이기 위해 설계된 40억 파라미터 규모의 옴니모델이다. 메모리 효율적인 배포와 높은 처리량에 최적화됐으며, 엔비디아 젯슨(Jetson), RTX PRO, DGX 시스템을 비롯해 지포스(GeForce) RTX GPU에서도 구동할 수 있다.

텍스트·이미지·영상·소리·동작까지 이해하고 생성

코스모스 3 엣지는 엔비디아 코스모스 3를 확장한 소형 월드 파운데이션 모델이다. 텍스트와 이미지, 영상뿐 아니라 주변 소리와 동작을 이해하고 생성할 수 있다.

트랜스포머 혼합(mix-of-transformers) 아키텍처를 적용해 물리적 현실에 기반한 실시간 비전 분석과 온디바이스 로봇 행동을 지원한다. 엔비디아에 따르면 코스모스 3 엣지는 동일한 파라미터급 모델 가운데 밴티지 벤치(VANTAGE-Bench) 비전 분석 성공률 1위를 기록했으며, 사후 학습을 통해 최첨단 수준의 로봇 학습도 지원한다.

개발자는 데스크사이드 AI 슈퍼컴퓨터인 엔비디아 DGX 스테이션(DGX Station)을 이용해 자체 로봇·센서 데이터로 코스모스 3 엣지를 사후 학습하고, 용도에 특화된 월드 액션 모델을 구축할 수 있다.

완성한 모델은 엔비디아 젯슨 토르(Jetson Thor)에 배포해 물체 조작이나 이동 등 실시간 로봇 제어 정책에 활용할 수 있다. 애자일 로봇(Agile Robots), 두산로보틱스, 지멘스(Siemens), 스킬드 AI(Skild AI)는 자사 로보틱스 워크플로에 코스모스 3 엣지를 적용하는 방안을 평가하고 있다.

자율주행차·스마트 인프라로 적용 범위 확대

자율주행 자동차 분야에서는 자원이 제한된 하드웨어에서도 도로 상황 이해와 교통 상황 추론, 객체 의도 예측, 정책 모델 증류 등을 지원한다.

코스모스 3 엣지는 엔비디아 알파마요(Alpamayo) 비전 언어 행동 모델을 포함한 차량용 정책 모델을 증류할 때 학생 모델의 백본으로도 활용할 수 있다. 규모가 큰 정책 모델의 지식을 상대적으로 작은 모델로 이전해 차량 내부 하드웨어에서 효율적으로 구동하는 방식이다.

스마트 인프라 분야에서는 젯슨 토르에서 실시간 추론을 수행하며 높은 처리량과 정확도를 제공한다. 실시간 영상 스트리밍을 분석하고 추론하는 비전 에이전트를 교통 모니터링과 공공 안전, 물류, 산업 검사 등에 적용할 수 있다.

개발자는 20억 파라미터 규모의 엔비디아 네모트론(Nemotron) 기반 추론 모듈을 젯슨 오린(Jetson Orin) 8GB에서 독립적으로 실행할 수도 있다. 센티픽(Centific), 바이디오(Vaidio), 위안(YUAN)은 엣지 기반 비전 에이전트를 가속하기 위해 코스모스 3 엣지를 평가하고 있다.

코스모스 3, 엣지·나노·슈퍼 3개 모델로 구성

코스모스 3 엣지는 피지컬 AI 월드 모델 개발을 지원하는 엔비디아 코스모스 플랫폼의 일부다. 코스모스 3 제품군은 40억 파라미터의 엣지(4B), 160억 파라미터의 나노(16B), 640억 파라미터의 슈퍼(64B) 등 세 가지 규모로 구성된다.

개발자는 온디바이스 엣지 배포부터 고충실도 콘텐츠 생성에 이르기까지 개발 단계와 사용 목적에 맞춰 모델을 선택할 수 있다. 코스모스 3 엣지와 코스모스 3 나노, 코스모스 3 슈퍼는 허깅페이스(Hugging Face)에 공개됐다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지