알리바바 큐원 팀이 9월 7일 자율주행용 오픈소스 모델 큐원-드라이브-1.0-4B를 공개했다. 화중과기대와 함께 개발했으며 주행 장면을 이해하는 능력과 차량이 갈 경로를 계획하는 능력을 한 모델에 담았다.

큐원-드라이브는 시각언어모델 큐원3.5-4B를 기반으로 삼았다. 시각언어모델은 이미지와 문장을 함께 입력받아 답을 내놓는 모델을 말한다. 큐원 팀은 기존 구조를 그대로 두고 외부 모듈 두 종을 붙였다. 하나는 BEV 인식 헤드로, 3D 물체 검출과 점유 예측, 지도 분할을 함께 수행한다. BEV는 차량 주변을 위에서 내려다본 평면으로 변환해 처리하는 방식이다. 다른 하나는 플래닝 엑스퍼트로, 시각언어모델이 만든 표현을 받아 차량이 앞으로 이동할 궤적을 생성한다.

큐원 팀은 경로 계획 모듈을 두 종 함께 공개했다. `planner-sft`는 사람이 운전한 사례를 따라 하도록 학습한 모방학습 버전이다. 모방학습은 정답 주행 기록을 보여 주고 그대로 따라 하도록 학습시키는 방식을 말한다. `planner-rl`은 여기에 강화학습을 더해 보상을 기준으로 추가 조정한 버전이다.

웨이모 개방 데이터셋 종단 평가(WOD-E2E)의 RFS 검증 점수는 강화학습본이 8.45로 모방학습본 7.95보다 높았다. 준폐루프 평가인 NAVSIM PDMS에서도 강화학습본이 90.7, 모방학습본이 88.2를 기록했다. 다만 개방 루프 변위 오차 일부 항목에서는 모방학습본이 앞섰다. 3D 인식에서는 뉴씬스 기준 43.95 mAP, 오픈씬 기준 43.45 mAP를 기록했다.

주행 데이터로 대규모 학습을 진행하면 기존에 갖고 있던 일반 시각 이해 능력이 떨어지는 문제가 생기는데, 큐원 팀은 주행 데이터와 범용 시각언어 데이터를 함께 넣는 단계별 학습으로 이 문제를 줄였다고 밝혔다. MMBench 85.5, MMMU 72.7로 기반 모델 큐원3.5-4B와 비슷한 수준을 유지했다.

코드와 가중치, 시연 데이터는 아파치 2.0 라이선스로 공개했다. 아파치 2.0은 상업적 이용과 수정, 재배포를 폭넓게 허용하는 오픈소스 라이선스다. 모델 가중치는 허깅페이스, 코드는 깃허브에 올라와 있으며 기술 보고서는 arXiv에 게재됐다.

자세한 내용은 테크노드에서 확인할 수 있다.

이미지 출처: 알리바바 큐원