트로센 로보틱스, 스테레오랩스와 손잡고 로봇 학습용 데이터 수집 장비 표준화

로봇 하드웨어 기업 트로센 로보틱스가 8월 18일 스테레오랩스와 협력한다고 발표했다. 스테레오랩스(Stereolabs)는 라이다 기업 우스터(Ouster)의 100% 자회사다. 스테레오랩스의 스테레오 카메라를 트로센의 새 피지컬 AI 하드웨어에 기본 탑재한다. 스테레오 카메라는 사람의 두 눈처럼 렌즈 두 개로 같은 장면을 찍어 거리를 계산하는 카메라를 가리킨다.

양사는 데이터 품질을 문제로 지목했다. 피지컬 AI 모델의 성능은 학습에 쓴 시연 데이터에 좌우되고 그 대부분은 영상이다. 그런데 대다수 연구팀은 따로 구한 로봇 팔과 소비자용 USB 카메라를 직접 조립하고 별도 드라이버 코드로 연결한다. 그 결과 해상도가 낮고 캘리브레이션이 어긋나며, 모션 블러와 카메라별 시간 어긋남이 섞인 데이터가 만들어진다.

카메라 배치는 최신 조작 정책의 학습 방식을 따랐다. 중앙의 ZED X 미니가 작업 공간 전체의 전경과 입체 깊이 정보를 담당하고, 양쪽 손목에 붙인 ZED X 나노 2대가 모방학습에 필요한 그리퍼와 물체의 근접 영상을 담당한다. 모방학습은 사람이나 다른 로봇의 시연을 따라 하며 배우는 학습 방법을 가리킨다.

손목 카메라인 ZED X 나노는 220만 화소급 글로벌 셔터 센서 두 개를 쓰며 최대 초당 60프레임을 낸다. 글로벌 셔터는 화면 전체를 동시에 노출해 빠르게 움직이는 물체가 휘어 보이지 않게 하는 촬영 소자를 말한다. 신경망 기반 깊이 엔진은 3cm 근거리부터 형상을 인식하며, 잠금형 GMSL2 케이블로 카메라 3대를 젯슨 보드에서 어긋남 없이 동기화한다.

적용 대상은 트로센이 워크벤치(Workbench)라고 이름 붙인 고정형 조작 플랫폼과 리벳(Rivet)이라고 부르는 이동형 플랫폼이다. 두 제품 모두 양팔로 작업하는 6자유도 듀얼 암을 갖췄으며 팔이 닿는 거리는 700~1000mm, 가반하중은 4~6kg, 반복정밀도는 1mm다. 자유도는 관절이 독립적으로 움직일 수 있는 방향의 수를 가리킨다. 온보드 연산은 엔비디아 젯슨 AGX 오린 64GB가 담당한다.

하드웨어 구성에는 두 플랫폼 외에 사람이 손으로 움직여 동작을 가르치는 리더 암 글라이드(GLIDE), 조작자가 앉아 원격으로 로봇을 다루는 콕핏(COCKPIT)도 들어간다.

양사에 따르면 두 플랫폼에서 수집한 모든 원격조작 에피소드는 시점이 맞춰진 다중 시야 RGB 및 깊이 학습 샘플로 곧바로 쓸 수 있다. 로봇 소프트웨어 표준인 ROS 2와 엔비디아의 시뮬레이터 아이작 심(Isaac Sim), 학습 도구 아이작 랩(Isaac Lab)을 기본 지원해 모방학습과 강화학습, 시뮬레이션-투-리얼 작업에 연결된다. 시뮬레이션-투-리얼은 가상 환경에서 익힌 능력을 실제 로봇으로 옮기는 것을 말한다.

매트 트로센 트로센 로보틱스 최고경영자(CEO)는 피지컬 AI 진영이 GMSL2로 옮겨 가는 이유가 USB로는 엔드이펙터에서 연산 장치까지 이어지는 긴 케이블을 감당하지 못하기 때문이라고 말했다. 엔드이펙터는 로봇 팔 끝에 달려 실제 작업을 수행하는 장치를 가리킨다. 그는 연구팀이 카메라 리그를 통합하고 보정하는 데 시간을 들이기보다 시연 수집과 정책 학습에 집중해야 한다고 덧붙였다.

세실 슈몰그루버 스테레오랩스 사장은 트로센이 카메라를 완결된 보정형 데이터 수집 시스템의 중심에 놓았다는 점을 드문 선택으로 꼽았다. 양사는 8월 18일과 19일 샌프란시스코 액추에이트 콘퍼런스에서 시연한다.

자세한 내용은 로보틱스 투모로에서 확인할 수 있다.

이미지 출처: AI 생성 이미지