[IT동아 한만혁 기자] 오아시스에이아이엑스(OASYS AIX)는 시각특수효과(VFX) 콘텐츠 제작 노하우를 바탕으로 피지컬AI, 헬스케어, 콘텐츠 등 다양한 산업을 위한 인공지능(AI) 콘텐츠를 개발하는 기술 기업이다. 이지윤 대표가 2022년 창업한 오아시스에이아이엑스는 지난 9월 오아시스스튜디오(OASYS Studio)에서 오아시스에이아이엑스로 사명을 변경했다. 콘텐츠 전문 제작사에서 산업용 AI 콘텐츠 기술 기업으로 나아가겠다는 방향성을 명확히 하기 위함이다.

오아시스에이아이엑스가 최근 가장 힘을 쏟는 분야는 로봇 학습을 위한 산업용 디지털트윈(Digital Twin)이다. 디지털트윈은 현실의 공간과 설비를 가상공간에 쌍둥이처럼 똑같이 옮긴 모델을 말한다. 로봇은 현장에 투입되기 전, 이 가상공간에서 부품 조립, 장비 분해 같은 작업을 미리 훈련할 수 있다. 오아시스에이아이엑스는 현장 촬영 영상으로 3D 공간을 사실적으로 복원한다. 이를 설계 데이터와 맞춰 가볍게 만든 뒤 물리 시뮬레이터에서 로봇이 실제처럼 작동하는지 검증한다. 오아시스에이아이엑스는 산업뿐 아니라 국방 영역으로도 사업을 확대하고 있다. 최근에는 육군 폭발물 제거 로봇(EOD) 관련 디지털트윈 환경 및 학습 데이터 구축 과제를 수주했다.

오아시스에이아이엑스는 컴퓨터그래픽스와 시뮬레이션 분야에서 25년가량 경력을 쌓은 나경건 이사가 합류하면서 디지털트윈 기술 역량을 한층 강화했다. 최근에는 데이터를 가볍게 줄이면서도 정밀도를 유지해, 볼트와 너트가 0.06mm 유격 안에서 정상적으로 체결되는 데모를 선보였다. 현재 반도체 장비 기업, 국내 제조 현장, 국방 과제 등을 대상으로 실증을 진행 중이며, 올해 안에 장비 유지보수 작업을 재현한 새로운 데모도 공개할 예정이다. 오아시스에이아이엑스는 나경건 이사의 기술 역량을 통해 콘텐츠 제작 파이프라인 ‘OVP’, 콘텐츠 제작 전반의 작업을 지원하는 플랫폼 ‘카멜(CAMEL)’, 산업용 디지털트윈 플랫폼 ‘카멜 플러스(CAMEL+)’ 등 자사 솔루션을 한층 고도화할 것으로 기대하고 있다.

나경건 이사를 만나 오아시스에이아이엑스와 산업용 디지털트윈 기술에 대해 이야기를 나눴다.

컴퓨터그래픽스 25년 경력으로 디지털트윈 기술 총괄

주요 이력과 성과를 소개한다면?

컴퓨터그래픽스(컴퓨터를 이용해 이미지와 영상을 제작하는 기술) 분야에서 박사 학위를 취득했다. 박사 과정에서는 사람 얼굴의 미세한 표정을 다른 캐릭터에 옮기는 기술을 연구했고, 관련 논문 5편을 유로그래픽스(Eurographics) 등 과학기술논문인용색인(SCI)급 학술지에 발표했다.

첫 직장인 삼성메디슨에서는 초음파 데이터로 태아 얼굴을 사실적으로 보여 주는 렌더링 기술을 개발했다. 렌더링은 데이터를 바탕으로 화면에 보이는 이미지를 만들어 내는 과정이다. 의료 영상이라는 다소 낯선 분야였지만, 측정한 데이터를 사람이 믿을 수 있는 모습으로 보여 준다는 점에서 지금 하는 일의 출발점이었다고 생각한다.

이후 에프엑스기어에서 13년간 근무하며 VFX에 사용하는 3D 유체 시뮬레이션 솔버를 개발했고, 삼성전자 가상현실(VR) 기기 기어VR(Gear VR) 프로젝트에서는 머리 움직임을 추적하는 헤드 트래킹 기술과 양쪽 눈의 시차를 반영해 입체감을 주는 11K급 스테레오 360도 영상 촬영 장비를 개발했다. 자체 가상현실 플랫폼 눈VR(NOON VR)로는 국제전자제품박람회(CES) 2018 가상현실 부문 혁신상을 받았다. 최근에는 실시간 대화가 가능한 디지털 휴먼을 만들었고, 한국항공우주산업(KAI) FA-50 시뮬레이션 과제의 개발 책임을 맡았다. 그 과정에서 국내외 특허 17건을 출원 및 등록했다. 지금은 그동안 쌓아 온 컴퓨터그래픽스, 시뮬레이션, 최적화 경험을 한데 모아 로봇과 AI가 학습할 수 있는 산업용 디지털트윈을 만들고 있다.

분야는 계속 바뀌었지만 오랜 시간 한 가지 질문을 집요하게 붙잡고 왔다. ‘현실을 얼마나 정확하게 디지털로 옮기고, 그것을 얼마나 가볍고 빠르게 돌릴 수 있는가’다.

오아시스에이아이엑스에 합류한 계기는?

이유 오아시스에이아이엑스 CTO의 제안으로 합류했다. 이유 CTO는 대학원에서 처음 만났고, 에프엑스기어에서도 함께 일했다. 물론 단순히 인연만으로 합류한 것은 아니다. 합류를 결심한 것은 회사가 데이터의 가치를 정확히 보고 있었기 때문이다.

이전에 현실을 디지털로 옮긴 것은 대부분 사람이 보는 콘텐츠를 위해서였다. 영화 속 물보라, VR 속 360도 영상, 화면 속 디지털 휴먼이 그렇다. 그런데 최근 몇 년 사이 같은 기술이 전혀 다른 곳에서 필요해졌다. AI와 로봇이 배울 세상을 만드는 일이다. 생성형 AI는 인터넷의 글과 이미지로 학습했지만, 공장에서 부품을 집고 나사를 조이는 로봇이 배워야 할 데이터는 인터넷에 없다. 그 데이터는 현장에만 있고, 현장의 설비와 설계도는 대부분 기업의 소중한 자산이다.

오아시스에이아이엑스는 이런 현장 데이터를 디지털트윈을 통해 AI가 바로 학습할 수 있는 형태, 즉 AI 레디(AI-ready) 데이터로 만드는 데 집중하고 있었다. 해당 작업에는 현실을 사실적으로 재현하는 컴퓨터그래픽스, 물리 법칙대로 움직이게 하는 시뮬레이션, 이를 실시간으로 돌리는 최적화가 필요하다. 그동안 해 온 일이 바로 이 세 가지다. 그래서 기존의 경험과 노하우를 활용할 수 있는 자리라고 판단해 합류를 결정했다.

시각 품질·형상 정밀도·물리 법칙 재현하는 디지털트윈 구축

현재 담당하고 있는 업무는?

로봇 학습을 위한 산업용 디지털트윈 구축을 맡고 있으며, 크게 세 가지 기술 축을 이끌고 있다.

첫 번째는 로봇이 보는 세상을 만드는 일이다. 360도 카메라나 일반 카메라로 촬영한 현장을 3D 공간에 사실적으로 복원하는 것이다. 최근에는 이를 위해 가우시안 스플래팅(Gaussian Splatting) 기술을 많이 쓴다. 사진이나 영상을 바탕으로 크기와 색이 제각각인 수많은 반투명 점을 공간에 배치해 3D 장면을 표현하는 기술이다. 문제는 현장의 촬영 조건이 늘 좋지 않다는 점이다. 사람이 지나가고, 가려진 곳이 있고, 조명도 고르지 않다. 일반적인 가우시안 스플래팅은 이런 조건에서 결과물이 흐려지거나 유령 같은 잔상이 남는다. 우리는 이를 보정해 촬영이 완벽하지 않아도 실물에 가까운 결과를 내는 기술을 개발하고 있다.

두 번째는 로봇이 만지는 세상, 즉 3D 모델의 정밀도다. 제품을 가장 정확하게 담고 있는 데이터는 설계 단계에서 만든 컴퓨터 지원 설계(CAD) 데이터다. 하지만 이를 그대로 쓰면 용량이 너무 커서 실시간으로 시뮬레이션을 돌릴 수 없다. 그래서 데이터 크기를 줄이는 경량화 과정을 거쳐야 한다. 문제는 데이터 크기를 줄이는 과정에서 정밀도까지 낮아진다는 것이다. 기존에는 데이터를 줄이고, 시뮬레이션해 보고, 실패하면 다시 줄이는 시행착오를 반복했다. 우리는 설계에서 허용하는 오차 범위인 설계 공차를 기준으로 경량화한다. 허용 공차를 입력하면 그 안에서 가능한 최대 경량화율이 계산으로 나온다.

세 번째는 이렇게 만든 공간과 3D 모델을 엔비디아의 아이작 심(Isaac Sim) 같은 물리 시뮬레이터에 올려 로봇 작업이 실제처럼 동작하는지 검증하는 일이다. 물리 시뮬레이터는 중력, 마찰 같은 물리 법칙을 가상공간에서 계산해 재현하는 프로그램이다. 과거 유체 시뮬레이터를 개발한 경험을 살려, 향후 특정 현장에 특화한 데모로 선보일 예정이다.

현재 반도체 장비 기업, 국내 제조 현장, 국방 과제 등을 대상으로 실제 장비를 촬영하고 설계 데이터와 결합해 장비의 분해, 조립 과정을 디지털트윈으로 재현하는 실증을 진행하고 있다.

로봇 학습을 위한 산업용 디지털트윈에서 중요한 것은 무엇인가?

디지털트윈은 오래전부터 언급된 분야지만, 그동안은 주로 VFX 제작사가 도시나 공장을 시각적으로 실감 나게 재현하는 용도로 썼다. 그런데 최근에는 로봇처럼 현실 세계에서 직접 움직이며 일하는 피지컬 AI 분야에서 로봇 학습용으로 주목받고 있다.

로봇 학습을 위한 디지털트윈에서 중요한 것은 크게 세 가지다. 우선 로봇 카메라에 보이는 모습이 실제와 같아야 한다. 로봇이 보는 그대로 3D 렌더링이 구현돼야 하는 만큼 시각적 품질이 매우 뛰어나야 한다.

두 번째는 정확도, 정밀도다. 로봇 손에 닿는 형상이 설계만큼 정확해야 한다. 병뚜껑 여는 동작을 예로 들어 보자. 보기에는 간단하지만 로봇이 학습하는 환경에서는 그렇지 않다. 뚜껑의 나사선이 정확하지 않으면 물리 시뮬레이션에 오류가 생긴다. 로봇은 실제 물리적 반동이나 감각을 느끼면서 훈련해야 하기 때문에 디지털트윈 데이터의 정밀도가 중요한 것이다. 다만 정밀도가 높을수록 데이터 용량이 커지기 때문에 앞서 설명한 경량화 기술이 함께 필요하다.

세 번째는 물리 법칙이다. 현실에서는 물체가 중력을 받아 떨어지고, 액체가 퍼지고, 무언가가 깨지는 등 많은 일이 물리 법칙에 따라 일어난다. 디지털트윈 안에서도 이런 현상이 그대로 재현돼야 한다. 로봇이 가상공간에서도 마찰력, 작용 및 반작용, 끈끈함 같은 감각을 현실처럼 느껴야 한다는 의미다.

이 세 가지 중 하나라도 어긋나면 로봇은 잘못된 학습을 할 수밖에 없다. 업계에서는 이런 시뮬레이션과 현실 사이의 차이를 ‘심투리얼 격차(Sim-to-Real Gap)’라고 부른다.

이전에 진행한 프로젝트를 통해 이 세 가지를 모두 다뤄봤다. 로봇 카메라에 보이는 모습은 디지털 휴먼과 VR에서, 정확도와 정밀도는 3D 스캔, CAD 작업에서, 물리 법칙은 유체와 의상 시뮬레이션에서 다뤘다. 오아시스에이아이엑스에서는 이 세 가지를 하나의 공간 안에서 서로 어긋나지 않게 맞추는 작업을 하고 있다.

디지털트윈을 구축하면서 특히 신경 쓰는 부분은?

세 가지를 원칙으로 삼고 있다. 첫째, 디지털트윈은 한 번 만들고 끝나는 결과물이 아니라 ‘돌수록 좋아지는 순환 구조’여야 한다. 현장을 촬영하고 설계 데이터를 받아 AI 레디 데이터로 정리한 뒤, 디지털트윈 안에서 시뮬레이션하며 검증하고 실제 현장에 적용한다. 이후 현장에서 다시 모은 데이터와 시뮬레이션에서 새로 만든 데이터를 합성하고 증강해 디지털트윈을 개선한다. 증강은 기존 데이터를 변형해 학습 데이터의 양과 다양성을 늘리는 방법이다. 이 고리가 한 바퀴 돌 때마다 데이터 품질이 높아지고, 그 데이터는 고객의 자산으로 쌓인다. 결국 고객이 원하는 것은 잘 훈련된 로봇 한 대보다 이 과정에서 쌓이는 검증된 데이터라고 생각한다.

둘째, 모든 단계는 숫자로 검증해야 한다. 사실적이다, 정확하다는 말만으로는 산업 현장을 설득할 수 없다. 그래서 시각 품질, 형상 정밀도, 실행 속도라는 세 가지 지표로 결과를 측정하고 기존 방식과 비교해 보여 준다.

셋째, 보안은 나중에 붙이는 기능이 아니라 처음부터 설계에 반영해야 한다. 로봇이 배울 데이터는 대부분 기업의 설계도와 생산 현장이기 때문이다. 그래서 촬영부터 복원, 학습까지 전 과정이 고객의 사내망 안에서 이뤄지도록 하고, 로봇이 실제로 만지는 부품과 면만 받는 식으로 필요한 데이터도 최소화한다.

볼트·너트 체결 데모 공개, 실증 거쳐 플랫폼 구축

최근 볼트·너트 체결 시뮬레이션 데모를 만들었다. 어떤 데모인가?

설계 데이터를 가볍게 줄이면서도 정밀도를 유지해 작은 용량으로도 볼트와 너트가 정확하게 체결되는지 검증한 데모다. 가우시안 스플래팅 같은 기술은 사진 몇 장만으로도 사실적인 3D 공간을 만들어 낸다. 사람 눈에는 충분한 결과물이다. 하지만 로봇은 다르다. 로봇이 볼트를 잡아 너트에 끼우려면 오차가 0.1mm 이하로 정확해야 하고, 부딪히고 미끄러지는 물리 현상도 실제와 같아야 한다. 겉모습만 그럴듯한 3D 환경에서 훈련한 로봇은 실제 현장에서는 엉뚱한 힘을 주거나 물체를 놓치기도 한다.

그래서 사진으로 만든 3D와 CAD 데이터를 하나로 맞추고, 설계 공차를 기준으로 데이터를 가볍게 만들었다. 실제로 테스트해 보니 일반 경량화 도구로 줄인 모델은 나사가 체결되지 않았지만, 우리 방식으로 줄인 모델은 부품 사이 간격이 0.06mm 유격 안에서 정상적으로 체결됐다. 시뮬레이션 속도도 원본 설계 데이터보다 수십 배 빨라졌다.

이 외에 새로운 데모도 만들고 있다. 제품이나 장비의 유지보수 작업에 로봇을 투입하는 상황을 가정한 것으로, 장비 앞 패널을 열고 나사를 풀어 내부를 관찰한 뒤 다시 조립하는 과정을 데모로 만들 계획이다. 이런 작업은 상당히 복잡하고 난이도가 높다. 분리, 해체 작업이 가능하려면 실제 공장 내부 환경이 똑같이 3D로 복원되고 형상도 정확해야 한다. 궁극적으로는 마찰, 탄성 같은 물리적 성질까지 재현하는 것이 목표지만, 이번 데모는 시각 품질과 형상 정밀도 두 가지에 우선 집중하고자 한다. 해당 데모는 올해 안에 선보일 계획이다.

향후 계획과 목표는?

단기 목표는 실증 사례를 확보하는 것이다. 현재 진행 중인 실증 프로젝트에서 실제 현장과 장비를 촬영하고 설계 데이터와 결합해 디지털트윈에서 그대로 재현한 뒤 로봇 훈련으로 검증한 사례를 만들고자 한다. 산업 현장은 ‘된다’는 말보다 ‘해 봤다’는 사례를 믿기 때문이다.

중기적으로는 촬영, 복원, 경량화, 시뮬레이션 검증으로 흩어져 있는 기술을 하나의 흐름으로 잇는 플랫폼을 만들고자 한다. 현장 담당자가 장비를 촬영하고 설계 파일을 넣으면 로봇이 바로 학습할 수 있는 검증된 디지털트윈이 나오는 플랫폼이다. 이를 통해 오아시스에이아이엑스가 다양한 산업 현장을 로봇이 배울 수 있는 디지털트윈 데이터로 바꾸는 기업으로 자리매김하기를 바란다.

IT동아 한만혁 기자 (mh@itdonga.com)