[출처 : 챗GPT로 생성]

카네기멜론대학교 연구진은 10일(현지시간) 텍스트를 입력하면 레고 구조물을 설계해주는 AI 모델 '레고GPT'(LegoGPT)’에 관한 논문을 온라인 아카이브에 게재했다.

해당 모델은 텍스트 입력만으로 레고(LEGO) 구조물을 설계할 수 있는 오픈 소스 인공지능(AI) 모델로 단순히 텍스트와 일치하는 레고 모델을 설계할 뿐만 아니라, 실제로 사람이나 로봇이 하나하나 브릭을 쌓아가며 조립할 수 있도록 설계됐다.

예를 들어 사용자가 “유선형의 길쭉한 배”나 “전면 그릴이 강조된 클래식 자동차” 같은 문장을 입력하면 해석해 이에 해당하는 레고 설계를 생성하며 결과물은 단순한 브릭 형태로 구성되지만, 중력과 구조적 안정성을 시뮬레이션하는 ‘유효성 검사(validity check)’를 통해 생성 결과가 무너지지 않도록 설계됐다.

[출처 : 카네기멜론대학 논문 중 발췌]

'레고GPT'는 메타의 ‘라마-3.2-1B-인스트럭트’ 모델을 기반으로 ‘다음에 놓일 레고 브릭’을 예측하는 방식으로 파인 튜닝됐다. 대형언어모델(LLM)과 같이 순차적 데이터를 생성하는 자기회귀 모델(Autoregressive Model)을 이용해 다음에 등장할 브릭을 예측하는 식이다.

[출처 : 카네기멜론대학 논문 중 발췌]

AI가 생성한 구조물은 20x20x20 빌딩 공간 내에서 8가지 표준 브릭만으로 만들어지며, 각 브릭의 위치와 충돌 여부를 정밀하게 계산해 배치된다. 외형과 색상을 반영하는 기능도 포함돼 있어, 예를 들어 “금속성 보라색 전기 기타”라는 입력에 따라 해당 색상의 기타 모델이 생성될 수 있다.

생성 도중 구조적 결함이 발생하면 해당 브릭부터 이후 브릭을 제거하고 대체 경로로 다시 설계하는 ‘물리 기반 롤백(rollback)’ 기법도 적용되어 이를 통해 겹쳐진 브릭이나 공중에 떠 있는 구조물이 발생하지 않도록 한다. 

설계 방식도 독창적이다. 텍스트 입력은 레고GPT를 통해 레고 설계도로 변환되며, 생성된 구조는 하단부터 상단 순서로 토큰화된다. 이후 설계된 브릭에 주석을 추가해 텍스트와 실제 구조 사이의 관계를 AI가 학습할 수 있도록 구성된다.

[출처 : 카네기멜론대학 논문 중 발췌]

학습에는 오픈AI의 GPT-4o가 생성한 설명 문구와 함께 4만7000개 이상의 안정적인 레고 구조물로 구성된 독자적 데이터셋 ‘스테이블텍스트2레고(StableText2Lego)’가 사용됐다. 이 데이터는 물리적 시뮬레이션을 거쳐 실제 조립 가능한 구조만을 포함하도록 정제됐다.

연구진은 실험을 통해 AI가 만든 구조물을 실제 로봇 팔을 이용해 조립했으며, 사람도 손으로 문없이 조립할 수 있음을 확인했다. 특히 '레고GPT'는 사용자 경험을 고려한 기능도 제공한다. 사용자가 보유한 레고 브릭을 사진으로 촬영한 뒤, 이를 비전 모델이나 이미지 처리 AI와 연동하면 보유 브릭만으로 만들 수 있는 다양한 설계안을 제공받을 수 있다.

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com