[IT동아 남시현 기자] 연초부터 잡음이 발생했던 독자 AI 파운데이션 사업이 다시 정상 궤도로 진입한다. 과학기술정보통신부는 지난 20일 보도자료를 내고 ‘모티프테크놀로지스’를 독자 인공지능 기초 모형(AI 파운데이션 모델) 사업의 추가 참여 기업으로 선정했다. 독자 AI 파운데이션 사업은 지난해 4월 이재명 당시 대통령 후보의 제안으로 시작되었으며, 국민 모두가 선진국 수준의 AI를 무료로 이용할 수 있도록 하는 것을 목표로 한다.

독자 AI 파운데이션 사업은 데이터 분야에 628억 원, GPU 지원에 1576억 원, 인재 영입에 250억 원이 할당되며 ▲ LG AI 연구원 ▲ 업스테이지 ▲ NC AI ▲ 네이버클라우드 ▲ SK텔레콤이 초기 컨소시엄으로 참여했다. 당초 사업은 6개월 단위로 경쟁 평가를 거쳐 2027년까지 두 팀을 최종 선발하기로 되어 있었는데, 이례적으로 과학기술정보통신부가 1차 평가에서 한 팀이 아닌 네이버클라우드와 NC AI 두 팀을 탈락시킨 뒤 1개 팀을 다시 선정하기로 했다.

당초 계획과 달리 두 개 팀이 떨어진 이유는 기업마다 ‘독자 AI’라는 기준을 달리 했기 때문이다. 우선 NC AI는 점수 분석을 기준으로 탈락했고, 이례적으로 네이버클라우드는 자체 AI 구축 기준에 부합하지 못해 탈락했다. 네이버클라우드가 하이퍼클로바X 시드 32B 씽크 모델의 시각 인식용 인코더에 중국 알리바바 큐웬의 비전 인코더를 활용했기 때문이다.

비전 인코더는 컴퓨터가 이미지를 이해할 수 있는 형태로 변환하는 장치인데, 오픈소스 기반으로 대형언어모델(LLM)을 구축할 때는 범용 인코더를 가져다 쓰는 게 일반적이다. 이에 네이버도 큐웬의 인코더를 활용한 것인데 과학기술정보통신부가 이를 독자성에 어긋난다고 판단했다. 이후 과학기술정보통신부는 초기 참여기업을 대상으로 패자부활전을 받기로 하였으나, 참여 기업이 없었다. 이에 모티프테크놀로지스와 트릴리온랩스 두 개 기업이 추가 선발에 뛰어들었으며, 최종적으로 모티프테크놀로지가 선발됐다.

모티프 합류로 4파전 된 경쟁, 다른 컨소시엄도 중도합류 시작

모티프테크놀로지스는 2025년 2월 설립된 AI 인프라 전문 기업 모레(MOREH)의 자회사다. 앞서 8월에 공개한 모티프-2.6B 소형언어모델은 다항식 구성을 활용한 PolyNorm 활성화 함수와 한국어 특화 토크나이저, 서로 다른 두 개의 어텐션 맵을 계산한 뒤 하나를 빼는 식으로 불필요한 노이즈를 빼는 차등 어텐션 등 대형언어모델을 효율적으로 운영할 수 있는 독자 기술을 적용했다. 성능 면에서는 젬마 1 2B와 비교해 약 87.2%의 평균 성능 향상, 젬마 2 2B와 비교해도 44.07% 더 높은 성능을 보여줬다.

지난 10월에는 LLM 구성의 핵심인 트랜스포머 구조의 비효율성을 개선한 ‘그룹별 차등 어텐션(Grouped Differential Attention)’이라는 새로운 아키텍처도 공개했다. 오늘날 AI 모델은 중요한 정보와 무의미한 정보를 구분할 때 핵심과 비핵심을 나눠서 인식하지만, 이때 헤드를 반반으로 배분해야 해 동작 효율이 떨어진다. 모티프는 헤드의 핵심 추출에 더 높은 비중을 두고, 비핵심 자료용 헤드는 적게 할당해 작동 효율을 끌어올린다. 기존 방식대로 어텐션 헤드를 1:1 비율로 배치하는 걸 0으로 볼 때, 할당 비율을 4:1로 잡으면 기준 모델 대비 2.54% 정도 성능이 향상되는 것은 물론 학습 안정성도 크게 개선된다.

이후 공개된 모티프-2-12.7B 모델은 아티피셜 애널리시스의 지능 지수에서 한국 모델 중 1위를 달성한 바 있으며, 12B 급 동급 모델과의 비교에서도 가장 높은 점수를 기록했다. 현재 모티프는 이미지 생성 모델인 모티프 이미지-6B와 비디오 생성 모델인 모티프-비디오-1.9B 등의 자체 모델을 개발하며 멀티모달 기술력을 입증하고 있다. 모티프의 선정 배경에는 자체적인 AI 기술 확보와 멀티모달 기술력이 큰 역할을 한 것으로 알려졌다.

현재 모티프테크놀로지스 컨소시엄에는 AI 인프라 전문 기업 모레(MOREH)와 데이터라벨링 전문 기업 크라우드웍스, AI 기반 설계 자동화 및 합성 데이터 기술 기업 엔닷라이트, 로봇 전문기업 엑스와이지, 저장장치 기업 파두, 현대산업개발 계열사 HDC랩스, 에듀테크기업 에누마 코리아, AI 학습 앱 ‘콴다’를 서비스하는 매스프레소, 전장 전문 기업 모비루스 등의 기업과 서울대학교 산학협력단, 한국과학기술원, 한양대학교 산학협력단, 삼일회계법인, 국가유산진흥원, 경향신문사, 전북테크노파크 등의 기관도 참여한다.

한편 기존 업스테이지, SK텔레콤, LG AI 연구원 컨소시엄에도 추가 합류가 예상되는 상황이다. 로보틱스 파운데이션 모델 실증 시나리오 등을 개발하는 리얼월드(RLWRLD), AI 반도체 기업 하이퍼엑셀도 1차 발표가 끝난 이후 업스테이지 컨소시엄에 합류를 발표했다. 컨소시엄 중도 합류가 가능한 만큼 시간이 갈수록 각 컨소시엄의 규모도 커질 수 있다.

8월 예정인 2차 평가에서 달성해야하는 과제는?

당초 사업 목표는 최근 6개월 내 글로벌 최신 AI 모델과 비교해 95% 이상의 성능을 발휘할 것, 1차 사업에서 대형언어모델을 구축하고, 2차에서 멀티모달모델, 3차에서 액션모델 등으로 확장하는 게 개발 목표다. 1차 발표에서는 업스테이지가 100B(1000억 개), LG AI 연구원은 236B(2360억 개 매개변수), SK텔레콤은 500B(5000억 개) 매개변수를 포함한 LLM을 구축했으며, 2차 과제에서는 200B~300B 이상의 LLM, 시각-언어모델, 시각-언어-행동 모델 등을 고도화하는 목표가 설정됐다.

모티프테크놀로지스의 경우 기존 3개 컨소시엄과 마찬가지로 독자 AI 파운데이션 모델을 처음부터 개발하며, 상업 용도로도 활용할 수 있는 오픈소스 소프트웨어 형태로 공개된다. 이미 업스테이지의 솔라-오픈 100B와 LG AI 연구원의 K-엑사원, SKT의 A.X-K1 모두 허깅페이스에 오픈소스 형태로 누구나 다운로드할 수 있으며, 구체적인 기술을 담은 기술보고서도 공개돼 있다.

모티프테크놀로지스 컨소시엄은 앞으로 독자 AI 파운데이션 모델 구축에 필요한 엔비디아 블랙웰 B200 768장과 데이터 개별 구축 및 가공을 위한 17억 5000만 원, 데이터 공동구매 및 활용 비용 100억 원의 지원이 제공되며, 한국형 인공지능(K-AI) 기업 명칭을 사용할 수 있는 권리도 제공된다.

스타트업2·대기업2 양상 된 독자 AI 파운데이션 사업, 앞으로의 향방은?

모티프의 합류로 독자 AI 파운데이션 사업도 스타트업 두 곳과 대기업 두 곳의 경쟁구도로 바뀌었다. 출발선이 늦은 모티프 입장에서 뒷심을 발휘해야 하는 상황인데, 역으로 모티프의 합류가 다른 세 곳에 전하는 메시지도 명확하다. 우선 1차 시험까지 매개변수 숫자 경쟁에 집중했다면 2차 평가부터는 아키텍처를 어떻게 효율화할지도 관건이 된다. 무조건 데이터를 늘리는 게 아니라 실질 성능을 높이는 방안이 필요하다. 이것이 달성되어야만 향후 서비스 측면에서 성능 대비 효율성 등을 충분히 확보할 수 있다.

또 2차 평가부터는 향후 3차 평가를 염두에 두고 데이터를 어떻게 시각과 언어, 행동 모델로 구현할지 보여줘야 할 것이다. 1차 평가에서 어느 정도 윤곽이 나왔는데 2차 평가에서는 실현 가능성을 증명해야 하는 것이다. 네이버클라우드와 NC AI의 이탈로 시끄러웠던 독자 AI 파운데이션 사업이 다시 한번 막을 올렸다. 우리나라 최고의 AI 인재들이 펼치는 선의의 경쟁을 조용히 응원해 보자.

IT동아 남시현 기자 (sh@itdonga.com)