[IT동아 남시현 기자] AI 모델 경량화 및 최적화 기술 기업 노타가 글로벌 AI 반도체 스타트업 시마AI(SiMa.ai)와 전략적 파트너십을 체결했다. 노타는 하드웨어 특성을 반영한 AI 모델 최적화 플랫폼 ‘넷츠프레소’를 바탕으로 인공지능 모델의 크기와 활용 자원은 줄이면서 성능은 최대한 유지하는 모델 양자화 기술을 선보인다. 시마AI는 2018년 자일링스 수석부사장 출신인 크리슈나 랑가사예(Krishna Rangasayee)가 설립한 반도체 기업으로, 저전력 기계학습 시스템온칩(MLSoC)에 주력한다. 초기에는 엣지AI 컴퓨팅으로 시장에 진출했지만 2세대 칩 출시 이후에는 피지컬AI 분야에서 두각을 드러내고 있다.

이번 협력의 핵심은 엣지 AI 환경의 최적화다. 두 기업은 협력을 통해 ▲ 온디바이스 AI 설루션 공동 개발 및 사업화 ▲ 기술 파트너십 협력 ▲ 고객사 공동 발굴 및 시범 프로젝트 공동 수행 등에 나선다. 시마AI가 제안하는 엣지 AI는 소형 컴퓨팅 특성상 성능의 한계가 있다. 여기에 AI를 온디바이스로 구동하려면 작은 모델을 탑재해야 하는데, 노타의 기술력을 바탕으로 모델을 양자화해 적용하면 제한된 반도체 성능에서 최대한 효율, 성능을 높일 수 있다. AI 정밀도가 조금 떨어질 수 있지만 이를 최대한 유지하는 기술력이 핵심이며, 성능을 더 높이는 데 따른 이점이 훨씬 크다.

엣지 AI에서 더 좋은 AI 성능을 확보하는 것은 온디바이스 AI, 피지컬 AI와 직결된다. 예를 들어 서버와 제한적으로 연결되어 현장에서 독립적으로 구동되는 로봇이 있다. 현재는 이 로봇을 서버와 연결해 데이터를 처리하고 다시 보내는 식으로 처리하는데, 시마AI의 MLSoC같은 온디바이스AI 반도체를 장착하면 로봇 자체에서 비전인식 등을 처리한다. 여기에 탑재되는 AI 모델을 노타의 넷츠프레소로 최적화하면 로봇의 비전인식 효율이나 성능이 한층 더 높아진다. 이를 통해 서버 부하는 줄이고 입력 지연으로 인한 효율 저하, 저전력 환경 등을 만들 수 있다.

시마AI는 노타의 생성형 AI 기반 영상 관제 설루션인 ‘NVA(노타 비전 에이전트)’에 자체 반도체를 최적화해 지능형 교통 시스템(ITS), 안전, 보안 등 다양한 산업 현장에 적용할 예정이다. 두 회사간의 협력을 통해 노타는 시마AI의 다양한 고객사에게 하드웨어 최적화 기술을 제공하게 되고, 시마AI는 로보틱스, 자율주행 차량, 산업 자동화 등 다양한 분야에서 더 높은 성능과 효율을 제공할 수 있게 된다.

1세대 반도체 기업, 살아남거나 진화하거나

시마AI와 노타의 협력구도는 빠르게 변하고 있는 AI 시장에서 생존 가능성을 높이기 위한 전략이다. 크리슈나 랑가사예가 자일링스에서 나와 시마AI를 설립할 당시 시장의 기대는 어마어마했다. 그가 자일링스에 재직한 18년 간 자일링스는 산업용 반도체의 핵심 기업으로 거듭났고, 그런 그가 팹리스 스타트업을 차린다는 것 자체만으로 엣지 AI 시장이 앞으로 유망할 것이란 평가가 나올 정도였다. 2023년 출시된 1세대 칩은 MLPerf에서 엔비디아 젯슨 오린을 와트당 성능에서 압도했고, 스타트업이 첫 시도로 엔비디아를 꺾은 기록으로 남으며 성공적으로 데뷔했다.

하지만 비전AI에 집중하다 보니 이미 시장이 트랜스포머 중심의 LLM으로 변화했고, 1세대 칩은 생성형 AI를 돌리기엔 구조적 한계가 있었다. 또한 하드웨어의 효율이 높은 것은 모두가 인정하나 엣지AI 특성상 쿠다 생태계에 적응한 다수의 개발자들을 하나하나 설득할 수 없었다. 특히 코딩 없이 마우스 클릭으로 배포하는 노코드 툴 ‘엣지매틱’으로 개발자들의 유입을 기대했지만 엣지AI 개발자들은 직접 최적화할 수 있는 제어권을 원해 큰 반응을 이끌어내지 못했다.

결국 2023년 출시 직후 시장이 비전인식에서 GPT 등 대형언어모델로 전환되었으며, 시마AI 역시 2세대 칩부터는 CNN은 물론 트랜스포머, 대형언어모델, 생성형 AI를 모두 지원하는 것으로 바꿨다. 또한 엣지AI에 한정하기 보다는 멀티모달, 피지컬 AI로 전략을 변경하고 엣지 기기가 현장에서 판단하고 대화할 수 있는 AI 시대를 만드는 데 사업의 초점을 맞췄다. 노타와의 협력은 한정적인 반도체 자원에서 더 성능을 높이기 위한 전략인 셈이다.

AI 반도체 기업과 양자화 기업 간의 협력 구도는 갈수록 늘고 있다. 노타는 시마AI 이외에도 삼성전자, 퀄컴, 엔비디아 등의 AI 반도체 기업들과도 협력 중이다. 유럽의 반도체 제조사 ST마이크로일렉트로닉스는 지난해 캐나다의 AI 양자화 스타트업 딥라이트를 인수해 자사 MCU 및 MPU 로드맵에 이식했고, 엔비디아 역시 지난 2024년에 데시 AI를 인수해 딥러닝 모델 양자화 및 최적화를 적용한 바 있다. Arm 역시 국내 AI 양자화 스타트업 에너자이와 인공지능 파트너 프로그램 파트너십을 맺고 기술 협력을 진행 중이다.

온디바이스 AI 반도체, 작지만 더 강하게 더 효율적으로

지난 3월 초, 마이크로소프트가 기존 1.58비트 비트넷 기술에 희소성 개념을 더한 스파스-비트넷(Sparse-BitNet)을 오픈소스로 공개했다. 2024년 10월 비트넷 프레임워크를 오픈소스로 공개한 이후 다시 한번 공개한 오픈 소스다.

기존의 비트넷이 소수점 곱셈을 정수 덧셈으로 바꾼 것이라면 스파스-비트넷은 그 덧셈마저도 꼭 필요한 것만 하는 방식이다. 32비트 대비 극단적인 1.58비트 양자화에 연산 횟수까지 줄여 병목 현상은 줄이고, 전력 효율은 최적화하겠다는 것이 목적이다. 이론상 100B(1000억 개) 이상의 매개변수를 갖춘 AI를 일반 고사양 노트북에서 실시간으로 사용할 수 있을 정도다.

MS가 스파스-비트넷을 대중에게 무료로 공개함으로써 엣지 AI 반도체 시장에서의 셈법도 복잡해졌다. 이 기술을 잘 활용하면 스마트폰 수준의 기기에서 30B 모델을 자체적으로 운용할 수 있고, 더 작은 칩에서도 7~10B 모델을 운용할 수 있다. 시마AI는 물론 퀄컴, 인텔, AMD, 헤일로 등 CPU/NPU 기반 AI 반도체 기업들이 이를 활용하지 않으면 시장에서 뒤처질 상황이 된 것이다. 결국 이번 협력은 노타와 시마AI 양쪽에게 도움이 되는 것이기도 하지만, AI 반도체 기업 입장에서는 빠른 AI 시장에 적응하고 생존하기 위한 선택에 가깝다.

IT동아 남시현 기자 (sh@itdonga.com)