[IT동아 남시현 기자] AI 개발 플랫폼 기업 래블업(Lablup)의 기술 콘퍼런스 'lab | up> /conf/5'가 지난 24일, 서울 서초구 양재 aT센터에서 개최됐다. 올해 콘퍼런스는 ‘Make AI Composable(조합 가능한 AI를 만들다)’를 주제로 래블업의 주요 파트너사들이 참여해 현세대 인공지능(AI) 기술의 조합성과 확장성에 대한 사례를 공유했다. 래블업은 GPU 효율 극대화 기술과 AI 인프라 관리 플랫폼 ‘백앤드.AI(Backend.AI)’로 인프라 및 AI 업계에서 주목받고 있으며, 올해 8월에는 업스테이지와 함께 ‘독자 AI 파운데이션 모델’ 구축 사업에도 참여하며 대중에게도 널리 알려지고 있다.

신정규 래블업 대표는 “지난 몇 년간 AI 분야는 산업혁명에 가까운 변혁을 맞았다. 오늘날 AI 산업계에는 소형 AI 모델을 다루는 소규모 기업에서부터 글로벌 파이프라인 혹은 인공일반지능에 도전하는 기업까지 다양한 곳이 활동 중이다. 래블업은 AI 에지부터 하이퍼스케일에 이르기까지 모든 영역을 지원한다는 의지로 서비스를 구축 중이다”라며 발표를 시작했다.

지능 수요를 정량적으로 측정하는 게 궁극적 목표

기조연설은 래블업의 지난 10년, 그리고 앞으로의 10년 계획에 대한 청사진을 공유하는 자리였다. 신정규 대표는 “지난 50년 간 인간은 컴퓨터를 통해 지식 노동을 대체해 왔고, 오늘날 우리는 도서관 대신 컴퓨터로 자료를 찾고 연구를 하는 단계에 이르렀다. 2022년 이후로 딥러닝 기반의 생성형 AI 모델이 각광받기 시작했고, GPT-3를 기점으로 인간의 창작 활동까지 대체하려 한다”라고 말했다. 또 인류는 늘 새로운 기술이 등장할 때마다 이를 측정하고 평가하고, 정량화하는 방안을 마련해왔다고 말했다.

예를 들어 말 한 마리가 내는 물리적인 힘은 ‘1 마력’이라는 단위로 부른다. 말마다 힘의 편차가 있음에도 이를 표준 단위로 만들고 전 세계 산업 현장에서 활용하고 있다. 덕분에 자동차나 엔진의 힘의 물리적 단위를 마력으로 표기하고, 몇 십배나 몇 백배처럼 정량적으로 표기할 수 있게 됐다. 이처럼 AI의 처리결과를 ‘지능 요구량’이나 ‘지능 소비량’처럼 측정 가능한 지표로 계량한다면, 성능을 객관적으로 표기하는 것은 물론 AI의 단계적인 성능 향상에도 기여할 것이라는 게 신정규 대표의 시각이다.

신정규 대표가 이런 목표를 세운 배경에는 래블업의 특성이 자리 잡았다. 이들은 하드웨어, 소프트웨어의 중심에 위치했다. 신정규 대표는 “래블업은 그 어떤 기업보다 AI 반도체의 특성을 빨리 파악하고, 정량적으로 성능을 측정한다. 많은 개발자와 기업과 파트너십을 맺고 어떻게 AI를 공급하고 대량화할지 정의하고, 플랫폼 구축에도 힘쓴다"라고 말했다.

이어서 "지난 2023년에는 PALI, PALANG 등의 플랫폼을 공개했고 올해는 내결함성(오류가 있어도 정상 동작하는 데 초점을 맞춘 시스템) 기반의 LLM 및 멀티모달 자동화 관리 시스템 ‘컨티넘(Continuum)’과 옴니모달(모든 종류의 데이터를 처리하고 이해하기 위한 능력) 기반 생성 AI 개발 플랫폼 ‘AI:DOL’을 통해 시장을 지원하고 있다”라고 소개했다.

이외에도 래블업의 핵심 서비스인 백앤드.AI 25.14 버전은 경화(Hardening) 기능이 적용되고, 자동 진단 및 복구 설루션인 백앤드.AI 닥터 등으로 발전한다. 신정규 대표는 “앞으로 10년까지 내다보기는 어렵지만, 2년 후는 명확하게 알 수 있다. 당장 2023년에 대세였던 챗GPT는 이제 스마트폰 수준에서 실현되고 있다. 앞으로 더 작은 단계의 인프라나 분야에서도 이런 것들이 실현될 것이고, 반대로 하이퍼스케일러 쪽은 더 규모가 커질 것이다. 래블업은 다양한 스케일과 플랫폼의 시대에서 지능을 개발 및 공급하고 계량하는 회사가 되겠다”라는 포부를 밝혔다.

조합 가능한 AI 시대 대비해야··· 백엔드.AI로 해답 제시할 것

김준기 래블업 최고기술책임자(CTO)는 ‘조합 가능한 AI, 조합 가능한 소프트웨어’를 주제로 래블업의 현장 경험과 최신 업데이트를 공유했다. 김준기 CTO는 ”최근 AI 코딩 분야를 중심으로 조합을 활용한 다양한 사례가 나타난다. 래블업이 ‘조합 가능한’이라는 키워드를 강조하는 이유도 이것이다. 앞으로 컴퓨팅 업계에서 조합 가능한 구조가 굉장히 중요해질 것이라서다”라며 설명을 시작했다.

이어서 “개발자 관점에서 조합 가능하다는 의미는 추상화 방법(핵심 내용만 기본으로 하는 프로그래밍 기법)을 통해 프로그램 등을 구상하는 것에 가깝고, AI에 초점을 맞춘다면 서비스가 요구하는 기능을 어떻게 계량하고 접붙일 것인가에 가깝다.

김준기 CTO는 조합 가능한 AI 실현을 위해 수평적 확장과 수직적 통합 두 가지가 필요하다고 말한다. 수평적 확장은 수십에서 수백 개의 노드에서 수백 개, 수천 개의 컨테이너로 구성된 작업을 최적화하거나, 스케줄 고도화 등을 통해 이뤄낼 수 있다. 수직적 통합은 프로그램 전반에서 저장 공간이나 인프라, 서버 연결성 등에 종합적으로 접근할 필요성을 의미한다.

수평적 확장과 수직적 통합을 잘 보여주는 사례는 래블업이 참여하고 있는 독자 AI 파운데이션 사업이다. 래블업은 현재 업스테이지 컨소시엄을 통해 한국형 AI 구축을 지원 중이며, 백앤드.AI를 분산 딥러닝 훈련 플랫폼으로 제공한다. 과제의 지속 여부에 따라 GPU 가상화 기술 고도화 및 LLM 평가, 검증 등에 협력을 이어나갈 계획이다. 래블업은 국가 AI 파운데이션용 인프라를 관리하기 위해 ‘수평적 확장’으로 접근하고 있다.

김준기 CTO는 “현재 구축 중인 모델은 MoE(전문가 모델) 기반의 1000억 개 매개변수 규모의 LLM이다. 훈련에는 504장의 엔비디아 B200을 엮은 클러스터가 동원된다. 작업 중에는 예상치 못한 오류나 동작 정지가 이어지고, 저장공간에서 문제가 발생하기도 한다. 문제를 해결하기 위해 수천 개 단위의 스케쥴러를 재작성하는 작업과 똑같은 작업을 시도했을 때 문제가 없으면 기존 프로세스를 재사용하는 식으로 정리했다”라고 말했다. 이처럼 하드웨어 전반의 환경 변수를 모두 고려하고, 기술적으로 AI 인프라 기술과 서비스를 집대성하는 접근 방식이 수평적 확장이다.

수직적 통합은 말단의 하드웨어나 드라이버부터 최종 이용자의 인터페이스까지 전반을 아우르는 기술 및 접근 방식이다. 특수한 CPU 구조와 GPU를 연결하는 것부터 이를 연산 작업에 동원하고, 라이브러리나 드라이브까지 전반적으로 관리하는 과정이다. 결국 수평적 확장과 수직적 통합을 총 집대성해야 향후 조합 가능한 AI로 나아갈 수 있다는 말이 된다.

김준기 CTO는 “앞으로 AI 에이전트끼리 서로 통신하고, 더 큰 규모의 AI를 다루려고 한다면 GPU가 잘 관리되고 최적화되어야 한다. 클라우드 업계에서 상용화된 기밀 컴퓨팅(Confidential computing)도 이제 AI 업계에 적용해야 하고, LLM을 분산해서 서빙하는 디스어그리게이션 (Disaggregation)으로 최적화해 비용도 낮춰야 한다. 래블업은 백앤드.AI를 통해 수직적 통합을 제공하고, 가장 효율적으로 AI를 운용할 수 있도록 돕겠다”라고 말했다.

리벨리온, 하이퍼엑셀, 네이버클라우드, ETRI 등 총출동

래블업이 AI용 하드웨어 및 소프트웨어의 구심점 역할을 하는 기업인 만큼 수많은 기업들이 세션에 참여했다. 노타, 리벨리온, 롯데이노베이트, 미라콤아이앤씨, 모두의연구소, 모레, 에임인텔리전스 SK텔레콤 등의 국내 주요 AI 기업은 물론 KT클라우드, 마이크로소프트, 네이버클라우드, NHN클라우드 같은 클라우드 콘텐츠 제공 기업들까지 참여했다.

리벨리온은 김홍석 소프트웨어 아키텍트 총괄이 참여해 리벨리온 신경망 처리 장치(NPU) 기반의 vLLM 지원 방식과 기술지원 생태계를 소개했다. vLLM은 LLM의 추론 및 서비스 운용을 위한 도구모음이다. 리벨리온 NPU는 vLLM의 다양한 기능을 별도 코드 수정 없이 바로 쓸 수 있고, AI 오픈소스 라이브러리 제공 플랫폼 ‘허깅페이스’를 통해 LLM의 성능과 효율 향상에 필요한 다양한 MoE 모델(전문가 모델)을 지원한다. 또한 향후 vLLM 플러그인 형태로 하드웨어 지원을 도울 예정이다.

하이퍼엑셀은 이진원 최고기술책임자가 참석해 ‘AI를 위한 반도체를 만든다는 것’을 주제로 발표했다. 구체적인 제품 소식은 없었지만 AI 반도체 개발 현장에서 어떤 점에 주목하고 있는지를 주로 언급했다. 일단 LLM 추론 과정은 질문을 이해하는 프리필 단계와 대답을 준비하는 디코드 단계로 나뉜다. 프리필 단계는 연산 요구가 많고, 디코드 단계는 메모리 성능이 중요하다. 하지만 현세대 GPU로 이를 처리하기엔 전력 소모대 성능비가 떨어지는 게 문제다.

게다가 앞으로 AI 에이전트가 등장하며 대화 길이도 길어지고, 상호작용이 실시간으로 처리되는 빈도도 늘어날 전망이다. 즉 연산에 특화된 GPU나 추론에 특화된 AI 반도체로 수요가 분산될 수 있다. 하이퍼엑셀은 메모리 접근이 빈번한 작업에 유리하도록 제품을 구성 중이며, 여타의 AI 반도체 기업들도 특장점 강화를 통해 경쟁력을 확보해야 한다고 말했다.

클라우드 업계에서는 유저스틴(Justin Yoo) 마이크로소프트 수석 클라우드 애드보케이트가 ‘폐쇄망에서 챗GPT를 운용하는 기술’에 대해 발표했고, 네이버클라우드는 박배성 네이버클라우드 AICS 테크 리더가 다양한 시나리오에서 LLM을 저렴하고 빠르게 돌리기 위한 가속 기술을 소개했다. NHN클라우드는 정민 GPU 시스템 엔지니어가 고성능 컴퓨팅 인프라 구축과 NHN 클라우드의 시스템 운영 및 구축 전반을 소개했다.

지능을 계량하고, 공급하는 회사로 나아가려는 래블업

신정규 대표는 “10년 전 래블업을 설립할 때, 우리가 인간의 지적, 창조 활동을 대신할 수 있는 기술에 기여하겠다고 했을 때 비웃는 사람들도 있었다. 하지만 지금은 모두가 그렇지 않음을 안다. 도전 과제가 추상적이지만 지능을 공급하는 회사로 나아가자는 게 앞으로의 10년을 위한 목표”라고 말했다.

지능과 지식을 계량한다는 말은 이론에 가깝다. 하지만 최근 AI 업계의 발전 속도를 생각하면 실현이 불가능한 얘기라고 말하기는 어렵다. 오늘날 AI 벤치마킹 도구는 성능과 연산 속도를 정량적으로 분석할 뿐 정성적으로 파악하지 못한다. 어떤 단위나 방식을 사용해서든 이를 집계하고 파악하는 기술을 만들자는 게 래블업의 목표다.

래블업의 기술력은 하드웨어와 소프트웨어 전반에 걸쳐있고, 업계 전반에 파트너십을 갖고 있다. AI를 계량하는 기준을 만든가면 가장 유리한 위치에 선 기업이다. 래블업의 새로운 목표가 AI를 평가하는 새로운 기준으로 자리 잡고, 더 나아가 AI 기업 전반이 함께 성장할 수 있는 기틀이 되길 기대해 본다.

IT동아 남시현 기자 (sh@itdonga.com)