[IT동아 남시현 기자] AI 인프라 관리·운영 소프트웨어 기업 래블업(Lablup)이 9월 29일 연례 기술 콘퍼런스 ‘lab | up> /conf 6’를 개최했다. 콘퍼런스는 신정규 래블업 최고경영자가 ‘AI 산업 시대의 엔드투엔드에 대하여’를 주제로 하는 기조연설로 시작했으며, 노타, 하이퍼엑셀, 업스테이지, 퓨리오사AI, KT클라우드, 리얼월드(RLWRLD), 에임인텔리전스 등 국내 주요 AI 하드웨어 및 소프트웨어 파트너 기업들도 참여해 업계 현황 및 기술 등을 공유했다.

신정규 대표는 “3년 전에는 높은 LLM 개발 비용을 감당하기 위해 대규모 개발의 후발 주자로 따라가는 슬립스트림 전략을 제시했고, 2년 전에는 정처 없이 떠도는 AI 대항해시대가 끝나고 산업 현장으로 나아가는 방향을 설명했다. 작년에는 측정 및 계량 가능한 지능에 대해 얘기하고 어떻게 지능을 측정할지에 대해 얘기했다. 1년이 지난 지금도 이 전략은 여전히 유효하다”라며 발표를 시작했다.

래블업, 측정 가능한 지능 시대에 맞는 최적의 접근법 찾는 중

래블업의 주요 목표는 ‘AI 시대에서 지능의 민주화’이며 지난해부터 측정 가능한 지능과 관련한 방향성과 방법론이 등장하고 있다. 대표적인 것이 토큰, 전력이다. 신정규 대표는 “대표적으로 등장한 단위가 토큰이다. 토큰은 텍스트를 디지털화하는 과정에서 붙는 이름이었지만 이제 모든 AI 생성 및 출력 전반에서 계량 단위로 쓰인다. 전력 소모량도 중요하다. 반도체를 극단적으로 최적화하면 명확한 성능 상한선이 있고, 결국 전력을 얼마나 소비하는지를 따지게 된다”라면서 “세 번째는 지능 그 자체다. AI 지능이 높아야 동일한 토큰으로 더 많은 작업을 처리하는지를 따지게 된다. 토큰과 전력량, 지능은 모두 종합해야 한다”라고 말했다.

래블업은 대규모 서버 인프라 환경부터 개인 수준의 소규모 작업 환경을 아우르는 모든 부분의 소프트웨어로 대응에 나서고 있다. 우선 인프라스트럭쳐 수준에서는 백엔드닷에이아이가 바탕이 되며, 운영 환경 수준에서는 컨티넘 라우터, 컨티넘 허브가 대응한다. 일반 개발자 수준의 애플리케이션 레벨에서는 백엔드닷에이아이:고, 에이아이:돌(AI:DOL)이 대응한다.

핵심 서비스인 백엔드닷에이아이는 ▲ 엔비디아 그레이스 블랙웰 지원을 포함해 AI 가속기 가상화 지원 대상을 엔비디아, AMD, 인텔, 퓨리오사AI, 리벨리온으로 확대 ▲쿠버네티스 및 슬럼을 플랫폼 내 통합 ▲모델 콘텍스트 프로토콜(MCP) 및 에이전트 투 에이전트(A2A)를 통한 클러스터 운영 자동화 등의 기능이 새롭게 추가됐다. 최초 토큰 생성 시간, 초당 토큰 생성량 등을 바탕으로 유효 요청 토큰 처리량을 나타내는 굿풋(Goodput) 지표를 컨티넘에서 지원하고, 백엔드닷에이아이가 이에 맞는 서비스 조건을 조정하는 체계도 구축했다.

지난해 내결함성(오류가 있어도 정상 동작하는 데 초점을 맞춘 시스템) 기반의 LLM 및 멀티모달 모델 운영 자동화로 시작한 ‘컨티넘(Continuum)’은 지능형 관리 계층의 중심 소프트웨어로 강화됐다. 신정규 대표는 “엔비디아 GTC 2025에서 컨티넘을 처음 소개했을 때만 해도 로컬 자원을 관리하는 설루션이었지만 이제는 토큰 팩토리 전반에 영향을 미치는 지능형 관리 계층의 중심이 됐다. 지원 하드웨어도 엔비디아뿐만 아니라 인텔, 리벨리온, 퓨리오사AI 등을 초 대규모 클러스터로 어떻게 운용할지, 칩과 노드 레벨에서 어떻게 운용되는지를 통합 관리할 수 있다”라고 말했다.

특히 “컨티넘 초기 제품군은 장애 대응용 라우터로 시작했지만 모든 요청을 통합하고 관리하는 체계를 갖추면서 할 수 있는 게 많다는 것을 알게 됐고, 이를 컨티넘 라우터와 허브라는 엔터프라이즈 제품군으로 발전시켰다. 컨티넘 라우터는 오픈AI 호환 스마트 라우터로 앤트로픽, 베드록, 제미나이는 물론 vLLM, SGLang 등을 폭넓게 지원한다”라고 말했다.

AI 에이전트가 일반 사용자 수준으로 확산하기 시작하면서 올해 1월, 일반 사용자를 위한 PC용 서비스 ‘백엔드닷에이아이:고’도 출시했다 신정규 대표는 “올해 1월 출시 백엔드닷에이아이:고는 누구든지 에이전트 AI를 쉽게 사용할 수 있게 돕고, 동시에 서버나 외부 서비스에 기대지 않고 내 PC와 사무실 PC 등을 조합해서 AI 운영 환경을 만들 수 있도록 한다. 파일만 넣으면 데이터베이스를 만들고, 원하는 에이전트를 모아 팀을 위한 작업을 맡기고 하는 식”이라고 소개했다.

올해 중 애플 실리콘용 서비스, 중소규모용 LLM 최적화도 선뵈어

래블업의 다음 계단은 자원 최적화로 향한다. 신정규 대표는 “AI 에이전트 시대가 오면서 CPU의 중요성이 높아졌지만 현재 기술로는 코어 하나에 주어지는 대역폭은 부족하다. 쿠버네티스, 소코반 (래블업의 자체 오케스트레이터) 등은 프로세스 격리는 이뤄지나 CPU, 메모리까지만 진행하고 디스크와 네트워크 대역폭은 제약이 어렵다. 그래서 특정 에이전트 연산이 많으면 전체 대역폭이 줄어든다. 그렇다고 가상화 환경을 구축하면 서버에 가해지는 부담이 크다. 래블업은 마이크로 가상화 머신과 컨테이너의 2단 구조, 도커 호환 API를 활용해 CPU별 자원을 효율적으로 운용하는 누빔(Neuvm) 서비스를 개발 중”이라고 소개했다.

이어서 “가상 머신은 에이전트별 자원 예약을, 컨테이너는 프로세스 격리 및 총량 제약 등을 관리하며 에이전트 내에서 서브 에이전트를 만드는 식으로 여러 작업을 제약할 수 있다. 가상 머신 수는 크게 늘리지 않으면서 컨테이너의 유연성은 지키는 기술이다. 지난 4월 공개한 에이아이:고에 애플실리콘용으로 서비스를 개발했는데 이후 독자 프로젝트로 개발해 올해 연말에는 베타 및 백엔드닷에이아이 엔터프라이즈의 에이전트 격리 시스템으로 도입할 예정”이라고 말했다.

또한 다양한 종류의 에이전트와 도구의 프레임워크, 도구 호출, 자격 증명, 다중 에이전트 호출 등을 통합 관리하는 API 서비스인 ‘스페이스’도 개발 중이며, 정부 지원 GPU와 자체 보유 GPU를 바탕으로 한 확산 언어모델(디퓨전 LLM)을 직접 개발한다. 래블업은 이미 엔비디아 B200 및 B300, 신경망 처리 장치가 포함된 ‘제임스 웹(James Webb)’ AI 데이터센터 운영을 시작했으며, 허깅페이스를 통해 한국어 맞춤 드래프트 모델인 GLM-5.2-NVFP4-DFlash-Ko을 선보일 예정이다.

“AI 인프라를 더 쉽게 바꾸고, 지능을 계량하고 배달하는 것이 목표”

래블업은 올해 7월 30일 한국거래소로부터 코스닥 상장을 위한 예비 심사를 승인받았고, 지난 28일부터 기관투자자를 대상으로 수요예측에 들어갔다. 하지만 래블업은 모든 사람들이 더 쉽게 AI를 활용할 수 있는 바탕을 만들겠다는 본질을 벗어나지 않는다.

신정규 대표는 “AI 업계에서 개발 단위는 일주일 단위로 짧아졌고, 연초에 시작한 에이아이:고는 이제 코드 400만 줄의 대형 프로젝트가 됐다. 세상은 너무나 빨리 발전하고 AI와 인프라는 갈수록 복잡해지고 있다”라면서 “래블업은 AI 인프라를 더 간단하게 바꾸고, 지능을 계량하고 배달하는 것이 목표다. 지능의 민주화를 달성하기 위해 AI의 수면 아래에서 벌어지는 일들을 더 직관적으로 바꾸고, 모두가 원할 때 AI를 활용할 수 있도록 추진해 나가겠다”라고 말했다.

래블업이 말하는 ‘지능의 민주화’는 막대한 연산 자원과 AI를 통한 생산성 향상이 소수에게 집중되지 않고 가능한 많은 사람에게 돌아가도록 하겠다는 개념이다. 고가의 GPU를 직접 확보하거나 복잡한 AI 인프라를 이해할 필요가 없도록 기술적 장벽을 낮추고, 지능을 측정 가능한 형태로 계량해 필요한 곳에 적합한 방식으로 전달하겠다는 것이다. 19세기 후반 전기의 상용화와 보급이 제2차 산업혁명의 핵심 동력 가운데 하나가 됐던 것처럼, 래블업은 거대한 연산 자원에서 만들어지는 AI와 지능이 모두에게 돌아가도록 하겠다는 생각을 갖고있다. 지금 AI 인프라 시장에서 진행되고 있는 다양한 효율화 시도가 향후 AI가 보편적인 자원으로 확산하는 변화의 출발점이 될 수 있다.

IT동아 남시현 기자 (sh@itdonga.com)