“AI 슬립스트릭 넘어 AI 접근성 확보 나선다”

신정규 래블업 대표는 “2023년 래블업의 전략은 AI 슬립스트릭이었다. 슬립스트릭이란 레이싱 경기에서 상대 차량 뒤에 붙어 연비와 에너지를 끌어올리는 전술이다. AI의 성장 분야는 자원이 많이 필요하고, 우리는 능력을 보존하며 추월하는 것을 생각했다”라면서, “앞으로의 전략은 메이크 AI 스케일러블(Make AI Scailable)”이라며 발표를 시작했다.

그는 “AI 연산량이 커져가는 와중에도 애플 인텔리전스처럼 작은 장치가 수십 개의 AI 모델을 소화하기도 하고, 수만 대의 GPU가 AI 모델 하나를 만들기도 한다. AI의 범위는 위아래로 넓어지기도 하지만, 작은 점으로 집중되고 있다. 필요한 기술은 제각각이고, 다른 이종간 연산이 섞이고 맞물리는 상황이다. 이 AI 기술 장벽을 허무는 것이 래블업의 목표다”라고 말했다. 이어서 래블업의 전략을 오픈소스, 백앤드 AI 코어, 백앤드 엔터프라이즈 세 단계로 나눠 설명에 나섰다.

래블업은 태생부터 오픈소스, 새 오픈소스 추가 공개

신정규 대표는 현재까지 래블업이 공개한 오픈소스를 먼저 소개했다. 오픈소스는 누구나 사용할 수 있도록 소스코드가 공개된 소프트웨어 및 자산을 뜻한다. 신정규 대표는 “래블업은 태생부터 오픈소스를 만든 사람들이고, 오픈소스 생태계에 계속 기여해 왔다. 지금까지 캐로섬(Callosum), 에이아이오도커(aiodocker), 에이아이오모니터(aiomonitor), 에이아오툴즈(aiotools)를 내고, 래프티파이(Raftify)까지 오픈소스로 공개했다”라고 말했다.

오픈소스를 공개하는 이유에 대해서는 “소프트웨어를 배포하기 위해서는 기본적으로 설치가 되어야 한다. 우리가 오픈소스 생태계에 기여하고 서비스를 배포하고, 또 다른 호환성의 오픈소스를 배포하는 식으로 확장성을 늘리기 위함”이라고 말했다.

새로운 오픈소스 도구인 백앤드 AI CLI 인스톨러, 비엔데브(bndev)도 공개했다. 백앤드 AI CLI 인스톨러는 터미널 등이 아닌 자동으로 백앤드 AI 패키지를 설치하고, 오프라인도 지원한다. 이를 통해 내부망 등에서도 백앤드 AI의 서비스를 활용할 수 있다. 비엔데브는 직접 개발 환경을 구축하는 서비스다. 백앤드 AI의 복잡한 개발 환경을 쉽게 풀어서 보고, 누구나 서비스 내 다양한 오픈소스를 배포하고 활용할 수 있는 인프라를 만들도록 지원한다.

“백앤드 AI, 엔비디아 블랙웰, 퓨리오사 RNGD 등 지원한다”

백앤드 AI는 매년 3월, 9월에 주요 업데이트되며, 오는 9월 중 24.09 코어 업데이트가 진행된다. 이번 업데이트로 개발자의 AI 배포를 돕는 엔비디아 NIM을 공식 지원하며, 모델 이름만으로도 서비스를 적용할 수 있다. 하드웨어 측면에서는 그레이스 호퍼 GH200, GB200은 물론 인텔 가우디 2, 3, 퓨리오사AI RNGD, 리벨리온 아톰 등의 AI 가속기를 공식 지원한다.

작업 스케줄 기능도 강화해 성능은 끌어올리고, 또 일반 스케줄러와 독립 운용된다. 이를 통해 대규모 인프라스트럭처 관리 작업에서 관리자가 직접 GPU의 작업을 선택해 지정해 수정한다. 예를 들어 GPU를 여러 구성으로 나누고, 속도나 성능, 온도 등 조건에 맞춰 각각 다르게 최적화할 수 있다. 인터페이스도 인포그래픽 디자인 전문 기업 바이스버사와 협업해 웹브라우저에서 쓰는 것처럼 UI/UX를 재단장했다.

래블업의 컨테이너 오케스트레이터 소코반(Sokovan)은 독자적인 클러스터 관리 체계와 함께 쿠버네티스 기반으로도 동작하게 된다. 쿠버네티스 기반으로 동작하는 컴퓨팅 체계에서도 속도를 늘릴 수 있도록 기술과 가속기 관리 기능을 통합하고, 또 엔비디아, 인텔, AMD 등의 플러그인을 온오프라인으로도 활용할 수 있도록 한다.

기업 대상 엔터프라이즈 사업 현황은?

신정규 대표는 “백앤드 엔터프라이즈의 핵심은 AI를 쉽게 만드는 것이다. AI 옵스부터 최종 사용자까지 누구나 AI를 사용하고 지원받는 게 목표다. 템플릿을 제공해 처음부터 파이프라인을 만들 필요 없이 간단한 수정만 거치면 쓸 수 있고, 기존 작업에 파트너사의 작업을 손쉽게 추가하는 식을 뜻한다”라고 말했다.

이를 위해 파인튠잉(Finetun.ing)이라는 서비스를 공개했다. 파인튜닝은 AI 모델의 정확도를 끌어올리기 위해 새 데이터를 추가하고 훈련, 향상하는 과정이다. 래블업의 파인튠잉은 엔비디아 네모트론-4-340B LLM을 내장해 데이터를 추가할 필요 없이 자체적으로 데이터를 파인튜닝한다. 훈련 설계는 프롬프트만 입력하면 되고, 기업 데이터를 추가할수도 있다. 고도화에 필요한 데이터는 내장된 엔비디아 네모트론에서 합성 데이터로 만들어진다.

아울러 모델 배포를 가속화하는 ‘빨리(PALI, Performant AI launcher for inference)’를 소개했다. 빨리는 통합된 모델 스톡으로 사전 개발 모델의 배포를 간소화한다. 누구나 쉽게 설치하고 쓸 수 있으며, 엔비디아 NIM, 허깅페이스 모델을 활용하거나 커스텀 모델을 가져오는 ION도 지원한다. 이와 함께 하드웨어 추론을 위해 스케일러블 인프라스트럭처 서비스 빨리²(PALI²), 폐쇄망 등 기관 내에서도 대규모 언어 모델을 사용할 수 있도록 돕는 빨랑(PALANG) 등도 함께 공개했다.

신정규 대표는 “래블업은 엔비디아와 함께 GH200을 활용한 인스턴스 제품을 준비 중이며, 10월 1일에 교세라에서 백앤드 AI를 활용한 인스턴스 AI 제품을 공개할 예정”이라는 소식도 밝혔다.

다양한 세션에 개발자 몰려, 누구나 AI 쓰는 세상 올 것

기조강연 이후에는 마이크로소프트 AI MVP인 박해선 작가가 케라스 자연어 처리(KerasNLP)로 Phi-3 LLM 만들기, 황성진 KT클라우드 AI 플랫폼팀 팀장의 백앤드 AI 도입사례, 김찬란 엔비디아 부장의 엔비디아 NIM 소개, 곽재도 인공지능산업융합사업단 기반조성본부장의 광주 AI밸리 조성사업 추진현황 및 지원사례 소개, 최종호 리벨리온 소프트웨어 엔지니어의 리벨리온 SDK 소개 등 다양한 세션이 진행됐다.

신정규 대표는 “시간이 없어서 밀린 프로젝트도 있고, 빛을 보기 위해 기다리는 AI 제품도 있다. 래블업은 AI 기술을 쉽게 만들기 위해 엔비디아, 인텔, AWS 등의 혁신 기업들과 협력하고 있으며, 모든 사람들이 각자의 데이터를 활용해 통찰, 가치를 이끌어내는 세계를 만드는 것을 목표로 삼겠다”라고 말했다.

글 / IT동아 남시현 (sh@itdonga.com)