[IT동아 남시현 기자]

“베슬AI는 단순히 GPU를 공급하는 기업이 아니라 GPU를 보다 빠르게 확보하고 공급하는 네오클라우드 기업, 즉 ‘프리미엄 클라우드’에 가깝다고 설명드립니다. 베슬AI의 차별점은 GPU가 더 저렴하다거나 더 많이 확보하고 있다는데서 오는 게 아니라 지난 몇년 간 MLOps 사업을 해오면서 GPU 인프라 운영과 AI 워크로드 자체에 대한 깊은 전문성을 함께 쌓아온 것을 바탕으로 합니다”

전지환 최고기술책임자(CTO)는 2014년 샌프란시스코 소재의 스타트업에서 경력을 시작했으며 이후 데브시스터즈, 펍지(現 크래프톤), 구글 사이트 신뢰성 엔지니어를 거쳐 2020년 안재만 대표 등과 함께 베슬AI를 창업했다. AI 관련 기술 등을 전공한 것은 아니지만 게임 분야를 거치며 클라우드, 데이터베이스 관련 경력을 쌓았고, 구글에서 일할 시점에는 수억 명의 사용자 트래픽을 관리하며 인프라 시장의 중요성을 체감해왔다.

특히 2020년 구글에서 일할 당시에는 기계학습 등을 통해 트래픽 등을 관리하는 작업을 접했고, 내부적으로는 AI 번역, 광고 관리 등도 활용되는 시점이었다. 그렇게 일하던 중 연구 자원을 더 효율화하고, 향후 인프라의 병목은 결국 컴퓨팅 자원의 관리에서 올 것이라고 생각하기 시작했다. 이때쯤 안재만 대표가 AI 자원을 효율적으로 운영·관리하는 MLOps에 대해 소개해주면서 세상을 더 효율화해보겠다는 꿈을 안고 베슬AI를 창업했다. MLOps 기업에서 네오클라우드 기업으로 성장 중인 베슬AI를 찾아 대화를 나눠봤다.

“베슬AI, 네오클라우드·완전관리형 GPUaaS로 확장 중”

베슬AI의 근간이자 정체성은 MLOps다. MLOps(Machine Learning Operations)란 기계학습 모델의 개발, 배포, 운영 등 전체 과정을 자동화하고 통합하는 방법론이다. 개발된 모델이 실제 서비스와 인프라에서 안정적으로 구동하고 관리하는 전반적인 과정을 뜻한다. 초기에는 베슬AI도 개발자들이 기계학습 전반을 배포한 뒤 관리하도록 돕는 것에 집중했고, 2023년에는 대형언어모델(LLM) 개발 수요가 급증하며 VESSL 런 등 LLM 학습 및 배포 관리를 위한 LLMOps로 사업을 확장했다.

2024년에는 기계학습 전체 수명 주기를 관리하는 MLOps 기업으로 성장했지만 문제는 수익성이었다. 사업성은 좋지만 이탈률은 높고 고객들은 지출을 늘리지 않았다. 그러다 2023년부터 학계 관계자들을 위해 운영 중이었던 단 4개의 A100 노드가 수익성을 내는 것에서 영감을 얻어 2025년 11월부터 네오클라우드로 사업을 재편한 뒤 올해 2월 베슬 클라우드를 공식 출시했다.

네오클라우드는 AI 스타트업, 연구 기관, LLM 개발사 등을 대상으로 빠르게 GPU 자원을 공급 및 최적화하는 사업이다. 2026년 8월 현재 GPU 운영 규모는 약 7000장, 계약 금액은 1300억 원에 이른다. 베슬AI는 올해 연말까지 2500억 원에서 3000억원 수준의 계약을 체결할 예정이다.

전지환 CTO는 공동창업자이자 기술최고책임자로서 그 중심에서 사업을 이끌어왔다. 전지환 CTO는 “에이전트 AI의 등장으로 AI 기술 시장 전반의 흐름이 바뀌고 있다. 2010년까지만 해도 AI의 매개변수는 몇백만 개 수준이었지만 지금은 수천 억 개 이상을 갖춘 모델들이 나오고 있으며, 필요한 GPU 인프라 스케일도 몇백 배까지 커진 상황이다. 베슬AI는 연구 및 추론 수요를 감당하기 위해 다각적으로 고민해왔다”라고 설명을 시작했다.

이어서 “CTO로서의 역할은 연구개발 자체기술 구축이다. 기술 전반의 로드맵을 수립하는 것부터 대외적인 기술지원까지 모든 업무 과정에 관여한다. 대외적으로는 사업이 MLOps에서 네오클라우드로 바뀐 것이라고들 하나 본질은 규모의 차이일 뿐이다. 특히 MLOps를 몇년 간 해온 덕분에 다른 GPU 사업자와 달리 GPU 대체, 추론, 최적화 부문에서 GPU 인프라, AI 워크로드 전문가까지 모두 갖춰 대형 사업자보다 훨씬 더 세부적으로 추론 최적화 및 비용 효율화를 돕는다”라고 말했다.

“사전 학습보다 사후 학습, 추론의 시대 오고 있다”

GPT 등장 이후 2년 정도는 대규모 사전 학습이 시장의 대세였다. 완전히 새로운 모델을 만들기 위한 GPU 확보에 모든 AI 기업들이 대규모 인프라와 자금을 쏟아부었다. 이렇게 토대가 만들어진 이후부터는 이미 만들어진 파운데이션 모델, 대규모 언어 모델을 추가로 학습하는 사후학습 최적화나 이를 통해 답변을 생성하고 결과를 만드는 추론 작업이 대세로 자리잡았다. 베슬AI의 전환도 이 시기와 맞물려 있다.

전지환 CTO는 “인프라 구동 측면에서도 추론과 사후 학습 비중이 빠르게 늘고 있으며 내년이면 사전학습의 수요를 넘어설 것으로 보인다. 앞으로 중요한 것은 GPU의 순수 연산 성능뿐만 아니라 모델 데이터를 지속적으로 불러오는 HBM의 용량, 그리고 메모리 대역폭에 따른 병목을 어떻게 관리하느냐에 달렸다. 이미 내부적으로 사후학습 팀을 별도로 구성해 기술지원을 하고 있고, 앞으로 더욱 팀의 중심으로 작용할 예정”이라고 말했다.

이 과정에서 베슬AI의 ‘플루이드 컴퓨팅’이 빛을 발한다. 전지환 CTO는 “네오클라우드 기업에 있어서 단 한 가지의 가장 중요한 지표는 ‘GPU의 가동 효율이 얼마나 높은가’다. 하나의 클러스터 수준이 아니라 수만 장 이상의 GPU에 대한 전반적인 가동 효율을 관리하고, 작업을 분산하고, 유휴 자원과 대기 자원, 저장장치의 현황은 어떤지를 복합적으로 진단해 비용을 효율화 및 최적화해야 한다”라고 말했다.

이어서 “실제 작업에서는 관여하는 개체도 많고 구성도 복잡하다. 고객의 자산이라는 기준도 중요하지만 최적화, 매개변수의 규모, GPU 확정 사용량, 요청 등도 기준이 된다. 여기서 서빙 비용은 얼마인지, 어느 클러스터에 배치하는지, 주변의 전력 환경과 작업 스케줄링은 어떤지 등도 따진다. 작업 관리는 고객의 작업 규모에 따라 다르며 고객사가 리스케줄링에 대해 모르고 넘어가는 경우도 있다. 그만큼 작업에 끊김없이 연속성 있게 관리되는 것이 플루이드 컴퓨팅의 핵심”이라고 말했다.

베슬AI의 최적화는 여러 기업들의 수요를 관리하는 것을 넘어서 여러 클라우드 서비스 제공자까지 모두 엮여있다. 즉 고객 기업과 고객사가 이용 중인 퍼블릭 클라우드, 자체 클라우드가 복합적으로 동작하고 여기에 여러 종류의 작업까지 모두 유기적으로 스케쥴링 되는 복잡한 작업인 셈이다. 다행히 사후 학습 비중이 높아지는 현상이 베슬AI 입장에서는 유리하게 작용한다. 전지환 CTO는 “작업 분산 기준은 작업 단위다. 사전학습의 경우 분산이 어려워 GPU, 저장장치 등도 복합적으로 활용해야 하지만 사후학습은 어느 곳에서 서비스되든 관리할 수 있어서 상대적으로 자유롭게 배치하고 균형을 잡는다”라고 말했다.

베슬AI, 에이전틱 AI 기반으로 차세대 스케쥴링 기법도 도입 中

넓은 의미에서는 MLOps도 개발, 코딩 영역에 있기 때문에 AI 및 AI 에이전트 도입도 활발하다. 베슬AI는 올해 4월, 터미널에서 직접 작업 영역을 생성하고 배치 실행, 데이터 업로드, GPU 자원 관리 등을 자동화하는 vesslctl(베슬컨트롤)을 선보였다. 베슬컨트롤은 베슬클라우드의 공식 CLI(커맨드 라인 인터페이스)면서 AI 코딩 도구에서 CLI 문서를 참조할 수 있도록 모델 콘텍스트 프로토콜(MCP)도 지원한다. 쉽게 말해 외부 AI 코딩 에이전트가 vesslctl를 활용해 GPU 스케쥴링 및 관리 작업을 할 수 있다.

전지환 CTO는 “올해 초 내부적으로 AI로 동작하는 베슬 CLI를 구축하고 고객 및 전문가 대상으로 시범 운영했다. 사용자들 인터뷰를 해보니 클로드 코드, 커서 등에 CLI 문서를 보낸 뒤 에이전트 AI로 자동화하더라. 게다가 단순 자동화를 넘어서 사용자 패턴까지 위임하는 경우도 많았다. 실제 출시 이후 실제 사용자는 그대로지만 수동 관리용 메뉴인 웹 콘솔 이용률이 절반 수준까지 떨어졌고, 반대로 vesslctl 활용자가 크게 올랐다”라고 말했다.

이어서 “사람이 직접 학습 작업을 관리할 때는 눈으로 보고 수동으로 제어하므로 시행착오는 적지만 작업 시간에 제한이 있다. 반면 AI 에이전트로 구동하면 처음에는 실행 빈도나 시행 착오 자체는 수동 작업 대비 3~4배 많지만 반복 과정에서 패턴을 학습하며 자동화가 된다. 현재 전체 사용자 중 사람이 수동으로 작업하는 빈도는 약 30% 정도 줄었고, 사람이 개입하는 비중도 차츰 줄고 있다. 이 시간에 관리자들은 새로운 작업과 방향 결정에 집중하는 상황”이라고 설명했다.

AI에 작업을 위임하는 것에 따라 발생할 수 있는 사용량 부담도 별도로 관리한다. 전지환 CTO는 “MLOps를 하면서 느끼는 건 의외로 사람이 진행하는 작업에서도 낭비가 많다는 점이다. 실수로 켜놓고 간다던가 하는 식이다. 에이전트는 기본적으로 사용량 제한 설정은 물론 작업 시 필요한 양만 사용하도록 돼있다. 시행착오를 반복하는 것에 따른 낭비는 있어도 휴먼에러에 따른 낭비는 없다. 또 최근에는 모델이 고도화되면서 시행착오에 따른 탐색 비용조차 줄어들어 단순한 미세조정, 추론 최적화 정도는 100% 위임해도 될 정도다”라면서 “동시 작업을 제한하거나 사용 시간 등의 제약을 잘 걸어두는 식의 하네스 엔지니어링을 권장한다”라고 말했다.

엔비디아 포함한 이기종 컴퓨팅에 집중, 국산 NPU도 열려있어

현 시점에서는 엔비디아 GPU가 주력인데, AMD 인스팅트 GPU나 국산 신경망처리장치(NPU) 등 하드웨어로의 확장 가능성은 어떤지 질문했다. 전지환 CTO는 “베슬 클라우드의 문은 모든 AI 가속기에게 열려있다. 이미 AMD와는 협업을 진행 중이며 AMD 인스팅트 MI350 시리즈는 물론 MI450 계열의 헬리오스 랙스케일도 도입을 논의 중에 있다. 수요 차원에서는 엔비디아 GPU가 압도적이지만 결국 추론 최적화 관점에서는 와트당 성능을 얼마나 내는가라는 선택지도 제공해야 한다”라고 말했다.

이어서 “퓨리오사AI, 리벨리온 등 국내 AI 가속기 기업들도 지금은 엔비디아와 경쟁하기 보다는 특정 추론 분야에서 전력 소모대 성능비가 높다는 식으로 제품을 알리고 있다. AI 연산 가동률을 최적화하는 관점에서 고효율 추론 등이 가능하다면 베슬AI 역시 적극 지원할 의향이 있다. 기업들 역시 특정 NPU를 고집하기 보다는 특정 작업에서 특정 수준을 만족하려면 어떻게 해야 하는가 식으로 문의하고 있어서 충분히 가능성이 열려있다고 본다”라고 말했다.

최근 AI 인프라 시장이 단일 카드 단위에서 랙스케일로 발전하고 있는 점도 사전에 대응 중이다. 전지환 CTO는 “국내에서도 사후학습, 추론 두 분야에서 랙스케일에 대한 수요가 점차 발생하고 있다. 다만 최신의 고성능 GPU 수요는 독자AI파운데이션을 개발하는 수준의 프론티어 연구소 등에서 시작된 뒤 주요 AI 연구소, 대기업, 그 다음 순서가 스타트업으로 돌아간다. 빠르면 내년 1분기 정도면 주요 수요기업들이 랙스케일을 경험할 것으로 판단되며 스타트업들에게도 향후 기회가 돌아가도록 기반을 마련하고 있다”라고 말했다.

AI 인프라 업계의 최전선에서 보는 시각, ‘병목 해소에 모든 것이 달렸다’

2026년 AI 인프라 업계를 관통하는 핵심 키워드는 ‘병목’이다. 올해 초에는 고대역폭 메모리(HBM)이 병목으로 꼽혔으나 이제는 반도체 공급망 시작 시점부터 서비스 실행까지 거의 모든 과정이 병목으로 꼽힌다. AI 인프라를 직접 운용하는 최전선에서 바라보는 앞으로의 상황은 어떨까? 전지환 CTO는 “모든 게 다 병목이지만 GPU, 메모리, 전력 세 가지가 핵심이다. HBM은 병목 수준을 넘어서 생산량 자체가 시장의 규모를 결정할 것으로 본다”라고 말했다.

이와 관련해 베슬AI는 사후 학습 관점에서 더 작은 모델도 효율적으로 운용하는 부분, 그리고 사전 학습에서 코딩, 수학, 툴 작업 전반을 최적화하는 것에 투자 중이다. 아울러 KV캐시를 4비트 외의 극저비트 양자화했을 때 성능을 보전하는 기능 관련 연구도 진행 중이다.

일반적인 양자화는 모델 가중치와 활성값의 메모리 사용량 및 연산량을 줄이는 데 주로 활용된다. 최근에는 장문맥 추론에서 큰 메모리를 차지하는 KV캐시까지 4비트 이하로 양자화하려는 연구가 활발하지만, KV캐시는 어텐션 연산에 직접 사용되기 때문에 양자화 방식에 따라 정확도 저하가 발생할 수 있어 이를 최소화하는 것이 핵심 과제다. 결국 AI 모델의 본질적 성능부터 작업 전체의 과정 전반을 모두 효율화하겠다는 것이 베슬AI의 전략이다.

네오클라우드 기업으로서 베슬AI의 당면 과제는 스케일업이다. 전지환 CTO는 “현재 운영 중인 GPU가 약 7000장 정도다. 당장 목표는 올해 1만 장, 내년에는 5만 장 정도로 생각 중인데 이 정도면 아시아태평양 지역은 물론 글로벌에서도 주목할만한 규모다. 사업 규모를 키워 글로벌 네오클라우드 시장 경쟁에 뛰어드는 것이 다음 목표다”라면서 “궁극적인 목표는 단순히 매출을 올리자는 것이 아니라 연구자들이 자원 제약 없이 연구에 집중할 수 있는 바탕을 만들자는 것이다. 자원이 연구개발의 병목이 되어서는 안된다는 것이 우리같은 회사의 존재 이유다. 더 효율적인 GPU 운용, 그리고 GPU 5만 장 확보를 통해 당장의 목표를 달성해보일 것”이라고 말했다.

IT동아 남시현 기자 (sh@itdonga.com)