[IT동아 남시현 기자] 카카오엔터프라이즈는 9월 17일 서울 삼성동 코엑스 델 테크놀로지스 포럼 2025 콘퍼런스에 참가해 클라우드 서비스와 구축형 서버(이하 온프레미스)의 기능을 합친 '하이브리드 GPUaaS'의 핵심 정보를 공개했다. 앞서 9월 11일에 이 기술의 개요와 도입 환경 등을 공개한 데 이어 이번 콘퍼런스에서는 하이브리드 GPUaaS의 사업상 이점과 활용 조건, 도입 사례 등을 구체적으로 소개했다.

이재한 카카오엔터프라이즈 사업본부장은 “하이브리드 GPUaaS는 GPUaaS의 장점과 온프레미스의 장점을 합친 새로운 브랜드며, 기존에 없는 새로운 개념이다. 하이브리드 GPUaaS는 기업이 효율과 안정성, 확장성을 고려해 GPU를 도입할 때 적합한 선택지가 될 것이다"라고 소개하며 발표를 시작했다.

요금 비싼 GPUaaS, 구축 어려운 온프레미스

시장조사기업 마켓앤마켓은 2025년 AI 데이터센터 시장 규모를 약 2364억 4000만 달러(약 328조 1700억 원)로 보며, 2030년까지 매년 31.6%씩 성장해 최대 9337억 6000만 달러(약 1296조 500억 원)의 시장으로 성장할 것으로 발표했다. 이에 따라 AI 모델 훈련에 필요한 GPU 수급과 운용 비용 역시 늘어나는 추세다. 이재한 사업본부장은 AI 기술을 성장시키기 위해 GPU 자원, 데이터 품질 및 확보, 사회 및 제도적 장벽 문제를 해결해야 한다고 말한다.

이재한 사업본부장은 “GPU 자원과 관련해 많은 기업들이 어려움을 겪는다. 인프라 확보도 어렵지만 고가의 GPU를 운용하는 기술과 인력, 유지비 등도 문제다. 데이터 수급의 편향성과 불균형을 해결하고 이를 다룰 전문 인력을 갖추는 것도 기업이 해결할 과제다. AI 기술의 빠른 발전 속도를 따라오지 못하는 제도 장벽과 규제에도 대응해야 한다. 이런 문제들을 넘어야 AI 시장이 꾸준하고 올바르게 성장할 수 있다”라고 AI 시장 상황을 진단했다.

그렇다면 기업 환경에서 AI 인프라 도입을 위해 무엇을 검토해야 할까. 우선 기업의 자금 사정과 활용 환경에 따라 인프라 도입 방식이 다르다. 이재한 사업본부장은 “조건과 향후 이윤을 고려하는 게 먼저다. GPU를 단기적으로 쓸지 중장기적으로 쓸지, 고정적으로 사용하는 프로젝트인가 클라우드 환경에서 대여할 것인가에 따라 다르다. 확장성도 짚어야 한다. GPU를 열 대 정도 쓰다가 어떨 때 수백 장이 필요할 때도 있고, 어떤 경우에는 엔비디아 H100을 쓰다가 곧바로 B200이 필요할 수 있다”라고 조건을 정리했다.

운영 관리 영역에서도 AI 플랫폼, 서버 환경을 구축하고 운영할 역량이 있는지, GPU를 배치할 상면이 있는지 등도 고려해야 한다. 이재한 사업본부장은 “예를 들어 GPU를 단기간만 사용하거나 빠르게 서비스를 출시해야 하는 조건, 자원 변동 폭이 크고 추론 서비스 등을 많이 활용한다면 GPUaaS가 좋다. 중장기에 걸쳐, 혹은 고정적으로 GPU를 활용한다면 온프레미스가 적절하다. 하지만 갈수록 고전력 렉을 구하기도 힘들고, 수랭식 GPU가 등장하며 구축이 쉽지 않다”라면서, “그러다 보니 온프레미스가 적합한 조건에도 인프라 확보를 못해 GPUaaS를 사용하고, 도입 비용도 늘어난다. 이를 해결하기 위해 하이브리드 GPUaaS를 출시했다”라고 말했다.

GPUaaS의 유연성과 온프레미스 운용 한계 해결한 하이브리드 GPUaaS

이재한 사업본부장은 “하이브리드 GPUaaS는 일반적인 GPUaaS 고객보다는 온프레미스 고객을 위한 서비스다. 고객이 카카오클라우드가 보유한 서버 자산을 구매하고, 이 서버를 GPUaaS로 제공하는 방식이다. 기존의 GPUaaS는 데이터센터 내 클라우드 서비스 제공자(이하 CSP)의 보유 자산을 기반으로 제공되지만, 하이브리드 GPUaaS는 고객 소유의 GPUaaS를 별도로 두고 여기서 자원을 끌어간다. GPU의 소유 구분만 있고, 운영 및 관리 등은 카카오클라우드가 관리한다”라고 말했다.

즉 고객이 카카오클라우드를 통해 GPU 서버를 위탁 구매한 뒤 운영 및 관리는 카카오클라우드가 전담한다. 그다음 기존 카카오클라우드의 GPUaaS와 동일하게 사용한다. 언뜻 보면 프라이빗 클라우드와 비슷하지만 서버의 물리적 위치와 관리 주체는 CSP가 담당하면서 소유주는 기업이라는 점이 차이다.

프라이빗 클라우드는 데이터 서버 내 특정 영역만 임차해서 전용으로 사용하는 방식이다. 이때 제3자 공급업체가 원격으로 관리하는 호스팅 방식이 일반적이고, 기업 내부에 직접 서버를 설치하고 폐쇄형태로 운영하는 온프레미스 프라이빗 클라우드도 있다. 활용 자체는 온프레미스 프라이빗 클라우드와 비슷하나, 소유권은 기업에 있으면서도 카카오클라우드 데이터센터에 배치되고 직접 관리해주는 게 차이다.

경제성 측면에서는 GPUaaS와 온프레미스 양쪽 모두와 비교해도 이점이 있다. 이재한 사업본부장은 “카카오클라우드를 통해 제품을 구매하면 구매 비용부터 구축비 모두 기업이 단독으로 구매하는 것보다 조금 더 저렴하다. 또 온프레미스로 직접 구축하면 사용 관리나 대시보드, 도구 개발, 구성 등의 비용도 추가로 들어간다. 카카오엔터프라이즈는 엔비디아 H100, H200, B200 등 다양한 GPU 구축 역량도 있고, 표준화 절차도 있다. 인피니밴드(고속 네트워크 연결)로 연동하는 과정도 4주면 충분하다”라고 설명했다.

이어서 “일반 GPUaaS와 하이브리드 GPUaaS와의 비용 차이는 일반 GPUaaS가 약 33% 더 비쌌고, 온프레미스도 약 11% 더 비쌌다. 현대의 AI 작업은 다양하고 복잡한 AI 작업을 요구하며, 단일 설루션만으로는 이를 충족하기가 어렵다. 하이브리드 GPUaaS를 활용하면 복잡한 AI 작업에도 효율적으로 인프라를 구축하면서 유연성과 편의성 모두 확보할 수 있다”고 강조했다.

“하이브리드 GPUaaS의 유휴 자원 공유도 테스트 단계”

카카오클라우드는 GPU의 투자 적정성 확보를 위해 하이브리드 GPUaaS로 구매한 서버를 임차하는 방안도 실험 중이다. 고객이 구매한 하이브리드 GPUaaS가 유휴 상태일 때 다른 고객에게 대신 빌려줘 부가 수익을 올리는 방안이다. 이재한 사업본부장은 “하이브리드 GPUaaS로 서버 자산을 임대하는 방식은 아직까지는 일부 고객을 대상으로 테스트 중이고, 결과를 보고 정식 서비스 여부를 결정할 것”이라고 답했다.

하이브리드 GPUaaS, 기존에는 없는 새로운 방식

카카오클라우드의 하이브리드 GPUaaS는 의외로 독자적인 서비스 방식이다. 방식 자체는 기업이 자체 소유한 서버를 데이터센터 등에 임대해서 배치하는 코로케이션(Colocation), 관리 기업이 서버 자체의 모니터링 및 유지보수까지 모두 진행하는 매니지드 코로케이션과 매우 유사하다. 따라서 하이브리드 GPUaaS는 ‘GPU 특화 매니지드 코로케이션’에 가깝다. 물론 카카오클라우드가 서버 구축과 운영을 도맡고 소유권이 기업에 있다는 점이 다르다.

고객이 물리서버 전체를 단독으로 사용하는 베어메탈 클라우드는 이미 오래전부터 서비스되어 왔다. 베어메탈 고객사는 가상화 없이 물리 서버를 그대로 활용할 수 있지만, 하드웨어 소유권 자체는 클라우드 서비스 기업에 있다. 몇 년전부터 MS 애저 아크, AWS 아웃포스트, 구글 안토스(Anthos)같이 온프레미스와 퍼블릭클라우드를 결합한 플랫폼도 등장하고 있지만, 카카오클라우드 하이브리드 GPUaaS는 아예 고객 구매부터 운영까지 모두 제공한다는 점에서 기존 서비스와 차별화된다.

하이브리드 GPUaaS는 초기 도입 시 상당한 자금 투입이 필요한 점, 규모 축소 시 카카오클라우드의 재구매 여부와 제품 감가상각, 향후 플랫폼 이전이 어려울 수 있다는 점은 따져봐야 할 요소다. 그래도 기존 GPUaaS보다 안정적으로 이용할 수 있으며, 무엇보다 온프레미스 서버 운용의 어려움을 해소할 수 있다 것 자체가 큰 장점이다. 새로운 사업 모델이 카카오클라우드의 성장에 탄력을 불어넣을지 기대된다.

IT동아 남시현 기자 (sh@itdonga.com)