아카마이, AI 추론 서비스 및 에이전트 실행 환경 출시

2026.11.02. 10:48:28

아카마이 테크놀로지스(아카마이코리아 대표 이경준, www.akamai.com/ko)가 아카마이 클라우드(Akamai Cloud)에 매니지드 모델 서빙과 AI 에이전트를 위한 격리된 실행 환경을 제공하는 자사 AI 스택의 두 가지 기반 제품인 ‘아카마이 인퍼런스(Akamai Inference)’와 ‘아카마이 에이전트 샌드박스(Akamai Agent Sandbox)’를 발표했다. 이번 추가 기능을 통해 AI에 최적화된 인프라를 갖춘 단일 클라우드 플랫폼에서 자체 모델 또는 호스팅된 오픈 웨이트(open-weight) 모델을 구축 및 조정(튜닝)하고, 자체 데이터를 기반으로 모델을 접목하며, 엄격히 적용된 경계 내에서 에이전트를 실행하는 것은 물론 관련된 애플리케이션, 에이전트, 인프라 전반의 보안을 확보할 수 있게 된다.

이러한 기능은 아카마이의 AI전략의 가장 발전된 단계로, 이를 통해 기업은 사용자와 데이터에 근접한 위치에서 AI 애플리케이션 및 에이전트를 서빙, 실행, 보호하는 데 필요한 신뢰할 수 있는 글로벌 인프라와 서비스를 사용할 수 있다. 아카마이 인퍼런스와 아카마이 에이전트 샌드박스는 총 140억 달러 이상의 아카마이 클라우드 다년 계약을 이미 확보한 탄탄한 기반 인프라 위에 매니지드 서비스를 추가한다. 이러한 모멘텀은 상호 연결된 글로벌 네트워크 패브릭 상의 클라우드 스토리지, 네트워킹, 엣지 기능과 함께 CPU 및 GPU를 모두 활용할 수 있는 아카마이의 역량이 고객들이 대규모 AI 워크로드를 구축, 배포, 운영할 수 있는 신뢰할 수 있는 토대로 빠르게 자리 잡고 있음을 입증한다.

AI를 실제 프로덕션 환경으로 전환하려는 기업에는 모델 그 이상의 요소가 필요하다. 서비스 인프라, 자체 데이터 접속 권한, 라우팅 및 거버넌스가 요구되며, 특히 에이전트가 자체 코드를 작성하고 실행하기 시작함에 따라 해당 코드가 접근할 수 있는 영역에 대한 강력한 보안 경계가 필수적이다. 대부분의 팀은 이러한 요소들을 서로 다른 공급업체로부터 조합해 구축하고 상호작용 접점의 보안을 자체적으로 해결하고 있다. 아카마이 클라우드는 이제 코어 리전의 고밀도 GPU 및 CPU 클러스터부터 4,350개 이상의 엣지 로케이션에 이르는 연속적인 컴퓨팅 환경에 걸쳐 배치되고, 세계 최대 규모의 글로벌 온라인 비즈니스를 방어하는 동일한 보안 포트폴리오로 보호되는 연결된 AI 환경을 제공한다.

아담 캐런(Adam Karon) 아카마이 클라우드 최고운영책임자(COO) 겸 총괄(GM)은 “아카마이는 AI 추론이 기업의 주된 관심사이자 투자의 대부분을 차지할 것이라는 관점에 기반하여 AI 인프라 전략을 추진해 왔다. 고객들이 이러한 가설을 입증해 주었고 아카마이를 더욱 발전시켜 주었다”며, “고객은 단일 플랫폼에서 AI를 구축, 실행, 보호하기를 원한다. 아카마이 인퍼런스와 아카마이 에이전트 샌드박스는 아카마이의 AI 인프라를 완전한 AI 스택으로 탈바꿈시키는 추론 및 실행 계층을 추가하며, 자사의 보안 포트폴리오는 이 모든 계층을 안전하게 보호한다. 아카마이는 독보적인 규모와 분산 역량을 바탕으로 확장되는 실시간 추론 및 에이전틱 워크로드를 처리할 수 있는 최적의 입지를 갖추고 있다”고 밝혔다.

아카마이 인퍼런스(Akamai Inference), 인프라 운영 부담 없는 모델 접근 지원

아카마이 인퍼런스는 OpenAI 호환 API를 통해 오픈 웨이트 및 맞춤형 모델에 대한 매니지드 접속 권한을 제공하므로 기존 애플리케이션을 재작성(rewrite)하지 않고도 그대로 마이그레이션할 수 있도록 지원한다. 고객은 서버리스 종량제 추론 방식 또는 전용 배포 방식을 선택할 수 있다. 출시 시점에는 검색 증강 생성(RAG)을 위한 임베딩 모델과 함께 엔비디아 네모트론 3 울트라(NVIDIA™ Nemotron 3 Ultra), 오픈AI gpt-oss-120b(OpenAI™ gpt-oss-120b), 구글 젬마 4(Google™ Gemma 4) 등 80억 개(8B)에서 2조 8,000억 개(2.8T) 매개변수 규모의 오픈 가중치 모델 12종이 카탈로그에 포함된다.

아카마이 클라우드는 매니지드 데이터베이스와 오브젝트 스토리지에 대한 접근 권한을 제공하며 프라이빗 및 퍼블릭 클라우드 플랫폼과 원활하게 연결되어 모델이 기업 데이터를 직접 활용할 수 있도록 돕는다. 이어 아카마이 인퍼런스는 오케스트레이션, 모델 실행, 인증을 처리한다. 모든 요청은 아카마이 글로벌 네트워크에서 처리되므로 지연 시간을 줄이고 예측 가능한 서비스 수준을 유지하면서 높은 가용성과 일관된 성능을 보장할 수 있다.

아카마이 에이전트 샌드박스(Akamai Agent Sandbox), 에이전트를 위한 안전한 실행 환경 제공

AI 에이전트는 사용자를 대신해 작업을 수행하는 것부터 자체 코드를 작성하고 실행하는 것까지 실질적인 업무를 점점 더 많이 수행하고 있다. 아카마이 에이전트 샌드박스는 개발자에게 이 두 가지 작업을 모두 실행할 수 있는 안전한 환경을 제공한다. 에이전트는 아카마이 펑션(Akamai Functions)에서 실행되며, 에이전트가 작성한 코드는 에이전트의 런타임과 완전히 격리된 별도로 마련된 자체 환경에서 구동된다. 스핀(Spin) 프레임워크의 오픈소스 컴포넌트로 제공되는 아카마이 에이전트 샌드박스는 웹어셈블리(WebAssembly) 격리 기술을 활용해 컴퓨팅, 메모리 아웃바운드 연결, 시스템 기능에 대한 명확한 한계를 설정한다. 개발자는 에이전트가 어디에서 실행되고 어디까지 접근할 수 있는지 확신을 갖고 배포할 수 있다.

에이전트 격리 기술은 스냅샷 및 포크(fork) 기능을 갖춘 마이크로VM(microVM)부터 정책 기반 컨테이너, 웹어셈블리 격리 기반 함수에 이르기까지 다양한 모델로 수렴되고 있다. 아카마이는 엔비디아 가속 및 전용 CPU 인프라, 매니지드 쿠버네티스(Managed Kubernetes), 엣지와 코어 전반의 서버리스 실행을 지원하는 아카마이 펑션을 바탕으로 개발자가 워크로드에 가장 적합한 아키텍처를 선택할 수 있도록 지원한다. 또한 아카마이는 에이전트가 접근할 수 있는 대상과 에이전트에 접근할 수 있는 대상을 제어하고 관리하는 기능을 추가로 도입할 계획이다.

광범위한 GPU 제품군에서 구축 및 튜닝 지원: 현재 NVIDIA Blackwell Ultra, 향후 Vera Rubin 지원 예정

아카마이는 전용 GPU 인프라를 확장하여 엔비디아 블랙웰 울트라(NVIDIA Blackwell Ultra) GPU 클러스터를 추가했으며, 내년에는 엔비디아 베라 루빈(NVIDIA Vera Rubin) 플랫폼을 지원할 수 있도록 인프라를 준비하고 있다. 현재 아카마이의 GPU 제품군은 저지연 추론을 위한 엔비디아 RTX 프로 6000 블랙웰 서버 에디션(NVIDIA RTX PRO™ 6000 Blackwell Server Edition®) GPU부터, 자체적으로 제어 가능한 인프라에서 모델을 구축, 튜닝 및 셀프 호스팅하고자 하는 기업을 위한 엔비디아 블랙웰 울트라 GPU 클러스터까지 아우른다. 또한 아카마이는 2027년 엔비디아 베라 루빈 플랫폼을 지원하기 위해 데이터 센터 준비 작업을 진행하고 있다.

각 8개 GPU로 구성된 블랙웰 울트라 노드는 GPU당 288GB, 총 2.3TB의 HBM3e 메모리를 탑재하여 프런티어급 모델을 구동하기에 충분한 용량을 제공한다. 블랙웰 울트라 아키텍처는 테스트 시점 스케일링(test-time scaling), 사고의 연쇄(Chain-of-Thought, CoT) 추론, 긴 컨텍스트를 처리하는 에이전틱 작업 등 대규모 메모리 수요를 유발하는 워크로드를 목표로 한다. GPU 클러스터는 기업에 모델 버전 관리와 수명 주기(폐기 일정)에 대한 통제권을 제공하며, 속도 제한이나 멀티테넌시 공유 대기열 없이 구동된다. 또한 아카마이 클라우드의 데이터, 네트워킹, 보안 서비스와 완벽히 연동된다.

존 알렉산더(Jon Alexander) 아카마이 클라우드 기술 부문 수석 부사장은 “기업이 AI를 프로덕션 환경에 적용할 때 속도와 통제권의 균형을 두고 고민할 필요가 없다”며, “어떤 팀은 매니지드 플랫폼을 통해 이번 분기 내에 즉시 AI 기능을 출시하기를 원하고, 또 다른 팀은 원하는 조건에 맞춰 프런티어급 오픈 모델을 실행하기 위해 전용 GPU를 필요로 한다. 에이전트를 운영하는 모든 팀은 해당 에이전트가 작성한 코드 주변에 강력한 보안 경계가 필요하다. 아카마이 클라우드는 보안성과 복원력을 기본으로 내장하여 이 모든 요구사항을 단일 플랫폼에서 완벽히 지원한다”고 강조했다.

아카마이 에이전트 샌드박스(Spin SDK 사용)와 아카마이 인퍼런스는 현재 베타 버전으로 제공되고 있다. 아카마이 인퍼런스 베타에는 서버리스 배포 옵션이 포함된다. NVIDIA B300 GPU 클러스터 지원 여부 및 상세 일정은 아카마이 영업팀을 통해 문의할 수 있다.

이미경 기자/honga@mediapic.co.kr