[IT동아 강형석 기자] 2026년 8월 25일, 델 테크놀로지스(Dell Technologies, 이하 델)는 서울 코엑스에서 델 테크놀로지스 포럼 2026을 열고, 인공지능(AI)을 실질적인 비즈니스 성과로 전환하는 방법을 모색했다. 델은 목표 지향적 백캐스팅 설계와 AI 최적화 인프라, 신뢰 기반 파트너십을 통해 그 가능성을 실현하는 방안을 제시했다.

델은 기업의 AI 도입 이후 성과에 의문을 제기했다. 지난 2년~3년간 기업들이 쏟아부은 생성형 AI 파일럿 프로젝트가 돈으로 이어지고 있는가 하는 물음이다. 기업들은 인공지능 전환(AX)을 위해 내부 시스템에 챗봇을 붙이고, 사내 검색엔진에 요약 기능을 추가하고, 임직원 교육을 진행한다. 하지만 여러 노력에도 AX 성과를 체감하지 못하는 기업도 나온다.

AX에 성공해도 문제가 따른다. AI를 사용하면서 발생하는 비용, 이른바 토크노믹스(Tokenomics)다. 토큰 하나를 생성하는 단가는 해마다 낮아지는 추세지만, AI가 스스로 계획하고 실행하는 에이전트가 주를 이루면서 소비되는 토큰의 총량은 오히려 늘었다. 마이클 델(Michael Dell) 델 최고경영자는 "토큰당 컴퓨팅 비용은 해마다 80%씩 하락하는 반면, 토큰 소비량은 2030년까지 3400% 증가할 것으로 전망된다. 이 흐름이 이어지면 전 세계 AI 인프라 지출 규모는 연간 3조~4조 달러(약 4153조 5000억 원~5538조 원)에 이를 것"이라고 경고한 바 있다.

반면, 에이전트와 오픈소스 AI 프레임워크 확산이 촉발한 비용 구조가 AI 장비 업체들에는 유리한 국면을 만든다는 분석도 나온다. 클라우드 종량제 요금이 감당하기 어려운 수준으로 치솟으면, 기업들은 자연히 자체 인프라나 하이브리드 구조로 눈을 돌릴 수밖에 없기 때문이다. 델도 향후 기업의 AI 도입 환경 변화에 대응하기 위해 다양한 AI 장비 솔루션을 제안했다.

토큰 사용 불안을 해소하려면 원칙 필요해

델 테크놀로지스 포럼 2026 기조연설에 나선 매트 던피(Matt Dunfee) 델 수석부사장은 기업이 AI를 도입할 때 놓치는 두 가지를 지적했다. 첫째는 회사의 경쟁 우위가 정확히 무엇인지 규정하지 않은 채 AI부터 붙이려는 태도이고, 둘째는 투자의 실익을 얻으려면 업무 처리 방식 자체를 바꿔야 한다는 점을 간과하는 태도다. 그는 낡은 과거 처리 방식에 AI만 덧붙이는 접근을 최악의 방법이라고 말했다.

그는 '에이전틱스(Agentics)'와 '토크노믹스(Tokenomics)'를 언급했다. 에이전트의 부상은 평범한 업무 자동화가 아니라, 새로운 경제 단위인 토큰이라는 자원을 중심으로 조직의 비용 구조를 다시 짜는 작업이라는 설명이다. 이어 AI가 일자리를 대체하기보다 직원들이 애초에 고용된 목적인 고부가가치 업무에 집중하도록 역량을 끌어올리는 방향으로 작동해야 한다고 강조했다.

매트 던피 수석부사장은 델 내부에서 에이전트를 복잡성과 자율성에 따라 구분해 활용한다고 소개했다. 이메일 초안 작성이나 데이터 분석을 돕는 생산성 에이전트, 데이터 품질을 관리하는 위생·스튜어드 에이전트, 서비스 케이스나 영업 계정 이관 시 고객 경험의 연속성을 지켜주는 조정 에이전트, 그리고 완전 자율성에 가까운 전문가 에이전트가 그것이다.

전문가 에이전트는 고객의 제품 보유 현황과 권한을 파악해 업그레이드 같은 거래를 자동으로 처리하는 수준까지 나아간다는 게 매트 던피 수석부사장의 설명이다. 그는 청중에게 자신의 직무기술서를 언어모델에 올려 어떤 업무를 사람이 맡고 어떤 업무를 에이전트에게 넘길지 직접 분석해보라는 실험을 제안하기도 했다.

토크노믹스에 관한 이야기도 이어졌다. 델의 영업 조직 사례를 보면 상위 10%의 직원이 전체 토큰 소비량의 90%를 차지한다. 만약 이 사용 패턴이 전체 직원으로 확산된다면, 지금의 비즈니스는 경제적으로 타당하지 않게 된다.

에이전틱 AI 시스템은 일반 생성형 AI 대비 100배에서 1000배에 달하는 연산량을 필요로 한다는 분석이다. 에이전트가 목표 달성을 위해 여러 AI 명령과 앱 실행 등을 거듭 수행하기 때문이다. 이 격차가 기업들이 AI 확장 국면에서 예상치 못한 비용 폭탄을 맞는 배경으로 꼽힌다. 이에 매트 던피 수석부사장은 "이제 IT 전문가가 시스템 관리자에서 AI 아키텍트로 거듭나야 하며, 어떤 작업을 온-디바이스나 오프라인, 클라우드, 온-프레미스 가운데 어디에서 처리할지 판단하는 경제적 감각이 필수"라고 짚었다.

교통사고 영상 분석을 활용한 사례도 들었다. 예로 응급팀이 문제 해결을 위해 AI 시뮬레이션을 구동하며 대응 시간 5초라는 결과값을 얻는 데 3억 개 이상 토큰이 소모됐다. 같은 시뮬레이션 모델로 온프레미스에서 구동한 엔비디아 네모트론 모델은 가장 저렴한 클라우드 모델과 비교해 10분의 1 수준의 비용으로 처리됐지만, 제미나이 플래시 모델을 썼을 때는 비용이 200달러까지 치솟았다. AI를 어떻게 설계해 구동하느냐에 따라 비용이 크게 좌우된다는 이야기다.

매트 던피 수석부사장은 토큰 사용 불안을 해소하려면 철저한 경제성 계획, 자유로운 실험 장려, 강력한 변화 관리 등 세 가지 원칙이 필요하다고 제언했다.

에이전트 AI 시대 보이지 않는 엔진은 메모리다

이어 연단에 오른 주영표 SK하이닉스 부사장은 AI 반도체 분야의 혁신과 델 테크놀로지스와의 기술 협력 사례를 소개했다. 그는 챗GPT(ChatGPT) 등장 이후 세상은 불과 몇 년 만에 AI와 함께 살아가는 방식으로 재편됐다고 말했다. 이어 트랜스포머 기반 대규모 언어모델은 막대한 메모리를 요구하는데, 70억 파라미터 모델 하나의 가중치를 저장하려면 테라바이트(TB)급 용량이 필요하다는 설명이 이어졌다.

예로 사용자가 답답함을 느끼지 않으려면 AI가 초당 약 20개의 토큰을 생성해야 하는데, 이 과정에서 초당 3.4TB에 달하는 메모리 대역폭이 필요하다. 650MB 용량의 콤팩트 디스크 6장 분량을 매초 그래픽 처리장치(GPU)로 밀어 넣는 것과 맞먹는 처리량이다.

메모리 요구량은 해가 갈수록 급증하는 추세다. 2024년 가을 등장한 GPT-o1과 2025년 초 공개된 딥시크(Deepseek) R1 같은 추론 모델은 답을 내놓기까지 스스로 반복 연산을 거친다. 이 과정마다 문맥 파악을 위한 키-값 캐시(KV Cache)가 재구성되고 재활용되면서 메모리 사용량이 급격히 불어난다. 상황에 따라 다르지만, 대형언어모델 추론과 KV 캐시를 함께 처리하는 AI 워크로드는 GPU당 80GB에서 120GB 수준의 메모리가 필요하다는 게 업계 설명이다.

코딩 에이전트나 멀티 에이전트로 대표되는 에이전틱 AI가 가세하면 상황은 한층 복잡해진다. 코딩 에이전트는 대기 시간을 줄이기 위해 초당 수백에서 수천 단위의 토큰 생성 속도를 요구하고, 여러 하위 에이전트가 서로 통신하며 문제를 해결하는 멀티 에이전트 구조는 사람 사이의 대화보다 훨씬 많은 통신량을 발생시킨다.

메모리 수요 폭증에 대응해 SK하이닉스는 성능, 에너지 효율, 자원 활용성이라는 세 가지 전략을 내놓았다. 먼저 성능 영역에서는 큰 대역폭을 제공하는 데 그치지 않고, 단위 면적당 얼마나 높은 대역폭을 구현할 수 있는지가 관건으로 꼽혔다. 디코드(복호화)나 어텐션(중요 데이터를 집중 처리하는 기술) 같은 AI 연산 상당수가 메모리 대역폭 병목 구간에 걸리는 탓에 시스템 성능을 끌어올리려면 결국 메모리 대역폭 자체를 높이는 수밖에 없다는 논리다.

GPU의 연산 성능은 칩 면적에 비례해 늘어나지만, 칩 주변에 배치되는 메모리 대역폭은 길이에 비례하는 탓에 메모리가 GPU 성능 발전 속도를 따라잡기 어렵다는 구조적 한계를 지닌다. 메모리 대역폭 문제를 메모리 자체의 문제가 아니라, 칩이 데이터를 주고받는 가장자리의 면적이 얼마나 되는가라는 쇼어라인(칩의 테두리) 문제로 다시 규정해야 한다는 시각이 주목받는 이유다.

주영표 부사장은 메모리를 칩 위에 수직으로 쌓아 대역폭도 면적에 비례해 늘리는 3D 스태킹 구조를 제시했다. 이 방식을 적용하면 초당 수십 테라바이트 수준의 성능 구현이 가능해진다. 반면 메모리를 8층, 12층, 16층 등으로 층층이 쌓을수록 GPU 열이 쌓이며 발열 문제가 커진다는 난제도 함께 짚었다. 발열 문제를 풀기 위해 메모리·GPU 개발사뿐 아니라 델 테크놀로지스 같은 시스템·인프라 기업과 손잡고 쿨링 솔루션을 함께 준비해야 한다는 점을 강조했다.

에너지 효율을 확보하기 위한 방안도 다뤘다. 그는 데이터를 연산하는 것보다 메모리에서 연산기까지 옮기는 과정에 훨씬 많은 에너지가 든다는 점을 설명했다. 해법은 연산기와 메모리를 최대한 가까이 붙이는 것이다. 비유하자면 주상복합 건물처럼 두 요소를 하나로 통합하는 방식이다. 메모리와 연산기를 수직으로 쌓는 3D 스태킹, D램 옆에서 곧바로 연산을 처리하는 프로세싱 인 메모리(PIM) 기술이 대안으로 꼽혔다. 최근에는 D램 내부에 연산 회로를 심는 프로세싱 인 메모리(PIM)보다 별도의 D램과 로직 칩 사이 이동 거리를 줄이는 선단 패키징 기술 쪽으로 관심이 쏠린다는 이야기도 나왔다.

활용성 측면에서는 고가의 GPU와 메모리가 유휴 상태로 낭비되는 문제가 지적됐다. 명령어를 처리하는 디코드 과정에서 대규모 캐시 이동이 발생하면 GPU와 메모리가 서로를 기다리며 비효율이 생긴다. SK하이닉스는 문제 해결을 위해 사용하지 않는 문맥 데이터를 별도 풀링 머신(전용 AI 처리 장비)에 내려놓았다가 필요할 때 다시 불러오는 '메모리 풀링' 개념을 연구 중이라고 밝혔다. 이 과정에서 CXL(Compute Express Link) 규격이 거론됐다. CXL 규격은 메모리를 유연하게 확장하고 공유하는 인터페이스로 주목받지만, 생태계가 먼저 갖춰져야 쓰임새가 발굴되고 최적화가 뒤따르는 문제가 남았다고 덧붙였다.

SK하이닉스가 제시한 청사진은 '풀스택 AI 메모리 크리에이터(Full-Stack AI Memory Creator)'다. 메모리 공급자 수준에서 머물지 않고 고객과 함께 AI 시대의 과제를 해결해나가는 창조자 역할을 지향한다는 의미다. 주영표 부사장은 "목표는 결코 홀로 이룰 수 없으며, 개발 초기 단계부터 고객·파트너와 함께 생태계를 만들어가겠다"고 말했다.

IT동아 강형석 기자 (redbk@itdonga.com)