[IT동아 남시현 기자] 2024년이 AI PC의 태동기였다면, 올해는 AI PC가 시장에 안착하는 해로 볼 수 있다. 첫 노트북 형태의 AI PC는 2023년 AMD가 선보인 라이젠 7 7840HS이며, 이후 인텔 코어 울트라, 퀄컴 스냅드래곤 X 엘리트 등이 출시되며 시장 경쟁이 시작됐다. 제조사마다 제각기 다른 AI PC 기준을 들고 나오자 마이크로소프트가 직접 MS 코파일럿+ PC 인증 기준을 만들어 소비자용 AI PC의 확고한 틀을 마련했다.

코파일럿+ PC 기준은 40 TOPS(초당 40조 회 연산, 1 TOPS당 1조 번) 이상의 NPU(신경망 처리 장치) 성능과 16GB 이상의 메모리, 256GB 이상의 저장공간이다. 이에 해당하는 제품은 AMD 라이젠 AI 300 및 400 시리즈, 인텔 코어 울트라 시리즈 2 및 시리즈 3, 퀄컴 스냅드래곤 X 엘리트와 X 플러스가 해당된다. 노트북의 기능 키에 ‘코파일럿’ 아이콘이 있으면 코파일럿+ PC 인증 제품이다.

예상보다 더딘 AI PC 발전, NPU 장점에 초점 맞춰 발전

문제는 AI PC에 대한 시장의 관심에 AI PC 서비스의 개발 속도가 비례하지 못하고 있다. 2년 사이 대형언어모델(LLM) 기반의 AI 서비스는 할루시네이션(환각)을 거의 극복하고 결정 권한까지 가진 AI 에이전트의 시대로 나아가고 있다. 반면 AI PC에서 실제 활용할 수 있는 서비스는 여전히 많지 않다. LLM은 네트워크를 통해 대규모 AI 데이터로 자료를 처리한 뒤 받아오지만, AI PC는 한정된 NPU 성능으로 인한 제약이 크기 때문이다. 하지만 보안 환경이나 GPU 대비 전력 효율이 높다는 장점이 있어 AI PC 서비스도 차츰 발전하고 있다.

AI PC에 탑재된 NPU의 발전 상황이 어떤지 AMD코리아가 직접 그 답을 내놨다. AMD는 지난 3월 11일 서울 삼성동에서 ‘AI PC 부트캠프’ 행사를 열고 윈도우 11 환경에서 NPU가 어떻게 동작하는지에 대한 시연회를 진행했다. 이날 시연에는 AMD 라이젠 AI 7 350 프로세서와 24GB 시스템 메모리를 갖춘 HP 엘리트북 6 G1a가 활용됐다. 라이젠 AI 7 350 프로세서는 최대 50 TOPS의 NPU를 탑재해 총 66TOPS의 AI 성능을 발휘하는 코파일럿+ PC 노트북이다.

김홍필 AMD코리아 이사는 “시장조사기업 IDC는 올해 전체 PC 출하량 중 53%가 AI PC로 출하될 것으로 전망하고 있다. 특히 AMD 라이젠 AI 엔진과 같이 NPU 프로세서를 탑재한 AI PC가 시장의 필수 트렌드가 되고 있다”라면서 “앞으로 소형, 경량 노트북에는 NPU가 반드시 탑재되는 방향으로 진화할 것”이라는 의견을 제시했다.

AMD는 올해 AI PC 추세에 맞춰 지난 1월 5일 라이젠 AI 400 AI 프로세서를 공개한 바 있다. AMD 라이젠 AI 400 시리즈는 젠 5 아키텍처를 기반으로 최대 12코어 24스레드로 구성되며, 최대 60TOPS의 NPU를 탑재한다. 아울러 최대 128GB의 통합 메모리와 16코어 32스레드 구성을 갖춘 AMD 라이젠 AI 맥스 + 및 AI 맥스 같은 전문가용 AI PC 프로세서도 별도로 존재한다.

이날 김홍필 이사가 선보인 시연은 AI PC의 실제 활용성, 이때 NPU 자원이 어떻게 가용되는 지다. 먼저 마이크로소프트 코파일럿+ PC의 ‘코파일럿’ AI 기능, 그리고 리콜 기능이 소개됐다. 코파일럿 기능은 윈도우 11 AI PC에 기본으로 탑재되는 생성형 AI 기능이다. 최근 버전은 GPT-5.1 LLM을 기본 제공하며, 공부 및 학습 모드, 심층 모드, 검색 모드, 딥리서치 모드 등을 제공한다. 사실 코파일럿의 데이터 처리는 서버와 연결되어 진행되고, 음성인식 기능에 NPU가 동원된다.

사용자가 음성인식으로 질문을 던지면 마이크에 입력된 음성이 텍스트로 전환되어야 한다. 이때 목소리를 컴퓨터가 인식 가능한 문장으로 변환하는 데 NPU 자원이 사용된다. NPU가 GPU나 CPU 연산 대신 활용되며 전력 소모를 줄이고, 또 음성 데이터를 서버로 보내지 않고 기기에서 처리해 보안성을 높인다.

코파일럿에 탑재된 리콜 기능도 NPU를 활용한다. 리콜 기능은 컴퓨터를 활용하며 내가 어떤 화면을 보았는지를 실시간 타임라인으로 저장했다가 불러오는 기능이다. 한참 전에 작업했던 내용의 바탕화면도 미리보기로 찾아내서 다시 띄울 수 있다. 마이크로소프트는 해당 작업을 GPU 대신 NPU를 할당해 처리한다. 또한 마우스를 화면에 올려 필요한 정보나 문서 내용 등을 파악하는 ‘클릭 투 두’ 기능도 NPU를 활용한다. NPU가 AI 연산에 동원되는 이유는 전력 효율을 높여 배터리 사용 시간을 더 늘리고, 외부로 데이터가 새어나가지 않도록 하는 데 있다. AI 기능이 많아질수록 NPU가 처리하는 작업도 더욱 늘어날 전망이다.

실시간 음성 번역에도 NPU가 동원되기 시작했다. 최근 마이크로소프트는 컴퓨터 내에서 출력되는 음성을 자막으로 보여주는 실시간 자막 기능을 추가했다. 아직까지 영어를 한글로 표기하거나, 한글을 영문으로 표기하는 등의 기능은 CPU가 처리하지만, 실시간으로 한글을 영문으로 번역 표기하는 등의 기능은 NPU가 동원된다. CPU로 실시간 번역을 처리하면 다른 작업에 따라 처리 지연될 수 있는데 NPU는 별도로 동작하므로 입력 지연이 거의 없다. 이외에도 그림판에 추가된 코파일럿 기반의 이미지 생성 기능, 해상도 확장 기능, 노트북 카메라의 윈도 스튜디오 효과를 활용한 배경 흐림 처리 등에도 NPU가 활용된다.

이번 AI 부트캠프에서 주목할만한 점은 NPU 전용 AI 모델의 등장이다. 대형언어모델의 추론은 기본적으로 CPU가 입출력 제어를 맡고, GPU가 토큰 연산을 생성한다. AMD는 NPU가 LLM의 추론 작업을 수행할 수 있는 방안을 도출하고 있다. 오픈소스 기반의 LLM 운영 프로젝트 ‘레모네이드’를 활용해 딥시크-R1-라마-8B를 CPU와 NPU로 각각 구동했다. 이때 CU 기반 모델은 초당 5.8토큰을 처리했고 NPU 모델은 6.7토큰을 처리했다. CPU와 GPU를 모두 동원하면 7.8토큰이었다. 전력 효율을 고려하면 NPU가 가장 높지만, 성능과 비용 효율을 모두 고려하면 CPU, NPU, GPU가 모두 동원되는 모델이 적절하다.

스테이블 디퓨전 3.0을 활용해 GPU와 NPU로 각각 이미지를 생성하는 경우는 어떨까. GPU만 활용해 상자 안의 고양이 이미지를 만들 경우에는 약 300초가 소요되는데, NPU 기반 작업에는 127초에 이미지가 완성됐다. GPU의 연산 성능이 훨씬 높은 건 맞지만 60도 선에서 성능 제약이 걸려 처리 속도가 더 늦어졌다. 즉 연산의 종류에 따라 CPU와 NPU, GPU를 혼합해서 활용하는 컴퓨팅이 앞으로의 대세인 것을 알 수 있는 시간이었다.

아직까진 유휴 상태인 NPU, 올해부터 진가 나올 듯

현지시간으로 3월 12일, 마이크로소프트가 1.58비트 양자화 기술 ‘비트넷’을 오픈소스로 공개했다. 이 기술을 활용하면 100B 규모의 대형언어모델이 요구하는 시스템 메모리는 32~64GB, 저장 공간도 158GB에서 20GB까지 줄일 수 있다. 32B 급 일반 대형언어모델은 8GB 수준의 저사양 노트북에서도 온디바이스 AI로 구동할 수 있을 정도다. 프레임워크인 만큼 실제 서비스로 개발하는데는 시간이 걸리겠지만 앞으로 노트북에서도 인터넷 연결 없이 GPT나 제미나이 같은 고성능 모델을 자체적으로 구동할 수 있는 방안이 열린 셈이다.

AMD를 비롯한 AI PC 제조사의 제품 출시가 예상보다 시기상조였던 건 사실이다. 시장을 선점하는 게 중요해 AI PC의 활용도가 마련되지 않은 상황에서도 하드웨어가 더 먼저 등장했다. 하지만 이들 기업이 AI PC 확산에 공을 들인 덕분에 지난해 전체 PC의 30~40%가 AI PC로 판매됐고, 올해는 55~60%가 AI PC일 전망이다. AI 서비스 제조사 입장에서는 진입 장벽이 더 낮아진 셈이다. 특히 1.58비트 양자화 같은 기술로 온디바이스 AI은 한층 더 발전할 예정이다. 올해 안에는 NPU를 가용하는 서비스의 범위가 점진적으로 늘어날 것으로 예상된다.

IT동아 남시현 기자 (sh@itdonga.com)