[IT동아 강형석 기자] 3D 그래픽은 반도체의 발전과 호흡을 맞춰 왔다. 그 과정에서 표현은 정교해졌고, 광원 효과는 현실의 빛에 가까워졌다. 다만 하드웨어 성능을 키워 문제를 푸는 전통적 방식은 한계에 부딪혔다. 해상도가 4K(3840 x 2160), 8K(7680 x 4320)로 확대되며 처리해야 할 그래픽 데이터가 기하급수적으로 불어나면서 그래픽 처리장치(GPU)의 순수 연산력만으로는 감당하기 어려운 지경에 이르렀다.

그래픽 처리장치 업계는 한계를 극복하기 위해 인공지능(AI)을 활용한 업스케일링(Upscaling) 기술을 제안한다. 낮은 해상도의 화면을 고해상도로 확대하는 것이다. 엔비디아 DLSS(Deep Learning Super Sampling)를 선두로 AMD FSR(FidelityFX Super Resolution), 인텔 XeSS(Xe Super Sampling) 등이 등장하며 AI 업스케일링 기술은 게이머에게는 일종의 연금술처럼 받아들여졌다.

원리는 이렇다. 화면을 풀HD(1920 x 1080)보다 낮은 저해상도로 가볍게 그린(렌더링) 뒤, 딥러닝 알고리듬과 정교한 필터를 거쳐 QHD(2560 x 1440)~4K 이상 화질로 확장한다. 처음부터 저해상도 데이터를 쓰므로 연산 부담은 크게 줄지만, 육안으로는 원래의 고해상도(네이티브) 화면과 구분하기 어려운 수준의 표현이 가능하다. AI를 사용하면 그래픽 개선 외에도 다음에 출력되는 영상까지 분석할 수 있어 초당 화면 출력 수(프레임)를 상승에도 기여한다.

문제는 AI 기술을 쓰려면 고성능 GPU가 필요하다는 점이다. 특정 GPU 플랫폼에 종속되는 점도 지적 대상이다. DLSS가 지포스 RTX GPU에 탑재된 전용 연산 장치, 텐서 코어(Tensor Core)가 없으면 아예 구동되지 않는 게 대표적인 예다. 인텔과 AMD는 조금 개방적인 소프트웨어 방식을 내세웠으나, AI 연산 가속 장치의 유무에 따라 화질과 성능이 크게 갈리는 한계를 피하지 못했다.

게임 개발 생태계가 떠안은 피로감은 더 근본적인 문제다. 이들 기술이 제 성능을 내려면 게임 엔진 깊숙한 곳에서 모션 벡터(물체가 화면에서 움직인 방향과 거리), 깊이 버퍼(물체의 앞뒤 거리 정보), 노출 값 같은 렌더링 데이터를 직접 뽑아 알고리즘에 넘겨야 한다. 막대한 자본이 들어가는 AAA급 신작은 인력과 시간을 들여 최신 기술을 통합할 여력이 있지만, 소규모 인디 개발사나 오래전 지원이 끝난 명작 게임은 혜택에서 제외될 수밖에 없다. 이를 위해 마이크로소프트가 자동 슈퍼 해상도(Auto Super Resolution, 이하 Auto SR) 기술을 제안해 주목받는다.

모두가 같은 GPU를 쓸 수 없다면, 운영체제가 해결한다

마이크로소프트는 윈도 11 24H2 업데이트와 코파일럿 플러스(Copilot+) PC 생태계를 제안하며 Auto SR 기술을 공개했다. 그래픽카드 제조사의 규격이나 개별 게임 개발사의 패치에 기대지 않고, 운영체제(OS)가 시스템 내 AI를 활용해 직접 게임 화면을 실시간으로 고해상도로 전환하는 것이다.

Auto SR의 차별점은 연산 주체를 GPU에서 신경망 처리 장치(NPU)로 옮겼다는 데 있다. NPU는 인공지능 연산만 전담하도록 설계한 전용 칩이다. 현재 GPU 기반 업스케일링 기술은 아무리 효율적이어도 GPU의 연산 자원 일부를 나눠 쓴다. 제품 사양에 따라 화질을 높이려다 정작 3D 데이터 연산이 지연되는 모순이 생기는 이유다. Auto SR은 화질 복원 연산을 NPU에 모두 일임한다. GPU는 렌더링에만 힘을 쏟을 수 있고, 게임의 기본 프레임도 함께 오른다.

이 기능을 쓰려면 조건이 있다. 중요한 건 인공지능 연산 능력이다. 초당 40조 회 이상 연산(40 TOPS)을 안정적으로 처리하는 NPU가 필요하다. 마이크로소프트는 퀄컴(Qualcomm) 헥사곤 NPU를 탑재한 '스냅드래곤 X 엘리트'와 '스냅드래곤 X 플러스' 기반 코파일럿+ PC를 최소사양으로 제안했다. 최근에는 ‘인텔 코어 울트라 시리즈 3’ 프로세서 기반 코파일럿+ PC, ‘에이수스 ROG 엑스박스 앨라이 X’ 휴대 게이밍 PC 등도 지원 목록에 올랐다. 윈도 11 24H2 이상 운영체제와 풀HD 이상 해상도를 지원하는 디스플레이도 요구 사양에 포함된다.

게임은 x86/x64용으로 만든 게임이면 호환된다. x86이 아닌 다른 방식의 칩에서 프로그램을 실행하도록 도와주는 마이크로소프트의 프리즘(Prism)과도 맞물려 작동하도록 설계됐다. 하지만, x86 전용이거나 다이렉트X 10 이전에 개발된 게임, 벌칸(Vulkan), 오픈GL(OpenGL) 등 전용 3D 도구로 개발된 게임은 대응하지 않는다.

설정과 활성화 과정은 간단하다. 별도의 드라이버나 서드파티 프로그램을 찾아 헤맬 필요가 없기 때문이다. 윈도 '설정'에서 '시스템'의 '디스플레이'로 들어가 '그래픽' 옵션을 선택하면, 상단에 '자동 슈퍼 해상도'를 켜고 끄는 스위치가 나타난다. 이 스위치를 켜 두면 시스템 차원의 준비가 끝난다. 원한다면 게임별로 기능 적용 여부를 따로 정할 수도 있다. 지원되는 게임을 실행하면 화면 한쪽에 Auto SR이 켜졌음을 알리는 안내 배너가 뜨고, 플레이어는 평소처럼 게임을 즐기면 된다.

Auto SR은 어떤 원리로 구현되는가

전통적인 게임 렌더링(3D 데이터 연산) 구조는 GPU가 3차원 공간의 물체 위치, 빛의 반사, 표면 질감(텍스처)을 픽셀(화소) 단위로 계산한다. AI 업스케일링은 3D 렌더링이 완성되기 전 단계인 스케치(모션 벡터나 깊이 정보) 데이터를 중간에 가져다 정교하게 다듬는 방식이다. 반면, Auto SR은 게임 엔진 내부에서 처리되는 데이터에 관여하지 않는다. 게임이 화면에 출력하기 위해 만들어진 저해상도 프레임 자체를 분석한다.

마이크로소프트는 수억 장의 고해상도 그래픽 데이터로 미리 훈련한 심층 신경망(Deep Neural Network) 모델을 갖췄다. 이를 활용해 Auto SR은 게임이 구동되면 시스템이 렌더링 해상도를 원래 설정보다 낮추도록 만든다. 예컨대 풀HD(1080p) 해상도로 설정됐다면, 실제 게임 내에서는 700p~900p 해상도 수준에서 실행하도록 유도한다.

해상도가 낮아진 만큼 GPU 부담은 크게 줄고, 초당 만들어 내는 프레임 수는 크게 증가한다. 이렇게 출력된 저해상도 프레임이 디스플레이로 전송되기 직전, 윈도의 데스크톱 창 관리자와 그래픽 출력 경로(프레젠테이션 파이프라인)가 프레임을 가로채 NPU에 전달하게 된다.

NPU 안에서는 복원 작업이 이어진다. NPU 내부의 연산 유닛이 병렬로 움직이며, 흐릿한 화소와 계단처럼 거칠게 깎인 텍스처를 마이크로초(100만분의 1초) 단위로 분석한다. 이후 머신러닝 모델이 학습한 시각 정보를 바탕으로 ‘이 경계는 원래 날카로운 금속 질감이었을 것’, ‘이 무늬는 나뭇잎의 잔 잎맥이어야 한다’는 식의 예측을 시나리오를 만든다. 사라진 화소의 자리는 AI가 채워 1080p 이상의 고해상도 이미지로 바꾼다. 모든 과정은 사람 눈으로는 알아챌 수 없는 찰나에 NPU 단독 연산으로 마무리된다.

Auto SR을 위해 마이크로소프트는 3D 연산용 API(프로그램끼리 기능을 주고받는 규격)인 다이렉트X(DirectX)에 '다이렉트SR(DirectSR)'을 구축했다. Auto SR은 다이렉트SR 아래에서 운영체제 전용 머신러닝 가속기로 동작하도록 설계됐다. 개발자가 제조사별 복잡한 코드를 몰라도 다이렉트X 생태계 안에서 시스템 자원을 자연스럽게 나눠 받도록 만든 것이다. 요컨대 Auto SR은 저해상도로 빠르게 그리는 GPU와 독립된 AI 신경망으로 빠르게 복원하는 NPU가 역할을 나눠 돌아갈 수 있도록 만들었다. 성격이 다른 칩이 분업하는 이기종 컴퓨팅 구조를 채택한 셈이다.

장점만 존재하는 건 아니다, 한계는?

모든 기술이 그렇듯 Auto SR도 장점과 한계를 함께 지닌다. 장점은 호환성이다. 기존 AI 업스케일링 기술은 게임 개발사가 적용하지 않으면 사용이 불가능했다. Auto SR은 게임 내부 구조를 건드리지 않고 화면 밖에서 후처리하는 방식이라, 10년 전 출시된 고전 명작이든 어제 나온 인디 게임이든 가리지 않고 바로 적용 가능하다. AI 기술에 소외돼 온 게임들을 내장 GPU 기반 시스템에서 자유롭게 즐길 수 있다는 이야기다.

전력 효율과 배터리 지속 시간에 유리한 점도 빼놓을 수 없다. 기존 게이밍 노트북은 외장 GPU가 업스케일링 연산까지 맡으면서 전력을 소모했다. 이는 발열과 소음, 배터리 효율 저하 등으로 이어진다. Auto SR 환경에서는 전력 소모가 적은 NPU가 그 일을 대신한다. 시스템 자체 자원을 그대로 사용하는 구조여서 가능한 일이다.

한계는 결과물 왜곡이다. 게임 내부의 공간 정보 없이 겉모습만 보고 이미지를 복원하는 방식에서 비롯되는 문제다. 물체의 움직임 경로를 알려 주는 모션 벡터를 참조하지 않으므로, 카메라가 빠르게 돌거나 물체가 화면을 재빨리 가로지를 때 미세한 잔상이나 뭉개짐(고스팅) 현상이 생길 수 있다.

NPU가 추론하는 과정에서 생기는 미세한 입력 지연(Input Lag)도 해결 과제다. 프레임을 가로채 AI 모델에 통과시키는 데는 수 밀리초(1000분의 1초) 정도로 짧아 반응 속도에 민감하지 않은 게임에서는 문제가 없다. 하지만, 찰나의 반응으로 승패가 갈리는 빠른 템포의 1인칭 슈터(FPS), 정밀한 격투 게임, 리듬 게임 등은 입력이 살짝 밀리는 듯한 어색함이 느껴질 수 있다.

제한적인 기술이지만, 성장 잠재력은 충분해

아직 제약은 있어도 장기적으로 봤을 때 Auto SR이 지닌 잠재력은 크다. 고성능 GPU 탑재 기반 시스템보다 내장 GPU 위주로 운용되는 휴대용 게이밍 PC(게이밍 UMPC), 노트북 등이 수혜 대상이다. 휴대 가능한 고성능 게이밍 PC는 항상 배터리 용량과 무게 등 물리적 한계가 존재한다.

하지만, 내장 GPU 기반 휴대 PC에 Auto SR이 본격 도입되면 게이밍 환경이 달라진다. 저전력 중앙처리장치(CPU)는 기본 프레임만 만들고, 배터리 소모가 적은 NPU가 화면을 선명하게 다듬는 구도가 짜이기 때문이다. 크고 무거운 방열판 없이도 얇고 가벼운 휴대용 PC로 최신 게임을 3시간~4시간 이상 쾌적하게 돌릴 수 있다는 뜻이다.

하드웨어 생태계가 확대될 가능성도 열린다. 마이크로소프트가 x86 및 기타 CPU까지 Auto SR 지원 범위를 넓히면 PC 게이밍 플랫폼 전반에 큰 지각변동이 일어날 것이다. 게임 개발사는 GPU 제조사마다 다른 개발 도구를 어떻게 적용할지 골머리를 앓지 않아도 되고, 게이머는 그래픽 옵션을 타협하며 스트레스를 받는 대신 운영체제의 지능형 기능에 화면 처리를 맡기면 그만이다.

결국 Auto SR은 컴퓨터 연산의 무게중심이 CPU·GPU에서 CPU·GPU·NPU가 유기적으로 협업하는 삼각 체제로 옮겨 갈 수 있음을 알리는 신호탄이다. 그래픽 연산의 병목을 하드웨어의 물리적 성능이 아닌 소프트웨어로 해결하려는 것이다. Auto SR 기술이 고도화된다면 머지않아 우리가 게임을 즐기는 방식이 변화할 것으로 전망된다.

IT동아 강형석 기자 (redbk@itdonga.com)