엔비디아가 DLSS 5를 처음 공개했을 당시에는 생성형 AI를 그래픽 렌더링에 본격적으로 활용한다는 점 때문에 원본 이미지를 왜곡하거나 개발자가 의도하지 않은 결과물을 만들어낼 수 있다는 우려가 제기됐다.

게다가 공식 지원 첫 타이틀인 NBA 2K27에 포함된 DLSS 5 NR 관련 DLL 파일이 공식 출시 전, 디럭스 에디션의 사전 플레이 기간 중 유출되면서 이를 활용한 각종 MOD가 등장해 공식 지원하지 않는 여러 게임으로 적용 범위가 확대됐고, 이 과정에서 일부 과도한 옵션이 적용된 기괴한 이미지까지 등장하면서 편견을 키운 면도 있다.

그러나 최근에는 AMD 라데온 그래픽카드에서 DLSS 뉴럴 렌더링을 구동하는 MOD까지 등장할 만큼 관심이 뜨거운 것도 사실이다.

그렇다면 DLSS 5는 기존 DLSS와 무엇이 다르고 엔비디아가 말하는 3D-Guided Neural Rendering은 실제로 어떤 방식으로 게임 그래픽을 바꾸는 것일까?

DLSS 5를 정식 지원하는 NBA 2K27이 출시된 상황에서, 엔비디아가 공개한 DLSS 5 기술 자료를 바탕으로 작동 원리부터 기존 DLSS와의 차이, 개발자가 결과물을 제어하는 방식까지 DLSS 5의 핵심을 자세히 살펴보고자 한다.

DLSS 5의 뉴럴 렌더링, 생성형 AI 아닌 개발자의 의도 반영

DLSS는 지금까지 성능 향상을 중심으로 발전해 왔다.

2018년 처음 등장한 DLSS Super Resolution은 낮은 해상도로 렌더링한 이미지를 AI로 고해상도화했고, 이후 Frame Generation(FG)과 Multi Frame Generation(MFG)을 통해 새로운 프레임을 만들어 성능을 높이는 방향으로 발전했다.

이는 게임내 레이 트레이싱 구현 과정에서 지금까지와 차원이 다른 성능 하락이 발생하는 만큼, 전용 하드웨어(RT 코어)를 도입한 최초의 하드웨어 레이 트레이싱 지원 모델인 지포스 RTX 20 시리즈 조차 큰 폭의 성능 하락을 피할 수 없었기 때문이었다.

DLSS 5는 기존 DLSS와 다른 목적으로 개발되었다.

게임 엔진의 한계로 개발자가 충분히 표현하기 어려웠던 조명과 재질 디테일을 AI로 보완해 더욱 사실적인 결과물을 만드는 것이 목적이며, 이를 위해 3D-Guided Neural Rendering(이하 DLSS 5 NR)을 도입했다.

하지만 발표 초기에는 개발사들도 존재를 몰랐다는 말이 나올 정도로 정도 유출 방지에 신경쓴 것으로 알려졌고, 그러다보니 초기 DLSS 5 발표 당시 공개된 비교 영상의 이미지는 개발사의 의도가 반영될 여지가 없었던 것으로 보인다.

자연히 생성형 AI를 쓴 것같은 어색한 흔적이 남아 게이머들의 반발을 불러왔다.

아마도 NBA 2K27을 통해 유출된 DLL 파일을 다른 게임들에 적용한 모드(Mod)와 같이 각 게임별 최적화가 아니기 때문으로 추정되는데, 이후 엔비디아는 게이머들의 우려를 불식 시키기 위해 DLSS 5의 구현 방식을 공개했다.

엔비디아의 발표에 따르면 DLSS 5 NR은 일반적인 생성형 AI 이미지처럼 텍스트 프롬프트 기반이 아닌, 게임 엔진이 렌더링한 프레임을 기반으로 작동하며 개발자가 제작한 지오메트리와 텍스처, 조명 버퍼를 그대로 입력 데이터로 활용한다.

여기에 컬러와 모션 벡터, 표면 알베도와 노멀 등의 엔진 데이터를 분석해 오브젝트와 재질, 광원과 공간적 관계를 인식한 뒤 최종 렌더링 단계에서 조명과 재질 표현을 강화한다.

DLSS 5는 동일한 입력 프레임에는 일관된 결과를 출력하는 결정론적(Deterministic) 방식으로 설계됐다. AI 모델은 화면에 존재하는 오브젝트와 재질, 공간적 관계, 광원 등을 분석하고, 이를 위해 컬러와 표면 알베도, 조명 정보, Surface Normal 같은 게임 엔진 데이터를 인식하도록 학습됐다.

화면을 선명하게 만드는 것을 넘어 피부에는 빛이 내부에서 산란되는 서브서피스 스캐터링을 더하고 머리카락이나 나뭇잎에는 자연스러운 빛의 투과를 표현한다. 오브젝트가 맞닿는 부분의 접촉 그림자나 글로벌 일루미네이션을 강화할 수 있다.

즉, 게임 엔진이 제공한 3D 정보를 토대로 기존 장면을 더 사실적으로 표현하는 것이 DLSS 5 NR이며, DLSS 5 NR은 독립적인 옵션으로 작동하기 때문에 Super Resolution, MFG, Ray Reconstruction 등과 필요에 따라 함께 사용할 수 있다.

DLSS 5 NR은 일반적인 동영상 생성 AI처럼 여러 프레임을 묶어서 처리하지 않고 한 프레임 내에서 입력과 출력이 이뤄지는 방식으로 작동한다. 게임 엔진이 제공하는 모션 벡터를 직접 활용해 플레이어가 움직이는 상황에서도 생성된 결과에서 블러나 고스팅, 시간이 지나면서 변형되는 현상을 억제한다.

DLSS 5 NR은 게임내 적용 과정에서 개발자의 의도를 반영할 수 있는 여러가지 수단을 제공한다.

 DLSS 5 SDK에는 특성이 다른 여러 모델을 제공해 장면이나 게임 플레이, 컷신에 따라 선택할 수 있으며, 여기서 Structure Intensity와 Tone Intensity를 통해 세부 표현과 전체적인 조명 및 색상 변화의 강도를 조절할 수 있다. Semantic AI Masking과 엔진 레벨 마스킹을 이용하면 캐릭터와 배경은 물론 유리나 물방울, 식물처럼 특정 오브젝트만 골라 효과를 적용하는 것도 가능하다.

결과적으로 DLSS 5 NR은 원본 프레임을 바?v으로 개발자가 변화 범위를 직접 통제한다는 점에서 일반적인 생성형 AI 이미지 기술과 다르다. 적용된 게임의 아트 스타일은 기존 게임의 아트 스타일을 다른 스타일로 바꾸기보다, 포토리얼리즘 쪽으로 표현을 강화하는 기술이라고 평가하는 것이 적절할 것이다.

또한 일반적인 래스터라이징 환경에서도 그래픽 품질을 높일 수 있지만, 레이 트레이싱이나 패스 트레이싱처럼 보다 풍부하고 정확한 조명 정보를 제공할수록 더 높은 품질의 결과물을 기대할 수 있다.

NBA 2K27에서 공식 구현된 DLSS 5 NR 특성

그렇다면 실제 DLSS 5 NR이 적용된 게임은 어떤 특성을 나타내는지, DLSS 5 NR 공식 지원 첫 타이틀인 NBA 2K27을 통해 점검해 본다.

먼저, NBA 2K27은 게임 내 그래픽 옵션에서 On/ Off 형식으로 DLSS 5 NR 옵션을 제공한다. DLSS 5 NR은 어디까지나 개발자가 게임 엔진의 제한으로 인해 구현하기 어려운 그래픽의 품질 한계를 돌파하기 위한 목적이 핵심이다.

따라서 개발 단계에서 DLSS 5 NR 구현을 위해 다양한 옵션을 제공하지만, 개발사의 의도에 맞춰 튜닝된 DLSS 5 NR 옵션을 게이머가 개별적으로 조정하도록 지원할 필요성은 없는 것이다.

실제 적용된 NBA 2K27의 그래픽을 DLSS 5 NR 적용 여부에 따라 비교하면, 단순한 선명도 향상보다 조명과 재질 표현의 변화에서 더 뚜렷하게 나타난다.

경기 중 하이라이트에서 자주 접할 수 있는 선수들의 얼굴은 DLSS 5 NR 적용시 피부가 전체적으로 조금 더 어두워진 대신 이마와 볼, 코 주변의 명암 변화가 세분화됐고, 얼굴의 입체감이 강해졌다. 특히 눈 주변과 코 아래, 턱과 목으로 이어지는 부분의 그림자가 깊어졌으며, 머리카락과 수염 역시 단순한 검은 덩어리처럼 보이던 부분에 명암이 추가되면서 질감과 윤곽이 좀 더 자연스럽게 느껴진다.

반대로 DLSS 5 NR을 적용하지 않은 상태에서는 얼굴 전체가 비교적 균일하게 밝아 CG 캐릭터 특유의 평평한 느낌이 더 강하다.

관중석 장면에서는 DLSS 5 NR 적용시 사람들의 얼굴과 팔에 생기는 음영이 강해지고, 옷의 주름이나 인물끼리 맞닿는 부분의 그림자도 좀 더 뚜렷해진다. 특히 중앙과 오른쪽 관중들의 피부와 의류를 보면 재질별 조명 반응을 조금 더 세분화한 느낌이다.

전체적으로 DLSS 5 NR은 기존 화면을 단순히 선명하게 만드는 기술이라기보다, 빛과 재질의 반응을 재구성해 CG 특유의 평면적인 느낌을 줄이고 포토리얼리즘을 강화하는 방향에 가깝다는 엔비디아의 개발 방향이 반영된 모습이다.

지포스 RTX 5070와 인텔 코어 울트라 7 270K Plus 기반 시스템에서 DLSS 5 NR 적용에 따른 성능을 점검했다.

여러 모드 커뮤니티를 통해 확인된 것 같이, DLSS 5 NR을 적용 시 큰 폭의 성능 하락이 발생한다. RTX 5070은 Full HD와 QHD에서 각각 60%와 50% 가까이 성능 저하가 발생했다. 그만큼 DLSS 5 NR 기능에 따른 부하가 심한 것을 알 수 있다.

그나마 DLSS 5 발표 당시 데모 시연이 RTX 5090 듀얼 그래픽 시스템에서 진행되었을 정도로 부하가 높았지만, 정식 출시되면서 전체 RTX 50 시리즈에서 사용할 수 있을 정도로 최적화된 것을 알 수 있는 결과다.

한편, NBA 2K27의 DLSS 5 NR 성능 측정은 엔비디아 프레임뷰(FrameView)를 이용해 진행되었으며, RTX 5070의 목표 해상도인 QHD 테스트에서 기록된 GPU 온도와 소비전력도 확인했다.

뉴럴 렌더링은 텐서 코어를 통해 이뤄지는 만큼 당연히 소비전력도 크게 증가하는데, 최고 그래픽 옵션에 레이 트레이싱 옵션을 적용한 상태와 비교해 거의 80% 가까이 소비전력이 증가했으며, 당연히 GPU 온도도 크게 상승했다.

때문에 DLSS 5 NR을 사용하기에 앞서 그래픽 카드의 쿨링 솔루션과 파워서플라이가 충분히 강력한지 점검이 필요하다.

DLSS 5 뉴럴 렌더링의 시대, 추가 최적화 필요

DLSS 5 발표 당시에는 AI가 개발자의 아트 스타일을 훼손하며 게임의 원래 이미지를 바꿔버리는 것이 아니냐는 논란과 함께 게이머들의 비아냥이 뒤따랐다.

하지만 실제 적용 방식은 게임 엔진이 제공하는 정보를 기반으로 개발자가 모델과 적용 강도, 마스킹 영역을 직접 제어하는 구조로, 생성형 AI가 임의로 화면을 만들어내는 것이 아닌, 개발자가 기존 렌더링의 한계를 넘어 원하는 표현을 구현하기 위한 새로운 도구로 보는 편이 적절하다.

엔비디아도 구조와 지오메트리를 유지하면서 적용 범위를 개발자가 제어하도록 설계했다고 설명한다. 

그러나 그만큼 텐서 코어의 연산량도 상당하다는 한계도 명확하다. DLSS 5 NR을 지원하는 첫 공식 타이틀인 NBA 2K27 테스트에서는 해당 옵션을 활성화했을 때 성능이 큰 폭으로 감소하고, GPU 소비전력도 증가하는 현상이 확인됐다.

물론 DLSS Super Resolution과 FG, MFG를 함께 사용할 수 있어 NR에서 발생하는 성능 부담을 상당 부분 만회할 수 있지만, NR 자체의 연산 부하 감소를 의미하는 것이 아닌 만큼 모델 자체의 최적화를 통해 기본 성능과 전력 효율을 높이는 작업도 필요하다.

엔비디아에 따르면 DLSS 5 발표 초기에는 듀얼 지포스 RTX 5090이 필요했지만, 현재는 다섯 배나 성능을 개선해 단일 지포스 RTX 50 시리즈로도 구동이 가능해졌고, 앞으로도 최적화를 계속해 나갈 것이라 예고했다.

현재 공식적인 DLSS 5 NR 지원 대상은 지포스 RTX 50 시리즈로 한정되어 있지만, 엔비디아는 RTX 50 시리즈의 성능을 충분히 최적화한 뒤 지포스 RTX 40 시리즈까지 공식 지원을 확대할 계획이라고 밝혔다.

결과적으로, 현재 DLSS 5 NR은 완성된 기술이라기보다 DLSS가 성능 향상 기술에서 AI 기반 렌더링 기술로 방향을 넓히기 시작한 첫 단계다. 앞으로 모델 최적화와 지원 GPU 확대를 통해 이러한 부담을 얼마나 줄여줄 수 있을지가 DLSS 5 NR의 가능성을 평가할 중요한 기준이 될 것이다.