우리는 현재 인공지능(AI)에 대한 기대와 우려가 공존하는 시대에 살고 있다. AI가 인간의 생산성을 높이고 기존에는 불가능했던 새로운 경험을 만들어낼 것이라는 기대가 커지는 한편, 결과물의 신뢰성과 통제 가능성, 인간의 역할을 어디까지 대신하게 될 것인지에 대한 우려도 끊임없이 제기되고 있다.

하지만 새로운 기술이 등장할 때마다 우려는 존재해 왔다. 중요한 것은 가능성을 외면하는 것이 아니라 기대했던 가치를 현실로 만들고, 그 과정에서 드러나는 문제를 하나씩 개선해 나가는 것이다. AI 역시 얼마나 많은 것을 만들어낼 수 있느냐보다 사람이 원하는 결과를 얼마나 안정적이고 예측 가능한 형태로 구현할 수 있느냐가 더욱 중요해지고 있다.

이러한 기대와 우려는 게임 그래픽에서도 현실이 되고 있다. AI를 적극적으로 활용하면 기존 실시간 렌더링의 한계를 넘어 더욱 사실적이고 복잡한 그래픽을 구현할 수 있다는 기대가 생긴 반면 AI가 개발자의 의도와 다른 결과를 만들어내거나 기존 게임의 아트 방향을 지나치게 바꾸는 것 아니냐는 우려도 함께 제기됐다.

그 중심에 있는 기술이 바로 엔비디아가 올해 초 공개한 DLSS 5다. 기존 DLSS가 업스케일링과 프레임 생성, 레이 리컨스트럭션 등을 통해 성능과 화질을 개선해 왔다면 DLSS 5는 AI가 조명과 소재 표현에 보다 직접적으로 관여하는 3D 가이드 뉴럴 렌더링을 도입하며 기존과는 또 다른 방향의 변화를 예고했다.

공개 이후 여러 우려와 논란이 이어졌던 DLSS 5도 이제 곧 실제 게임에서 직접 경험할 수 있게 된다. 오는 9월 4일 NBA 2K27을 시작으로 DLSS 5가 정식 출시되며 AI를 적극적으로 활용하는 게임 그래픽의 또 다른 흐름을 만들어갈 전망이다.

그렇다면 DLSS 5는 기존 게임 그래픽을 어떻게 바꾸려는 기술이고, 처음 공개됐을 당시 제기됐던 우려는 실제 제품화 과정에서 어떻게 달라졌을까. 지금부터 정식 출시를 앞둔 DLSS 5에 대한 이야기를 해볼까 한다.
 

■ 왜 인공지능을 게임 그래픽에 사용해야 했나?

게임 그래픽이 오랫동안 추구해 온 방향은 결국 포토 리얼리즘, 쉽게 말해 현실과 구분하기 어려울 정도의 실사 같은 화면을 구현하는 것이다. 캐릭터와 배경의 디테일을 높이고, 빛과 그림자, 반사와 재질 표현을 현실에 가깝게 만들어온 것도 결국 이러한 목표를 향한 과정이었다.

물론 실사에 가까운 그래픽을 구현하기 위한 기술이 없었던 것은 아니다. 기존 래스터화 방식으로는 표현하기 어려웠던 현실적인 빛의 움직임을 계산하기 위해 레이 트레이싱이 도입됐고, 이를 더욱 확장한 패스 트레이싱까지 실제 게임에 적용되면서 게임 그래픽은 이전보다 훨씬 현실적인 조명과 반사, 그림자를 표현할 수 있게 됐다.

문제는 그만큼 막대한 연산 성능이 필요하다는 점이다. 레이 트레이싱이 본격적으로 도입되면서 기존 그래픽 렌더링과는 별도로 광선 계산을 처리하기 위한 전용 하드웨어가 필요해졌고, 패스 트레이싱은 그보다 훨씬 많은 연산을 요구한다. 최신 GPU가 전용 RT 코어를 탑재하고 세대를 거듭하며 성능을 높여왔음에도, 모든 픽셀과 광원, 소재의 상호작용을 현실과 같은 수준으로 계산하면서 게임에 필요한 프레임을 유지하는 것은 여전히 어려운 일이다.

결국 기술 자체는 이미 존재하지만 이를 게임이라는 콘텐츠에 맞춰 실시간으로 처리할 수 있는 단일 GPU의 성능이 아직 충분하지 않은 셈이다. 더구나 반도체 미세공정과 전력, 발열의 한계까지 고려하면 단순히 GPU의 연산 성능을 계속 높이는 것만으로 이 문제를 해결하는 데에도 현실적인 제약이 따른다.

그렇다고 게임 그래픽의 발전을 여기서 멈출 수는 없다. 엔비디아가 선택한 방법은 지금까지의 렌더링 기술을 그대로 발전시키는 동시에, 부족한 연산 성능을 다른 방식으로 보완하는 것이었다. 그리고 그 한계를 돌파하기 위한 수단으로 선택된 것이 바로 인공지능이다.

■ 엔비디아, 인공지능으로 어떻게 한다는거야?

우리가 일반적으로 떠올리는 생성형 인공지능은 사실상 무에서 유를 만들어내는 방식에 가깝다. 창작자가 프롬프트나 참고 이미지 등을 통해 방향성을 제시하지만 결과물의 모든 디테일을 직접 통제하는 것은 쉽지 않다. 원하는 결과가 나오지 않으면 프롬프트를 수정하거나 다시 생성하는 과정을 반복하는 것이 일반적인 제작 흐름이다.

물론 생성형 AI 기술이 발전하면서 결과물을 보다 세밀하게 제어하는 방법도 계속 늘어나고 있지만 여전히 많은 사람들에게 AI 콘텐츠는 '창작자가 방향을 제시하고 AI가 결과물을 만들어내는 방식'이라는 이미지가 강하다.

그렇다 보니 게임 그래픽에 인공지능을 사용한다고 했을 때도 자연스럽게 이런 방식을 먼저 떠올리게 된다. 여기에 기존 생성형 콘텐츠를 둘러싼 저작권이나 창작자의 역할, 결과물의 일관성 같은 논란까지 더해지면서 게임 그래픽에 AI가 적극적으로 개입하는 것 자체에 부정적인 선입견이 생기는 것도 무리는 아니다.

엔비디아 역시 이런 문제를 모를 리 없다. 오히려 결과를 예측하기 어려운 일반적인 생성형 AI 방식을 그대로 게임 그래픽에 적용한다면 캐릭터의 모습이나 게임의 아트 방향이 프레임마다 달라질 수 있어 게임이라는 콘텐츠에는 치명적인 문제가 될 수 있다. 먼 미래에는 전혀 다른 형태가 가능할지 모르지만 현재의 실시간 게임 그래픽에 적용할 방식으로는 처음부터 현실적인 선택지가 아니었던 셈이다.

게임은 일반적인 이미지 생성과 출발점부터 다르다. 이미 개발자가 제작한 캐릭터와 배경, 지오메트리, 텍스처, 조명 등 완성된 데이터가 존재하며, 게임 엔진은 매 프레임 이를 기반으로 화면을 만들어내고 있다.

그렇다면 인공지능이 해야 할 역할도 완전히 새로운 화면을 만들어내는 것이 아니라, 이미 존재하는 데이터를 보다 세밀하게 분석하고 그 가운데 기존 실시간 렌더링으로 표현하기 어려웠던 부분을 필요한 만큼 보완하는 쪽이 더 적합하다.

캐릭터의 얼굴이나 형태를 새로 만들어내는 대신 기존 지오메트리는 그대로 유지하고, 피부를 통과하는 빛이나 머리카락의 투과광, 소재에 따른 반사와 접촉 그림자처럼 연산 부담 때문에 충분히 표현하기 어려웠던 요소를 AI로 보강하는 것이다.

엔비디아가 DLSS 5에서 선택한 방향이 바로 이것이다. 인공지능에게 게임 그래픽을 새로 만들도록 맡기는 것이 아니라, 게임 엔진이 이미 만들어낸 정보를 가이드로 제공하고 이를 바탕으로 부족한 디테일을 채워 넣는 것이다.

■ 엔비디아 DLSS 5의 작동 방식

DLSS 5의 기본적인 작동 방식은 생각보다 명확하다. 게임 엔진이 먼저 기존 방식대로 하나의 프레임을 렌더링하고, DLSS 5는 이 결과를 바탕으로 추가적인 조명과 소재 표현을 만들어낸다.

이 과정에서 단순히 완성된 화면만 보는 것은 아니다. DLSS 5는 게임 엔진이 제공하는 색상 정보와 모션 벡터를 비롯해 지오메트리와 텍스처, 조명과 표면 특성 등 장면을 구성하는 여러 데이터를 함께 활용한다. 이를 통해 화면 속에 어떤 물체가 존재하고, 어떤 소재로 구성돼 있으며, 빛이 어디에서 들어오는지를 분석한다.

이렇게 분석된 정보는 3D 가이드 뉴럴 렌더링의 입력값으로 사용된다. AI는 기존 프레임의 구조와 캐릭터 형태를 유지하면서 피부의 서브서피스 스캐터링이나 머리카락과 식생을 통과하는 빛, 접촉 그림자, 소재에 따른 반사와 조명 반응처럼 기존 실시간 렌더링에서 충분히 표현하기 어려웠던 요소를 보강한다.

중요한 점은 DLSS 5가 완전히 새로운 프레임을 만들어내는 방식이 아니라는 것이다. 게임 엔진이 이미 만들어낸 화면을 기준으로 작동하며, 동일한 입력에는 동일한 결과를 내도록 설계된 결정론적 방식이 적용된다. 여기에 모션 벡터를 활용해 캐릭터와 카메라가 움직이는 상황에서도 프레임 간 표현이 달라지거나 흔들리는 현상을 줄인다.

처리 위치도 기존 렌더링 파이프라인의 마지막 단계에 가깝다. 래스터화나 레이 트레이싱, 패스 트레이싱을 통해 기본 프레임이 완성된 뒤 DLSS 5가 이를 분석하고 필요한 부분을 보강하는 구조다. 때문에 기존 그래픽 기술을 대체한다기보다, 완성된 결과에 한 단계의 뉴럴 렌더링을 더하는 형태로 이해하는 편이 정확하다.

결국 DLSS 5의 핵심은 게임 엔진이 가진 데이터를 최대한 활용해 AI가 임의로 화면을 만들어내지 않도록 하고, 기존 렌더링만으로는 실시간 구현이 어려웠던 디테일만 선택적으로 보완하는 데 있다. 이것이 엔비디아가 말하는 3D 가이드 뉴럴 렌더링의 기본적인 작동 방식이다.

■ DLSS 5로 인한 성능 하락은 어떻게?

지금까지 살펴본 것처럼 DLSS 5는 기존 실시간 렌더링의 한계를 인공지능으로 보완한다는 점에서 상당히 흥미로운 기술이다. 하지만 인공지능을 사용한다고 해서 연산 비용 자체가 사라지는 것은 아니다.

DLSS 5의 뉴럴 렌더링 역시 결국 지포스 RTX GPU에 탑재된 텐서 코어를 이용해 처리된다. 게임 엔진에서 전달받은 데이터를 분석하고 조명과 소재의 디테일을 생성하는 과정에 별도의 연산이 필요한 만큼 텐서 코어의 처리 성능에 따라 실제 게임에서 확보할 수 있는 최종 프레임도 달라질 수밖에 없다.

엔비디아가 NBA 2K27을 통해 공개한 성능만 보면 이러한 부담이 크게 느껴지지는 않는다. 지포스 RTX 5090에서는 4K 해상도와 울트라 프리셋, 레이 트레이싱을 적용한 상태에서도 최대 370FPS를 기록한다고 소개했고, 2560×1440에서는 RTX 5070도 최대 260FPS에 달한다.

하지만 여기에는 한 가지 짚고 넘어가야 할 부분이 있다. 엔비디아가 공개한 성능은 DLSS 5만 적용한 결과가 아니라 DLSS 슈퍼 레졸루션과 멀티 프레임 생성까지 함께 사용한 결과다. 특히 멀티 프레임 생성이 적극적으로 활용되는 환경이라면 화면에 표시되는 최종 FPS만으로 DLSS 5 자체의 성능 부담을 판단하기는 어렵다.

멀티 프레임 생성은 DLSS 5로 인해 줄어든 프레임을 다시 끌어올리는 데 효과적인 수단이 될 수 있지만 생성되는 프레임이 많아진다고 게임 엔진 자체의 렌더링 속도까지 빨라지는 것은 아니다. 화면에 표시되는 FPS가 아무리 높더라도 기반 프레임이 충분하지 않다면 입력 지연이나 조작 반응 측면에서는 차이가 발생할 수 있다.

때문에 DLSS 5의 실제 성능을 평가하려면 멀티 프레임 생성을 제외한 상태에서 DLSS 5를 켰을 때와 껐을 때 어느 정도의 성능 차이가 발생하는지를 확인할 필요가 있다. 여기에 GPU 등급별로 그 부담이 어떻게 달라지는지까지 확인해야 DLSS 5가 제공하는 그래픽 품질 향상과 성능 비용 사이의 균형을 제대로 판단할 수 있다.

■ DLSS 5, 내 맘대로 적용 가능할까?

지원 게임이 제한적이라는 점도 현실적인 한계다. DLSS 5는 기존 DLSS처럼 사용자가 드라이버 설정만으로 모든 게임에 자유롭게 적용할 수 있는 기술과는 성격이 다르다.

이는 DLSS 5의 기본적인 방향성과도 연결된다. 엔비디아는 DLSS 5를 처음부터 개발자가 결과를 직접 제어하는 기술로 설명하고 있다. 게임에 따라 사용할 AI 모델을 선택하고 구조와 톤의 강도를 조절하며, 시맨틱 마스킹을 통해 캐릭터나 특정 오브젝트에 적용되는 효과까지 개발자가 결정할 수 있도록 만든 것도 이 때문이다.

생성형 콘텐츠에 대한 부정적인 인식이 여전히 존재하고, AI가 원래 제작자의 의도와 다른 화면을 만들어낸다는 우려도 있었던 만큼 엔비디아나 게임 개발사 입장에서도 사용자가 임의로 DLSS 5를 적용해 전혀 다른 결과물을 만드는 상황은 부담스러울 수밖에 없다. DLSS 5가 어디까지나 게임 개발자의 아트 디렉션 안에서 사용되는 도구라는 현재의 방향성을 생각하면 공식적으로 지원되지 않는 게임에 사용자가 마음대로 적용하는 기능이 제공될 가능성은 높지 않아 보인다.

다만 공식 지원과 별개로 모드 영역까지 완전히 막을지는 또 다른 문제다. DLSS 5 관련 DLL이 처음 외부에 등장한 이후 이를 기존 게임에 적용하려는 시도가 빠르게 이어졌던 것처럼 사용자들은 이미 비공식적인 활용 가능성을 시험하고 있다.

엔비디아 입장에서도 이러한 시도를 반드시 적극적으로 차단할 이유만 있는 것은 아니다. 공식적인 DLSS 5는 개발자가 의도한 결과를 보장하는 방향으로 유지하면서도, 모드 커뮤니티에서는 새로운 게임과 다양한 환경에서 기술을 시험하도록 둘 수 있다면 DLSS 5에 대한 관심과 수용성을 빠르게 높이는 계기가 될 수도 있다.

물론 실제로 엔비디아가 이러한 방향을 허용할지는 아직 알 수 없다. 다만 정식 지원은 개발자의 영역으로 남겨두고 사용자의 비공식적인 실험은 모드 생태계에서 이어지는 형태가 된다면 현재 DLSS 5가 추구하는 방향성과 사용자들의 요구를 모두 어느 정도 만족시키는 현실적인 타협점이 될 가능성은 있다.
 

■ DLSS 5, 어떤 게임에 적합하나?

DLSS 5가 인공지능을 활용한다고 해서 모든 게임의 그래픽을 무조건 실사처럼 바꿔주는 만능 기술은 아니다. 아무리 AI가 후처리 과정에 적극적으로 개입하더라도 기반이 되는 정보가 부족하다면 만들어낼 수 있는 결과에도 한계가 있을 수밖에 없다.

결국 DLSS 5의 효과를 제대로 끌어내기 위해서는 DLSS 5를 적용하지 않은 상태에서도 기본적인 그래픽 품질이 충분히 좋아야 한다. 캐릭터와 배경의 모델링이 정교하고 텍스처의 품질이 높으며, 조명과 소재에 대한 정보가 풍부할수록 DLSS 5가 이를 분석해 개선할 수 있는 여지도 커진다.

엔비디아 역시 이를 분명하게 보여주고 있다. DLSS 5는 기존 래스터화 방식으로 렌더링한 화면에서도 사용할 수 있지만 레이 트레이싱이나 패스 트레이싱처럼 보다 풍부한 조명 정보를 제공할수록 최종 결과의 정확도와 품질이 높아진다고 설명한다. 실제 엔비디아가 공개한 비교에서도 기본적인 래스터화 결과물보다 레이 트레이싱이 적용된 화면에서 DLSS 5의 조명과 소재 표현 개선 효과가 더욱 뚜렷하게 나타난다.

이는 DLSS 5의 작동 방식을 생각하면 당연한 결과이기도 하다. DLSS 5는 아무것도 없는 상태에서 새로운 화면을 만들어내는 것이 아니라 게임 엔진이 제공하는 기존 프레임과 각종 데이터를 분석해 부족한 부분을 보완하는 기술이다. 따라서 입력 데이터가 정교할수록 AI가 판단할 수 있는 정보도 많아지고, 그만큼 원래 게임의 방향성을 유지하면서 보다 자연스러운 결과를 만들어내기 쉬워진다.

그렇다고 레이 트레이싱을 지원하지 않는 게임에서 DLSS 5의 효과가 크지 않다고 단정할 필요는 없다. 래스터화 기반 게임이라도 모델링된 객체의 디테일이 충분하고, 텍스처에 따른 소재 차이와 음영 표현이 잘 구현돼 있으며, 다양한 광원을 활용해 장면을 구성했다면 DLSS 5가 활용할 수 있는 정보 역시 많아진다.

반대로 단순한 모델링과 낮은 품질의 텍스처, 제한적인 조명으로 구성된 게임이라면 DLSS 5를 적용하더라도 변화의 폭이 제한적일 가능성이 높다. AI가 기존 데이터에 없는 디테일까지 무조건 새롭게 만들어주는 것이 DLSS 5의 목적은 아니기 때문이다.

이러한 차이는 정식 지원 게임뿐 아니라 최근 등장하고 있는 DLSS 5 MOD 적용 영상에서도 어느 정도 짐작할 수 있다. 같은 DLSS 5를 적용하더라도 원래부터 그래픽과 조명 표현이 뛰어난 게임에서는 변화가 비교적 자연스럽고 뚜렷하게 나타나는 반면 기반 정보가 부족한 게임에서는 효과가 제한적이거나 원본과 어울리지 않는 결과가 나타날 수도 있다.

■ DLSS 5, 앞으로 어떻게 될까?

DLSS 5는 이제 시작일 뿐이다. 엔비디아 역시 현재의 모델이 완성형이라고 보기보다는 앞으로 지속적인 최적화와 모델 개선을 통해 성능과 이미지 품질을 높여갈 계획이다. 실제로 첫 공개 이후 불과 수개월 만에 실행 성능을 크게 개선한 만큼 앞으로 더 많은 파라미터를 처리하고 보다 정교한 모델로 발전한다면 현재보다 자연스럽고 현실적인 결과물을 만들어낼 가능성도 충분하다.

DLSS 5가 다루는 영역 역시 지금보다 확대될 수 있다. 현재는 피부의 서브서피스 스캐터링이나 머리카락과 식생의 빛 투과, 접촉 그림자와 소재 반응 등 조명과 재질 표현을 중심으로 하고 있지만 향후 모델 성능과 처리 능력이 높아진다면 더 다양한 그래픽 요소를 뉴럴 렌더링으로 보완하는 방향으로 발전할 수 있다.

지원 GPU 확대도 앞으로 해결해야 할 과제다. 현재 엔비디아가 공식 지원 대상으로 밝힌 제품은 RTX 50 시리즈뿐이지만 DLSS 5의 연산 조건만 놓고 본다면 이전 세대 GPU까지 가능성을 완전히 배제할 필요는 없어 보인다.

특히 RTX 40 시리즈는 텐서 코어를 통한 FP8 연산이 가능하고 기존 DLSS 프레임 생성도 지원한다. 멀티 프레임 생성까지 사용할 수는 없더라도 DLSS 5 자체를 처리할 수 있는 여지가 있다면 성능 부담을 감수하고서라도 사용 여부를 게이머가 직접 선택할 수 있도록 지원 범위를 확대할 필요가 있다고 본다.

실제로 비공식 MOD 커뮤니티에서는 RTX 40 시리즈뿐 아니라 RTX 30과 RTX 20 시리즈에서도 DLSS 5 관련 기능을 구동하려는 시도가 이미 이어지고 있다. 이는 최소한 기술적으로 실행 자체를 시도할 여지가 있다는 의미로 볼 수 있다.

다만 RTX 30 시리즈 이하까지 공식 지원을 확대하는 것은 현실적으로 쉽지 않을 가능성이 높다. DLSS 5 자체의 연산 부담도 문제지만 이를 보완할 프레임 생성 기능의 지원 여부와 GPU 성능까지 함께 고려해야 하기 때문이다. DLSS 5를 실행하는 것과 실제 게임에서 사용할 수 있는 성능을 확보하는 것은 별개의 문제인 만큼 이전 세대까지 무리하게 지원 범위를 넓히는 것은 실효성이 떨어질 수 있다.

그런 점에서 가장 현실적인 확대 대상은 RTX 40 시리즈가 될 가능성이 있다. 멀티 프레임 생성은 지원하지 않더라도 기존 프레임 생성을 활용할 수 있고 기본적인 GPU 성능 역시 충분한 만큼 DLSS 5 적용에 따른 성능 부담을 어느 정도 보완할 수 있기 때문이다.

경쟁사들의 움직임도 지켜볼 필요가 있다. 엔비디아가 DLSS 5를 통해 게임 그래픽에 뉴럴 렌더링을 본격적으로 도입한 이상 AMD와 인텔 역시 비슷한 방향의 기술을 준비할 가능성이 높다.

지금 당장은 DLSS 5를 사용할 수 있는 지포스 RTX 50 시리즈가 앞서가는 모습이지만 이러한 기술이 실제 게임에서 의미 있는 효과를 입증한다면 경쟁사 역시 대응에 나설 수밖에 없다. 과거 업스케일링과 프레임 생성 기술이 빠르게 경쟁 구도로 발전했던 것처럼 뉴럴 렌더링 역시 비슷한 흐름을 따라갈 가능성이 있다.

따라서 1년 정도 시간이 지나면 AMD나 인텔 GPU에서도 비슷한 개념의 기능을 만나게 될 가능성은 충분하다. 다만 뉴럴 렌더링 자체가 높은 AI 연산 성능을 요구하는 만큼 경쟁사 역시 기존 GPU 전체보다는 이를 감당할 수 있는 최신 세대 제품을 중심으로 지원하게 될 가능성이 높다.

결국 DLSS 5의 등장은 하나의 기능 추가라기보다 게임 그래픽이 앞으로 어떤 방향으로 발전할지를 보여주는 시작점에 가깝다. 지금까지는 GPU의 연산 성능을 높여 더 많은 것을 직접 렌더링하는 것이 발전의 중심이었다면 앞으로는 기존 렌더링과 AI를 어떻게 조합해 제한된 연산 성능으로 더 높은 수준의 그래픽을 만들어낼 것인가가 새로운 경쟁 영역이 될 가능성이 크다.