엔비디아가 지포스 RTX 20 시리즈의 튜링 아키텍처를 발표하며, 전세대와 비교해 내세운 주요 특징은 다음의 두 가지다.

한가지는 RT 코어를 더한 실시간 레이트레이싱.

적용시 상당한 성능 하락이 발생한다는 점이 지적을 받긴 했지만, 반사/ 굴절/ 그림자 등 게임내에서 사실적인 그래픽 효과를 위한 반사/ 굴절/ 그림자 등 각종 광원 효과 구현을 위해, 속된말로 갈려나가고 있던 개발자들을 구원하는 동시에, 게이머들 역시 영화에서나 보던 레이트레이싱 효과를 실시간으로 게임 내에서 체험할 수 있게 되었다.

당장은 지원 타이틀이 썩 많지 않아도 차세대 콘솔에서 모두 지원하는 만큼, 엑스박스 시리즈 엑스와 플레이스테이션 5, AMD와 엔비디아의 차세대 그래픽 카드 출시가 예상되는 하반기에 급격히 늘어나지 않을까 생각된다.

다른 한가지는 인공 지능을 담당하는 텐서 코어를 활용한 DLSS(Deep Learning Super Sampling).

TAA보다 뛰어난 품질과 성능을 제공한다는 엔비디아의 야심찬 선전과 달리 GPU 부하가 커서 게임 성능이 급격히 떨어지는 제한적인 상황, 예를 들면 레이트레이싱을 적용한다거나, 4K 풀 옵션을 적용하는 등의 상황에서만 적용 가능했다.

제한적인 상황에서만 적용되는 것은 엔비디아의 발표와 같이 성능이 보완되는 것으로 게이머가 통 크게 이해하고 넘어갈 수 있어도, DLSS를 적용하면 엔비디아의 발표와 달리 전체적으로 뿌연 안개가 낀 듯 이미지 품질이 하락하는 일이 잦아 게이머들의 비판을 피할 수 없었다.

위 영상은 오리지널 DLSS가 적용된 메트로 엑소더스에서 제한적으로 DLSS 적용이 가능했던 것과, 오리지널 DLSS에서 지적받아온 이미지 품질 하락 현상이 발생한 상황을 캡처한 것이며, 지포스 RTX 2070 환경에서 테스트되었다.

여기에 타이틀마다 엔비디아 데이터센터의 인공지능 학습 과정을 거쳐 지원되기에 실제 게임에 적용되기까지 상당한 시일이 걸렸는데, 이미 즐길만큼 즐기고 다른 타이틀을 찾아 떠난 게이머가 DLSS 옵션 업데이트 때문에 복귀할 가능성은 얼마나 될까?

엔비디아도 이러한 DLSS의 문제점을 인식해 대대적으로 개선한 DLSS 2.0 업데이트를 발표하였는데, 어떤 점이 개선되었는지 정리했다.

DLSS 2.0의 변화, 결론은 속도와 품질

엔비디아는 DLSS 2.0을 발표하며 크게 속도와 품질을 내세우고 있다.

특정 타이틀에 전용으로 최적화된 지금까지의 DLSS와 달리, 새로운 DLSS 2.0은 그래픽과 이펙트에 대한 일반화된 학습 모델을 채택해 실제 게임에 적용하기까지 시간을 단축했다.

여기에 새로운 신경망 아키텍처를 통해 텐서 코어의 효율을 원 DLSS보다 두 배 개선, 그래픽 카드별 부하가 높아지는(프레임이 낮아지는) 특정 제한된 환경에서만 사용 가능했던 DLSS 옵션을 모든 GPU와 해상도에서 사용할 수 있게 되었다.

엔비디아 발표에 따르면 렌더링 시간도 RTX 2080 Ti 기준 최종 7.5ms(DLSS 1.5ms + 렌더링 시간 6ms)으로, DLSS 없이 단순 렌더링하는데 16ms이 소요되는 것과 비하면 두 배 이상 빨라졌다.

DLSS는 게임 엔진을 이용해 구현한 저해상도 이미지와 모션 벡터, 초고해상도로 렌더링된 이미지를 비교하는 인공지능 네트워크(Convolutional Autoencoder)를 통한 트레이닝 결과물을 드라이버나 OTA 방식으로 사용자에 전달, 실제 게임에서 활용할 수 있도록 했다.

오리지널 DLSS 개념도, 모션 벡터 내용이 없다?

한편, 오리지널 DLSS에서는 모션 백터에 대한 고려가 부족했었던 것 같다. 오리지널 DLSS가 적용된 컨트롤은 송풍 장치의 블레이드와 위험 방지망간의 간서으로 인한 모아래 현상이 심각하게 나타났지만, 모션 벡터도 고려된 DLSS 2.0에서는 모아레 현상이 거의 사라지고 깔끔하게 처리되는 것을 볼 수 있다.

2020년 4월 초 기준으로 DLSS 2.0이 적용된 타이틀은 콘트롤(Control), 울펜슈타인 영블러드(Wolfenstein: Youngblood), 딜리버 어스 더 문(Deliver Us The Moon), 맥워리어5 용병(MechWarrior 5: Mercenaries, 이하 맥워리어5)의 4개이다.

기존에는 단순 On/ Off만 가능했던 것과 달리 DLSS 2.0에서는 세 가지 옵션(성능/ 균형/ 품질)으로 적용 방식을 선택할 수 있게 되었다.

참고로, DLSS 2.0이 업데이트된 맥워리어5 용병는 DLSS 옵션이 성능/ 균형/ 품질의 세 가지 옵션으로 제공되지만, 컨트롤은 DLSS 렌더링 해상도를 선택하는 방식으로 옵션이 지원되며, 해상도에 상관없이 DLSS 옵션이 지원 및 적용되는 것을 확인할 수 있다.

컨트롤과 맥워리어 5로 보는 DLSS 2.0의 효과

가장 먼저 DLSS의 약점으로 지적받던 이미지 품질을 먼저 확인했다.

확인 시점에서 컨트롤은 이미 DLSS 2.0 업데이트가 이뤄져 오리지널 DLSS와 비교할 수 없었던 점을 양해 바란다.

위 스크린샷은 컨트롤(DX12, 높음 프리셋)의 DLSS 옵션에 따른 Full HD 켭처 스크린 샷을 100% 크롭해 비교한 화면이다.

전체적으로 안개가 낀것처럼 보이던 화면이 약간 깔끔하게 정리되었고, 텍스처의 디테일도 살아나면서 게임 내에 배치된 각종 포스터와 표지판의 텍스트 내용도 보다 쉽게 확인할 수 있게 되었다. 단지, 창살처럼 동일 패턴이 겹쳐 밀도가 높아지는 경우 성능을 우선한 DLSS 옵션을 적용할수록 노이즈가 증가한다.

참고로, 콘트롤의 DLSS 옵션 중 퀄리티는 렌더 해상도 1280x720/ 밸런스는 1113x626/ 퍼포먼스는 960x540를 의미한다.

한편, 컨트롤은 초자연 현상이 게임의 주요 배경이며, 전체적으로 안개 낀듯한 그래픽은 고유의 게임 분위기를 조성하기 위한 장치 중 하나인데, DLSS2.0 적용시 오브젝트와 텍스처등의 샤픈 효과가 증가하면서 게임 분위기가 일정 부분 퇴색된다.

일반화된 학습 알고리즘을 사용한 영향으로 판단되는데, 향후 DLSS 업데이트에서는 일반화된 학습 알고리즘과 게임별 맞춤 학습 알고리즘을 병행해 상호 보완하는 방식으로 발전한다면, 보다 나은 사용자 경험을 제공할 수 있을 것으로 기대된다. 

DLSS 옵션을 적용할 경우, 컨트롤에서는 인공 지능 학습 패턴화의 부작용으로 추정되는 현상도 관찰할 수 있었다.

게임 내 조명 장치의 경계면과 주변부에 광원 효과가 추가된 것을 볼 수 있는데, 결과물 자체를 놓고 보면 과하거나 왜곡되었다는 느낌은 아니다. 그러나 원본과 비교하면 인위적인 효과가 더해져 개발사의 의도와 달라지는 만큼, 이러한 부작용도 개선해 나갈 필요가 있을 것으로 판단된다.

맥워리어 5는 처음부터 DLSS 2.0이 적용된 타이틀인 만큼 오리지널 DLSS와 비교한 자료는 없다. 그러나 컨트롤과 달리 메카닉을 타고 다니는 기계적인 오브젝트가 많고, 안개도  전장에 깔린 안개같은 기상 효과 정도이기에 DLSS의 이미지 샤프닝 효과에 의한 원렌더링 해상도 이미지와의 괴리감은 크지 않다.

맥워리어 5에 DLSS를 적용하면 전체적으로 디테일이 살아나는 것을 볼 수 있다. 기본 TXAA가 적용된 맥워리어 5는 원거리의 일부 철조망 뼈대 일부가 거의 사리진 듯 표현되지만, DLSS를 적용하면 보다 상세하게 표시된다.

단지, DLSS 랜더링 해상도가 낮아지는 퍼포먼스 옵션에서는 연료탑 하단의 가로줄무늬에서 모아래 현상이 관측되었다. 컨트롤에서의 창살 무늬 간섭 노이즈와는 조금 다른 패턴이지만, 표시 해상도와 렌더링 해상도의 차이가 커지는 것이 발생 원인으로 판단된다.

원거리 디테일을 포기하기 쉬운 게임엔진 자체의 랜더링 결과와 달리, 맥워리어5의 DLSS 사용시 원거리 디테일 및 근방의 안티알리아싱 강화 효과도 기대된다. 원랜더링에서는 블러 효과가 더해진 듯한 식생의 디테일도 강화되어, 맥워리어5의 특성에 어울리는 이미지 품질을 기대할 수 있다.

단지, 컨트롤의 조명과 같이, DLSS 사용시 기체가 피탄된 영향으로 원본에서는 페인트가 완전히 벗겨진 구역에 부분적으로 페인트가 남은 것으로 표현되는 현상도 관측되었는데, 네이티브 결과물에서 미약하게 남아있던 표현이 DLSS 처리 과정에서 도드라진 것으로 판단된다.

결과물 자체로는 특별히 외곡되었다고 문제삼을 부분은 아니지만, 개발사의 의도와 다른 결과물이 표현된다는 점에서 아쉬운 부분이다.

DLSS2.0, 높은 품질과 동시에 성능도 잡다

DLSS2.0은 인공지능에 의한 자동화 및 업스케일링 기술의 특성상 부분적으로 아쉬운 부분이 있지만 전/ 후를 비교하지 않는다면 크게 거슬릴 정도는 아니고, 전체적으로 게임 엔진을 통한 원래 해상도의 렌더링 품질과 비교해도 차이를 눈치채기 어렵고, 부분적으로는 오히려 뛰어난 품질을 구현해준다.

네이티브 랜더링과 비교해 DLSS 2.0의 성능 옵션에서 컨트롤은 최대 240%, 맥워리어5는 최대 160% 수준의 성능을 제공하며, 품질 옵션에서는 각각 174%와 130% 수준의 성능을 발휘한다.

특히 맥워리어5의 경우 특히 Full HD 해상도에서 성능 향상이 크게 나타나지 않았는데, 이는 라이젠 9 3950X와 지포스 RTX 2080 Ti 테스트 시스템과 테스트 장면에서의 특성 영향으로 볼 수 있다.

그러나 QHD와 4K처럼 그래픽 부하가 큰 환경에서는 DLSS 2.0 적용에 따른 괄목할 성능 개선 효과를 체험할 수 있어, 대부분의 게이머들이 즐기는 Full HD 해상도 대응 모델인 RTX 2060급 제품 사용자는 DLSS 2.0에 의한 성능 향상 효과를 눈에 띄게 체감할 수 있을 것으로 기대된다.

1년 반의 테스트는 끝났다, 제대로된 DLSS는 2.0부터

엔비디아는 기자의 의견에 동의하지 않겠지만, 지난 2018년 9월 지포스 RTX 20 시리즈 출시와 동시에 소개된 DLSS는 2.0 업데이느까지 약 1년 반 동안 거의 베타 버전에 가까운 모습이었다.

느린 업데이트와 소개에 미치지 못하는 품질이 가장 큰 요인이었는데, DLSS 2.0은 일반화된 학습 모델과 모션 벡터에 대한 고려, 더욱 개선된 품질을 구현하면서, 엔비디아가 당초 의도했던 DLSS의 모습으로 재탄생하였다.

특히, 기존에 타이틀별 학습 과정을 거쳐야 했던 오리지널 DLSS는 엔비디아와 파트너십 관계에 있는 업체/ 타이틀이 아니면 지원을 기대하기 어려웠지만, 일반화된 학습 모델이 채택된 DLSS 2.0은 엔비디아가 허용하고, 게임 개발사가 마음만 먹는다면 어떤 타이틀이라도 적용할 가능성이 열렸다는 점을 주목할 필요가 있다.

DLSS 2.0 지원 초기 타이틀인 컨트롤처럼 4K 60FPS 구현이 어려운 타이틀이나, 고주사율 필요성이 높은 FPS 및 VR 계열의 타이틀에서도 유용하게 활용될 수 있을 것이다.

단지, DLSS 2.0 지원을 위해 튜링 아키텍처 기반 지포스 RTX 20 시리즈에서 탑재된 텐서 코어가 활용되므로, 비용이 제한되는 메인스트리급 게이머를 위한 RTX 시리즈 사용자는 체험이 불가능한다는 단점이 있다.

그러나 하반기 출시될 것으로 예상되는 엔비디아의 차세대 그래픽 카드에서는 전 모델이 실시간 레이트레이싱을 위한 RT 코어와 인공 지능 처리를 위한 텐서 코어가 탑재될 것으로 예상 중이라, 현실이 된다면 게이머들이 DLSS를 경험할 수 있는 인프라가 더욱 넓어질 것으로 기대된다.