Nvidia DLSS 2.0, tutte le novità del Deep Learning Super Sampling

Con l'architettura Turing introdotta nell'ultima parte del 2018, Nvidia ha presentato due importanti novità: il ray tracing e il Deep Learning Super Sampling, più brevemente conosciuto come DLSS. In un briefing tenutosi nei giorni scorsi, parallelamente all'annuncio del pieno supporto da parte delle schede GeForce RTX alle librerie DirectX 12 Ultimate, Nvidia ha annunciato l'arrivo del DLSS 2.0. Prima di addentrarci nelle novità è necessario fare un passo indietro e spiegare cos'è il DLSS.

DLSS, perché è nato

L'analisi e ottimizzazione di un'immagine rappresenta un'applicazione perfetta per l'intelligenza artificiale secondo i ricercatori di Nvidia. Non a caso le soluzioni di processing delle immagini come ImageNet sono tra i casi di applicazione di maggiore successo del deep learning. Quest'ultimo ha raggiunto capacità superiori a quelle umane nel riconoscimento di cani, gatti, uccelli partendo dai pixel grezzi in un'immagine.

Per farlo, è necessario combinare le immagini renderizzate, basate sull'esame dei pixel grezzi, per produrre un risultato di alta qualità. L'implementazione di Nvidia per risolvere questa sfida è stata chiamata Deep Learning Super-Sampling (DLSS). E l'azienda ha giustamente pensato: quale applicazione migliore se non i videogiochi, dove le immagini regnano supreme e i diversi passaggi legati al rendering comportano varie problematiche qualitative e prestazionali?

DLSS, come funziona(va)

Le GPU Turing sulle schede RTX della serie 20 hanno unità specializzate di calcolo chiamate Tensor core, progettate per svolgere operazioni di matrice che sono il cuore della funzione di calcolo usata per quello che viene definito deep learning, ovvero apprendimento profondo. I Tensor core hanno il compito di accelerare tali calcoli per l'allenamento delle reti neurali o compiti di inferenza. Le GPU Turing includono Tensor core migliorati rispetto all'architettura Volta, in grado di offrire prestazioni superiori in fatto di inferenza grazie al supporto alle modalità di precisione INT8 e INT4.

Per le schede GeForce, Nvidia ha deciso di sfruttare in modo differente queste unità rispetto agli acceleratori per i datacenter, e per questo ha messo a punto il Deep Learning Super Sampling (DLSS). Si tratta di una tecnologia che si affida a una rete neurale per estrarre caratteristiche multidimensionali di una scena renderizzata, in modo da combinare dettagli in modo intelligente da più frame (immagini) al fine di ottenere un'immagine finale di qualità elevata.

Detta così sembra molto complicato, e in effetti non è roba da poco, ma cerchiamo di spiegarci meglio. I giochi moderni non mostrano direttamente le immagini ma si passa attraverso del "post processing" che combina gli input di più immagini renderizzate, provando a rimuovere gli artefatti visivi come l'aliasing per presentare il miglior dettaglio possibile. Uno degli algoritmi più usati per il miglioramento dell'immagine prende il nome di TAA - Temporal Anti-Aliasing.

Si tratta di un algoritmo basato su shader che combina due immagini usando vettori di movimento per determinare dove campionare il frame precedente. Si tratta però di un processo che, per quanto efficace, ha dei problemi. Il TAA esegue il rendering alla risoluzione finale e quindi combina i fotogrammi, sottraendo però dei dettagli. Inoltre, affiorano problemi come come blurring (sfocatura), disocclusion (situazione in cui un oggetto occluso, cioè in vista, diventa visibile) e trasparenza tipici del TAA.

Il ruolo del DLSS è quindi quello di andare a sostituire tecniche di anti-aliasing come il TAA per garantire immagini con una migliore nitidezza e definizione, garantendo al tempo stesso prestazioni superiori. In poche parole, Nvidia vuole permettervi di giocare in WQHD con le prestazioni tipiche del Full HD. Per arrivare a questo obiettivo, Nvidia ha creato NGX, un "framework neurale" a disposizione degli sviluppatori che consente di ottenere una "ground truth image", termine dietro cui si cela la migliore rappresentazione qualitativa degli asset di gioco grazie a un supersampling 64x.

Ciò significa anziché fare lo shading di ogni pixel una volta, si fanno 64 diversi shading all'interno del pixel, per poi combinarli per ottenere un'immagine finale con dettagli e anti-aliasing di qualità. Nvidia acquisisce anche immagini in ingresso grezzo renderizzate normalmente. Una volta ottenuta, Nvidia allena un modello di intelligenza artificiale sfruttando i suoi supercomputer per arrivare a immagini di minore qualità ma quanto più possibili vicine alla "ground truth image". Tale modello è inglobato nei driver di Nvidia, per metterlo a disposizione dei Tensor core delle schede GeForce RTX, in modo da supportare il DLSS nei giochi compatibili. Il DLSS avviene perciò in locale, non c'è alcun collegamento con alcun server esterno al vostro PC.

All'attacco pratico il DLSS di prima generazione si è rivelato interessante ma acerbo, non sempre in grado di offrire texture nitide, anzi alle risoluzioni più basse come il Full HD, le texture apparivano slavate, con una sorta di patina poco gradevole alla vista. Insomma come ogni novità, c'era ampio spazio per dei miglioramenti.

Control, un esempio di DLSS 1.9

Il primo passo verso il DLSS 2.0 Nvidia l'ha compiuto grazie al lavoro fatto su Control con Remedy Entertainment. Il gioco usa una versione più avanzata del DLSS originario che potremmo definire DLSS 1.9, che si sostanzia in un algoritmo di miglioramento dell'immagine che sfrutta gli shader tradizionali piuttosto che i Tensor core, fornendo un risultato finale simile al DLSS. A quanto pare l'implementazione in Control è però stato un caso unico e non sarà ripetuta in altri titoli in futuro.

Le novità di DLSS 2.0

Clicca per ingrandire

DLSS 2.0 è una nuova e migliore rete neurale profonda che migliora quanto visto finora in tema di DLSS. Sono quattro i progressi rispetto alla prima incarnazione della tecnologia. Per prima cosa una migliore qualità dell'immagine: il DLSS 2.0 garantisce una qualità dell'immagine a risoluzione nativa usando la metà dei pixel. Usa nuove tecniche di "temporal accumulation" grazie a vettori di movimento (tipici di tecniche proprio come il TAA) per mostrare dettagli più nitidi delle immagini e una superiore stabilità da un'immagine all'altra.

Clicca per ingrandire

Clicca per ingrandire

Nvidia promette anche un maggiore scaling lungo tutte le GPU RTX e le risoluzioni (si parla di un upscale della risoluzione di 4 volte, contro il 2x del DLSS 1.0). Questo significa che dovremmo vedere risultati qualitativi molto più evidenti anche in Full HD, tallone d'Achille della prima versione. Un nuovo modello di IA più veloce fa un uso più efficiente dei Tensor core per prestazioni 2 volte maggiori rispetto alle origini, migliorando il frame rate e rimuovendo le restrizioni in termini di GPU supportate, impostazioni e risoluzioni.

Prestazioni più elevate ma qualità del tutto simile - Clicca per ingrandire

Clicca per ingrandire

Una novità fondamentale però è che mentre il DLSS originale richiedeva un allenamento della rete per singolo gioco, il DLSS 2.0 offre una rete di IA generalizzata che rimuove la necessità di apprendimento per ogni singolo titolo. Questo significa una cosa sola: più velocità d'integrazione nei giochi e più titoli con supporto al DLSS.

Clicca per ingrandire

In questo confronto, e in quelli successivi, potete vedere un netto miglioramento qualitativo rispetto al precedente DLSS, con prestazioni del tutto simili - Clicca per ingrandire

Clicca per ingrandire

Clicca per ingrandire

Infine, il DLSS 2.0 mette inoltre a disposizione tre modalità di qualità d'immagine (Quality, Balanced, Performance) che controllano la risoluzione di rendering. Per esempio, in MechWarrior 5 il DLSS 2.0 è impostato in Full HD e WQHD su Quality, mentre in 4K l'impostazione standard è Performance.

"Nvidia DLSS 2.0 offre ai giocatori un aumento delle prestazioni gratuito, senza sacrificare la qualità dell'immagine", ha dichiarato Russ Bullock, presidente di Piranha Games. "È semplicissimo da implementare con il nuovo SDK di Nvidia, quindi è stato facilissimo per noi aggiungerlo a MechWarrior 5". In arrivo anche un aggiornamento di Control e l'integrazione in Deliver Us The Moon di KeokeN Interactive e Wolfenstein: Youngblood. Aspettiamoci però molti altri giochi con supporto al nuovo DLSS 2.0 vista la maggiore facilità di integrazione, anche grazie al supporto da parte dell'Unreal Engine 4 tramite un branch dedicato.