9

NVIDIA DLSS 4 e Multi Frame Generation: cos'è e come funziona la rivoluzione del super sampling

Il lancio delle nuove GPU NVIDIA GeForce RTX 5000 è stato accompagnato dalla presentazione del DLSS 4 e del Multi Frame Generation. Ora vi raccontiamo come funzionano queste tecnologie.

SPECIALE di Riccardo Arioli Ruelli   —   16/01/2025
La nuova NVIDIA GeForce RTX 5090

Con l'annuncio della nuova gamma di GPU NVIDIA GeForce RTX 5000, l'azienda guidata da Jensen Huang ha presentato al mondo il nuovo DLSS 4, un pacchetto di tecnologie che si prepara - ancora una volta - a rivoluzionare il mondo della computer grafica e del gaming, facendo leva sulle innovazioni introdotte dal Multi Frame Generation: la creazione di fotogrammi del team verde evolve grazie all'utilizzo dei transformer e dell'intelligenza artificiale generativa, ponendoci di fronte ad una tecnologia inedita e per certi versi rivoluzionaria.

Mai come in questa occasione, il lancio e soprattutto l'efficacia delle nuove schede grafiche NVIDIA non può prescindere dalle tecnologie di upscaling, super sampling e frame generation che le accompagnano, tanto da spingerci ad affermare che il cuore di queste GPU non risiede nel mero hardware, ma piuttosto nei complicati algoritmi che sono alla base del DLSS 4, con ripercussioni e vantaggi che - come vedremo - coinvolgono direttamente anche le precedenti generazioni di schede.

Insomma, con la "serie 5000", le GPU della casa verde e l'intelligenza artificiale suggellano una simbiosi ormai indissolubile, aggirando la legge di Moore e spingendo sull'acceleratore dei frame.
Dopo aver passato una settimana al CES di Las Vegas in compagnia degli ingegneri e dei ricercatori NVIDIA, siamo pronti a raccontarvi tutte le novità del DLSS 4 e del Multi Frame Generation.

Multi Frame Generation: il framerate “uno e trino”

Per comprendere la "rivoluzione" introdotta dall'ultimo pacchetto di tecnologie NVIDIA è necessario partire dal concetto di Frame Generation (per saperne tutto, ma proprio tutto, vi invitiamo a leggere il nostro articolo dedicato alla frame generation) introdotto con il DLSS 3 ed esclusivo delle schede RTX 4000.

Il frame generation 'singolo' permette la generazione di un solo frame interpolato
Il frame generation "singolo" permette la generazione di un solo frame interpolato

Il frame generation "singolo" (o tradizionale, se preferite) è una tecnologia che sfrutta un modello di intelligenza artificiale per creare e interpolare frame intermedi, recuperando le informazioni da due frame precedentemente renderizzati per poi realizzare una media.

In questo processo i vettori di movimento e le altre informazioni contenute nella scena vengono analizzate dell'Optical Flow Accelerator, un hardware dedicato introdotto con la serie 4000 che calcola un campo di flusso ottico accompagnato da dettagli come luci e ombre e dai cambiamenti geometrici della scena. Questi dati vengono poi utilizzati dal modello IA per generare un nuovo frame che va ad intersecarsi tra due frame renderizzati nativamente. Va da sé che il risultato finale è l'aumento del frame rate generale.

Multi Frame Generation moltiplica la generazione di frame interpolati, che da uno diventano tre. Per raggiungere questo obiettivo, però, il metodo "tradizionale" non basta: l'Optical Flow Accelerator e i Tensor Core dovrebbero intervenire per ogni nuovo frame generato e anche la potenza della nuova NVIDIA GeForce RTX 5090 non sarebbe sufficiente.

Multi Frame Generation utilizza un nuovo modello IA per generare tre frame
Multi Frame Generation utilizza un nuovo modello IA per generare tre frame

Ancora una volta, a fare la differenza è l'implementazione di un nuovo modello di intelligenza artificiale che si occupa di generare un campo di flusso ottico ottimizzato e più efficiente, che sostituisce l'Optical Flow Accelerator. L'introduzione di questa tecnica non solo risulta fino al 40% più veloce rispetto alla precedente, ma comporta un utilizzo di memoria fino al 30% inferiore, riflettendosi in un minor carico complessivo sul sistema. In virtù dell'efficienza dimostrata dal nuovo modello, NVIDIA ha deciso di applicarlo anche al frame generation "singolo", portando vantaggi sostanziali anche alle GPU della serie RTX 4000.

Multi Frame Generation necessita invece delle novità hardware introdotte dall'architettura Blackwell, che rendono l'ultima "magia" di NVIDIA un'esclusiva della serie RTX 5000.

Con DLSS 4 e Multi Frame Generation, 15 su 16 pixel sono generati dall'IA
Con DLSS 4 e Multi Frame Generation, 15 su 16 pixel sono generati dall'IA

Per generare fotogrammi multipli è infatti indispensabile che vi sia un "frame pacing" costante e coerente. Il frame pacing è il modo in cui i frame vengono distribuiti nel tempo durante l'esecuzione di un gioco e di qualunque applicazione grafica, un vero e proprio "ritmo" dei frame: più il ritmo è uniforme, più la grafica risulta fluida. Con DLSS 3 il frame pacing risulta spesso variabile, a causa dei diversi carichi di lavoro tra CPU e GPU distribuiti dai singoli engine.

Il Flip Metering hardware genera un frame rate costante
Il Flip Metering hardware genera un frame rate costante

DLSS 4 Multi Frame Generation utilizza invece quello che viene definito Flip Metering hardware, spostando la coda di distribuzione dalla CPU alla componente che controlla il display, direttamente integrata nelle GPU Blackwell: in questo modo i fotogrammi vengono interpolati poco prima di essere inviati al monitor tramite DisplayPort o HDMI, garantendo un flusso omogeneo.
L'esecuzione di tutti i modelli IA come Super Resolution, Rey Reconstruction e Multi Frame Generation per ogni singolo frame, richiede inoltre una grande potenza di calcolo, in questo caso portata in dote dai Tensor Core di quinta generazione equipaggiati in via esclusiva sulle schede video RTX 5000.

Con Multi Frame Generation, insomma, il rendering nativo tradizionale viene superato dall'applicazione dell'intelligenza artificiale, che diventa uno strumento imprescindibile per raggiungere le prestazioni promesse da Jensen Huang nel corso del keynote del CES 2025.

DLSS 4: la rivoluzione del rendering neurale

Pur mantenendo la nomenclatura originale, con la quarta versione del Deep Learning Super Sampling, NVIDIA presenta un pacchetto di tecnologie che apre le porte a quello che può essere definito come rendering neurale.

DLSS 4 promette un aumento esponenziale del frame rate
DLSS 4 promette un aumento esponenziale del frame rate

Come abbiamo accennato in apertura, DLSS 4 introduce l'utilizzo dei transformer, un'architettura di rete neurale progettata per gestire ed elaborare una sequenza di dati in maniera efficiente e che è alla base dei modelli di intelligenza artificiale generativa come ChatGPT, Gemini, Midjourney e tanti altri.
Nel nostro speciale che vi spiega tutto sul funzionamento del DLSS abbiamo analizzato la tecnologia alla base di questa feature: fino a questo momento il DLSS ha utilizzato le CNN (Convolutional Neural Network), che elaborano le informazioni sui pixel attraverso operazioni locali: nello spazio rispetto ai pixel adiacenti e nel tempo su più fotogrammi.

DLSS 3 è basato sulle CNN
DLSS 3 è basato sulle CNN

L'architettura basata sui "vision transformer" consente all'IA di analizzare un pixel nel contesto dell'intera scena, sul frame precedente e successivo a quello del pixel originale, permettendo l'identificazione di pattern più ampi e distribuiti su una finestra temporale più ampia. I pixel "upscalati" risultano quindi più precisi e coerenti e si integrano naturalmente con quelli originali, offrendo un'immagine con meno artefatti e maggiori dettagli: in questo modo gli effetti di ghosting vengono ridotti all'osso e l'integrità dell'immagine iniziale viene conservata quasi completamente.

I transformer utilizzati dal DLSS 4 sono alla base di modelli di IA generativa come ChatGPT e Gemini
I transformer utilizzati dal DLSS 4 sono alla base di modelli di IA generativa come ChatGPT e Gemini

Il modello basato sui transformer non viene applicato solo alla Super Resolution, ma anche alla Ray Reconstruction. Le immagini utilizzate da NVIDIA che usano come campione Alan Wake 2 mettono in mostra l'efficacia di questa nuova tecnologia, che va a risolvere alcuni dei problemi riscontrati con il DLSS tradizionale.

Al contrario del Multi Frame Generation, il DLSS basato su Transformer sarà disponibile per tutte le GPU RTX fino alle serie 2000, anche se inizialmente in beta: essendo una tecnologia basata sull'IA generativa potrebbe infatti volerci un po' di tempo e un minimo di ottimizzazione per funzionare a dovere. Inoltre, sebbene disponibile nativamente al lancio su ben 75 titoli, DLSS 4 porta in dote un'altra importante novità: sarà infatti possibile forzarlo via driver - direttamente da NVIDIA App - scegliendo tra tre differenti modelli: DLSS Override per Frame Generation (solo per RTX 5000), DLSS Override per Modello (RTX 5000 e RTX 4000) e DLSS Override per Super Resolution.

Il DLSS 4 arriverà su tutte le schede NVIDIA GeForce RTX a partire dalla serie 2000, ma con funzionalità differenti
Il DLSS 4 arriverà su tutte le schede NVIDIA GeForce RTX a partire dalla serie 2000, ma con funzionalità differenti

DLSS 4 e Multi Frame Generation sono le novità fondamentali che accompagnano il lancio delle tanto attese schede NVIDIA Blackwell e che, con tutta probabilità, segneranno il destino di questa nuova generazione di GPU. La serie NVIDIA GeForce RTX 5000 è stata pensata e sviluppata per massimizzare l'efficacia di queste nuove tecnologie di rendering, che nello stesso tempo porteranno vantaggi diretti anche alle precedenti generazioni di schede del team verde.

Se la scienza dei materiali sembra ferma di fronte a limiti per ora invalicabili, quella delle intelligenze artificiali ci prospetta un futuro ancora tutto da esplorare.