Trasformare una semplice immagine in un mondo 3D da esplorare liberamente: è ciò che permette di fare NVIDIA Lyra 2.0, un framework che combina la generazione video con la ricostruzione tridimensionale. Si tratta di una tecnologia interessante, che punta a superare alcuni dei limiti degli attuali sistemi di generazione video basati sull'intelligenza artificiale, offrendo una maggiore coerenza nella rappresentazione degli ambienti.
Come funziona Lyra 2.0
Si tratta precisamente di un framework sviluppato dallo Spatial Intelligence Lab di NVIDIA. Come anticipato, basta una semplice fotografia per ottenere un ambiente tridimensionale da poter esplorare liberamente. La ricerca originale risale ad aprile, ma la prima versione presentava ancora alcune problematiche, come lo spostamento eccessivo della telecamera virtuale o le modifiche nella posizione e nell'aspetto di alcuni elementi della scena.
Adesso, il framework combina la ricostruzione tridimensionale con la generazione video. Il modello, in particolare, produce una sequenza che simula il movimento di una telecamera. Un secondo sistema sfrutta poi le immagini generate per ricostruire la geometria dell'ambiente. Il risultato è una maggiore coerenza, grazie alla conservazione delle informazioni tridimensionali associate ai fotogrammi precedenti, soprattutto quando si torna in una zona già attraversata.
NVIDIA fa inoltre riferimento a un metodo di addestramento progettato proprio per correggere gli errori che rischierebbero di accumularsi durante il processo. L'ambiente ricostruito può essere convertito in diversi formati, tra cui il 3D Gaussian Splatting e le mesh poligonali. Quest'ultime possono essere utilizzate anche all'interno di piattaforme di simulazione come NVIDIA Isaac Sim.
Per chi non lo sapesse, il 3D Gaussian Splatting è una tecnica che consente di ricreare ambienti tridimensionali utilizzando tanti piccoli elementi simili a macchie colorate che, nel loro insieme, restituiscono un'immagine realistica dello spazio. Le mesh poligonali, invece, rappresentano gli oggetti attraverso una rete composta da tanti piccoli poligoni, utilizzata per definirne la forma e la superficie.
La versione ottimizzata, in base ai test dichiarati da NVIDIA, genera circa 80 fotogrammi in 15 secondi su una GPU GB200, contro i 194 secondi del modello completo. Si tratta di un miglioramento significativo in termini di velocità, anche se Lyra 2.0 richiede comunque hardware particolarmente potente ed è pensato soprattutto per la ricostruzione di ambienti statici.
Requisiti e limitazioni
Se siete interessati, il codice è disponibile su GitHub con licenza Apache 2.0. I pesi del modello, ovvero i parametri che permettono all'IA di funzionare, sono invece distribuiti con una licenza più restrittiva.
Questo significa che non possono essere utilizzati liberamente per servizi commerciali o applicazioni in produzione, mentre il loro impiego è consentito per attività di ricerca e sperimentazione.
