NVIDIA GameGAN, come l'IA può sostituire il motore grafico

GameGAN è un nuovo modello di intelligenza artificiale, realizzato all'interno del programma NVIDIA Research. È stato utilizzato per ricreare Pac-Man, il celebre titolo che compie quest’anno il suo 40° anniversario, come ci è stato spiegato da Rev Lebaredian, vice president of simulation technology presso NVIDIA, attraverso un approfondimento in video-conferenza. Formatasi osservando 50 mila partite a Pac-Man, la rete neurale di NVIDIA, di tipo generative adversarial network, anche senza conoscere le regole fondamentali del gioco, le può dedurre e ricreare il gioco con risultati convincenti.

Osservare il funzionamento di un ambiente chiuso con le proprie regole e saperle interpretare, è molto importante per creare sistemi di intelligenza artificiale avanzati, che poi possono essere usati in simulazioni più articolate. L'intelligenza artificiale è dunque stata in grado di ricreare Pac-Man tramite l'osservazione delle schermate di gioco e sulle base dei dati provenienti dalle varie azioni eseguite in quelle 50 mila partite. In questo modo, mentre un agente artificiale (ma il sistema funziona anche con un giocatore umano) gioca una partita generata dalla rete neurale, GameGAN genera in tempo reale nuovi fotogrammi sulla base delle azioni dell'agente. GameGan è così in grado di generare anche partite a cui non ha mai assistito prima. In questo modo il gioco viene ricreato in assenza di un motore grafico, solo con dati ricavati dall'IA.

Può sembrare tutto molto fumoso, ma è invece un sistema che può rivoluzionare il modo in cui viene gestito un gioco con grafica 3D anche molto complessa. Ricorrendo all'intelligenza artificiale, infatti, si può sgravare il lavoro della GPU in termini di elaborazione degli scenari di gioco. In futuro, ci è stato detto da Lebaredian, questa tecnologia potrebbe essere estesa a giochi più complessi rispetto a Pac-Man. Uno sviluppatore, quindi, può dare "in pasto" al modello di IA un livello di gioco e l'IA ne comprenderà il funzionamento, generando automaticamente altri livelli con caratteristiche di base similari ma fondamentalmente diversi.

I modelli di IA si basano su due reti neurali concorrenti, una generatrice e l'altra discriminatrice. “Volevamo verificare se l'intelligenza artificiale può imparare le regole di un ambiente solo guardando come si comporta un agente che si muove attraverso il gioco. Ed è in grado di farlo" ha detto Seung-Wook Kim, ricercatore NVIDIA e autore principale del progetto.

Sulla base del comportamento dei pixel l'IA ha percepito se ad essi corrispondevano pillole, fantasmi o muri. Tutto questo è stato fatto in maniera automatica in 40 giorni usando sistemi NVIDIA DGX che, complessivamente, hanno analizzato diversi milioni di fotogrammi e i dati provenienti dalle azioni dei giocatori, ovvero i tasti che hanno premuto in quelle partite. Inoltre, l'intelligenza artificiale tiene traccia del mondo virtuale, ricordando ciò che è già stato generato per mantenere la coerenza visiva da un frame al successivo.

Tutto questo può essere utile anche in altri tipi di simulazioni, che sono basate su regole simili a quelle di un videogioco. Marbles RTX, ad esempio, simula un mondo realistico che ha regole che seguono le vere regole della fisica. Lo scopo è creare un sistema di intelligenza artificiale che possa imparare queste regole semplicemente osservando cosa succede.

“Siamo rimasti stupefatti quando abbiamo visto i risultati, increduli che l'IA potesse ricreare l'iconica esperienza di gioco di Pac-Man senza motore grafico", ha dichiarato Koichiro Tsutsumi di Bandai Namco, il produttore di Pac-Man che ha fornito i dati per allenare GameGAN. "Questa ricerca dispiega interessanti possibilità per aiutare gli sviluppatori di giochi ad accelerare il processo creativo dei livelli di gioco, dei personaggi e persino interi giochi". Semplicemente tramite l'osservazione, GameGAN ha imparato le regole di Pac-Man e le ha applicate per le sue creazioni, ovvero che Pac-Man non può attraversare i muri e che i fantasmi sono mangiabili dopo che lui ha divorato una pillola grande.

Il modello di IA inoltre percepisce la differenza tra lo sfondo e gli oggetti in movimento, e questo consente di personalizzare il gioco, se lo si vuole, ad esempio sostituendo Pac-Man con la propria emoji preferita. Come dice Tsutsumi, questa funzionalità può essere utilizzata dagli sviluppatori di videogiochi per generare automaticamente nuovi livelli di gioco, ma può essere molto utile anche nel capo della robotica e delle macchine autonome. Questo perché le macchine autonome vengono solitamente addestrate con un simulatore prima di poter interagire con gli oggetti nel mondo reale. All'interno del simulatore l'IA deve apprendere le regole di un ambiente e riprodurle fedelmente.

La creazione di un simulatore è un processo che richiede tempo agli sviluppatori, che devono programmare regole su come gli oggetti interagiscono tra di loro e la logica alla base degli altri elementi grafici. Per simulare correttamente uno scenario, serve definire con precisione come si comportano gli agenti dinamici che sono presenti in esso e come le azioni di ciascuno di questi agenti influenzano il comportamento degli altri.

I simulatori servono per macchine autonome di ogni tipo, dai robot che devono spostare delle scatole in un magazzino a quelli che devono consegnare le merci, cibo o medicine, e devono sapere affrontare un marciapiedi. Secondo NVIDIA, un sistema come GameGAN potrebbe essere in grado in futuro di addestrare uno di questi simulatori.

Supponiamo di installare una videocamera su un'auto per registrare cosa avviene sulla strada e il comportamento del guidatore, quindi se sta girando il volante o premendo l'acceleratore. Questi dati possono, poi, essere utilizzati per formare un modello di deep learning in grado di prevedere cosa è accaduto nel mondo reale in funzione delle reazioni del guidatore. Ad esempio, cosa potrebbe essere accaduto se lui ha intrapreso un'azione come una forte frenata. "Alla fine potremmo avere un'intelligenza artificiale che può imparare a riprodurre le regole della guida e le leggi della fisica, semplicemente osservando i video e vedendo gli agenti intraprendere le loro azioni", ha detto Sanja Fidler, direttrice del laboratorio di ricerca di NVIDIA a Toronto. "GameGAN è il primo passo in questa direzione".

Le applicazioni delle GAN sono dunque enormi, e vanno ben oltre i videogiochi e la sfera del virtuale. Altri esempi si trovano qui. NVIDIA si occupa di ricerca di questo tipo a livello globale e può contare su circa 200 ricercatori come quelli in questo articolo menzionati, dislocati in varie parti del mondo. Dal Nord America all'Europa, fino all'Asia, lavorano su progetti di intelligenza artificiale, computer vision, auto a guida autonoma, macchine autonome e grafica. Alcuni risvolti di queste ricerche vengono subito applicati nella pratica, come nel caso del DLSS 2.0, che aiuta a rendere più definite le immagini servendosi del training fatto da bot offline su immagini reali.