Tom Hanks parla in giapponese e Tom Cruise in francese: il merito è di un'AI

Flawless AI è una startup specializzata in soluzioni di intelligenza artificiale che vede tra i suoi fondatori il regista Scott Mann. Offre uno strumento molto efficace nell'adattare i movimenti delle labbra a varie lingue, il tutto senza snaturare l'interpretazione originale dell'attore. Lo strumento studia come gli attori muovono la bocca e sulla base di queste informazioni adatta i movimenti in funzione della lingua. In questo modo si riesce a far parlare Tom Hanks in giapponese o Tom Cruise e Jack Nicholson in francese.

Flawless AI: un deepfake congeniale ai doppiaggi

In altri termini, si tratta di uno strumento simile ai più famosi deepfake, capace di alterare una porzione del fotogramma in funzione delle esigenze del regista. Mann ha iniziato a studiarlo mentre lavorava su Bus 657 (Heist), un film del 2015 con Robert De Niro. Doppiare i film è un lavoro non certo facile, perché la scelta delle parole va fatta anche in modo tale che ci sia sincronia rispetto al movimento delle labbra. Un procedimento che spesso porta anche a modificare il significato delle frasi.

Proprio per contrastare questo problema, Mann ha iniziato a fare delle ricerche e ha scoperto un white paper di Christian Theobalt del Max Planck Institute for Informatics, che delinea un nuovo approccio che, attraverso l'intelligenza artificiale, gestisce effetti visivi in grado di riprodurre espressioni del volto fotorealistiche.

Fondamentalmente l'intelligenza artificiale è in grado di catturare un movimento delle labbra compatibile al suono prelevandolo da un altro punto del film. Inoltre, gestisce i tempi e fonde tra di loro i vari fotogrammi in modo da generare un risultato finale credibile. Flawless AI sta ora lavorando con produttori e studi per integrare la tecnologia nella post-produzione dei film. Ma, secondo Mann, servono ancora due anni per rifinire la tecnologia in modo tale da poterla utilizzare per film commerciali.

Il regista sostiene che tecnologie di questo tipo possono essere molto utili anche per abbattere le barriere linguistiche e consentire agli attori di recitare nei film a prescindere dalla loro lingua e dalla lingua in cui viene girato il film. Per altri dettagli vi rimandiamo al sito di Flawless AI.