Google ha annunciato Lumiere, una intelligenza artificiale che è in grado di generare video brevi decisamente realistici. In collaborazione con il Weizmann Institute of Science e l’Università di Tel Aviv, è stato pubblicato un documento in cui si presenta quello che viene definito un “modello di diffusione spazio-temporale”, così come riferito da Hdblog.it. Attraverso il documento i ricercatori affermano di utilizzare un approccio diverso rispetto ai “software” esistenti, come ad esempio Pika, e il modello è in grado di sintetizzare dei video che ritraggono movimenti realistici, coerenti e diversificati.
Il documento che introduce Lumier di Google è consultabile da tutti ma attualmente non esistono ancora dei modelli da testare per comprendere al meglio la tecnologia che si basa sull’intelligenza artificiale generativa. Come si può utilizzare Lumiere? Secondo quanto spiegato, gli utenti possono fornire degli input scrivendo dei comandi di testo, descrivendo quello che desiderano ottenere attraverso l’utilizzo di un linguaggio naturale.
GOOGLE LUMIERE, IL MODELLO BASATO SULL’IA PER CREARE VIDEO: DOPO L’INPUT TESTUALE…
Si tratta quindi di un modello che è in grado di generare un video sulla base dell’input testuale. Si può anche decidere di caricare un’immagine statica, aggiungendo anche una richiesta di modo da trasformare la stessa in un video dinamico. Google ha fatto sapere che per generare il video da un testo «addestriamo il modello sui dati presi da 30 milioni di video insieme alle loro descrizioni».
E ancora: «Il nostro metodo non è progettato per generare video con diverse riprese o che includano transizione fra scene. Generare questi contenuti rimane una sfida aperta per ricerche future». Non mancano le implicazioni sociali, e gli sviluppatori a riguardo si dicono consci che la loro tecnologia potrebbe essere utilizzata in futuro «per creare contenuti falsi o pericolosi, così come già sta capitando per le IA generative che creano immagini. Crediamo sia cruciale sviluppare e applicare strumenti per individuare quando è usata in maniera dannosa».
GOOGLE LUMIERE, IL MODELLO BASATO SULL’IA PER CREARE VIDEO: LE VARIE FUNZIONI
Fra le funzioni presenti nel modello troviamo anche l’inpainting, capace di inserire oggetti specifici, ma anche il Cinemagraph, che aggiunge un movimento a delle parti di una scena, quindi la generazione stilizzata attraverso lo stile di riferimento di un’immagine per la creazione del video, aggiunge ancora Hdblog. Inoltre attraverso la funzione “Space-Time U-Net” si genera l’intera durata temporale del filmato in una volta sola, rendendo il tutto più realistico e coerente.
A livello tecnico può generare 80 fotogrammi a 16 fps, con pixel 1024×1024 della durata di cinque secondi comunque a bassa risoluzione. In ogni caso i ricercatori parlano di risultati di Lumiere migliori rispetto ad altri modelli video esistenti basati sull’AI. Si tratta quindi dell’ennesimo “programma” basato sull’intelligenza artificiale sviluppato nell’ultimo anno, che potrebbe trasformare il mondo dell’editing video e della produzione, così come lo abbiamo conosciuto fino ad oggi.