Io e Mateusz da due anni stiamo lavorando sull’esplorazione degli utilizzi degli strumenti e dei modelli di IA nel cinema e nell’audiovisivo. Si badi bene, non solo IA generativa.  Mateusz, ha realizzato ormai tre anni fa – prima dell’esplosione dell’hype – un lungometraggio, “Il diario di Sisifo”, come esperimento “estremo” di scrittura di sceneggiatura con un LLM (ne scrive qui). Questo approccio gli ha permesso di capire da un lato i limiti della “scrittura automatizzata” dall’altro di intuire potenzialità sia nella collaborazione essere umano-macchina sia (soprattutto) nell’uso dell’IA in una pletora di attività diverse all’interno del workflow produttivo: post-produzione in primis ma anche, solo per fare qualche esempio, nelle fasi di elaborazione del budget, della pianificazione delle riprese, dell’audience design.

Abbiamo passato questi due anni ascoltando e confrontandoci con gli addetti ai lavori (almeno quelli che hanno accettato il dialogo) per capire le loro esigenze, i loro dubbi, i loro timori. Abbiamo svolto diversi corsi di formazione in cui abbiamo fornito le basi per sfruttare al meglio gli strumenti AI-based, in particolare open come ComfyUI. Mai è mancata una lezione sui problemi legati ai modelli generativi come l’addestramento compiuto con lo “scraping” selvaggio su ogni genere di contenuto (anche sotto copyright), i pregiudizi ereditati da questi contenuti, i rischi per l’occupazione, la sostenibilità ambientale.

Abbiamo fatto molti test e sono stati sviluppati diversi prototipi di tools che ci sono serviti per capire a fondo potenzialità e limiti (al solito…). Abbiamo compreso, tra le altre cose, che modelli più piccoli, magari open source /open weights, da usare in locale o comunque in ambiente “privato” possono essere comunque molto efficienti.

Insomma, abbiamo cercato di rendere onore al termine “laboratorio”.

Essendo poi in contatto con gli ambienti universitari, dove da tempo si lavora – eccome! – sul tema affascinante ma delicato della creatività assistita dalle macchine, abbiamo pensato che potesse essere utile avere un caso di studio serio, documentato, analizzato anche in ambito accademico: caso incentrato sul settore audiovisivo, sulla co-creazione e, più in generale, sui possibili utilizzi dell’IA e del machine learning nella filiera produttiva.

È nato così Cort-IA. La prima, centrale domanda a cui il contest vuole rispondere è: si può scrivere una sceneggiatura in “collaborazione” con un chatbot o un modello LLM? Come avviene questo processo co-creativo? Quali i metodi possibili (siamo centauri o cyborg? Una risposta per Ethan Mollick), quali i passaggi, le difficoltà, le sorprese? Quale il risultato finale? Che insegnamenti trarre da questa collaborazione inedita tra carbonio e silicio? L’IA è una rovina (come disse Charlie Chaplin per l’avvento del sonoro nel cinema)? È la (ri)morte dell’autore (quasi mezzo secolo dopo Barthes)? O c’è un nuovo “auteur” nelle pagine di Cahiers du Cinema?

Va bene, queste ultime domande (con citazioni scontate) sono il massimo della mia vis polemica…

Il lavoro non si fermerà con la proclamazione di una sceneggiatura vincitrice. Cercheremo di utilizzare quanto appreso nel nostro laboratorio anche durante la fase produttiva, per avere un caso di studio completo, utile per dare maggiori informazioni a tutto il settore cinematografico/audiovisivo e per aiutare chi dovrà stilare linee guida per l’utilizzo dell’IA.

Infine alcune precisazioni.

Il contest è organizzato da noi di SophIA (chi scrive, Federico Bo e Mateusz Miroslaw Lis). Rai Cinema Channel è un partner che ha accettato di aiutarci (decisione davvero non scontata di cui non possiamo che essere grati). Come gli altri partner, Rai Cinema Channel non contribuisce economicamente in nessun modo. Potrà, come evidenziato nel regolamento, valutare se acquistare (o meno) il corto realizzato.

Non verranno elargiti premi in denaro, noi di SophIA non percepiamo alcun compenso da nessuna parte in causa. Forniremo assistenza gratuita alla produzione per l’utilizzo degli strumenti AI-based.

Il caso di studio sarà documentato sia con paper accademici che con altri contenuti, sempre pubblici.

Speriamo davvero di poter scoprire modi insoliti, imprevisti, bizzarri, intriganti di scrivere storie che ci aiutino a svelare qualcosa di “altro” su di noi e su quella leggenda che chiamiamo realtà.

update Gabriele Niola su Wired ha “letto” e inquadrato correttamente il contest

The post Una certa tendenza sul contest Cort-IA first appeared on SophIA.

Katya Vettorello, esperta di Graphic Art & Image Editing (e ora AI artist), racconta a Pier Luigi Pisa come si lavora con l’IA generativa. Conoscenze pregresse, innumerevoli prove e test, individuazione di tecniche e buone pratiche: insomma duro lavoro e niente “formule magiche”.

“Cos’è che la fa stare sveglia la notte, a produrre immagini con un’intelligenza artificiale?
“La meraviglia di vedere davanti agli occhi quello che hai nella mente. Come fosse una Polaroid che si materializza piano piano”.”

Fonte: repubblica.it

Un altro tipo di linguaggio

“A Kind of Language: Storyboards and Other Renderings for Cinema” è la mostra curata da Melissa Harris per Fondazione Prada che esamina il processo creativo prima della realizzazione di un film esplorando storyboard e altri materiali come moodboard, disegni e schizzi, scrapbook e quaderni, sceneggiature commentate e fotografie.”

Storyboard, moodboard e versioni più multimodali cominciano a essere realizzate con le IA generative per aiutare regista, direttore della fotografia, scenografi, costumisti e altri professionisti a rappresentare e condividere la loro visione sull’opera audiovisiva.

L’ultimo Dogma

“L’uso del digitale al posto della pellicola tuttavia era una scelta comune a quasi tutti i film del Dogma, perché il suo basso costo era considerato un mezzo di democratizzazione del cinema.”

Dogma 95 fu un movimento fondato a metà degli anni ’90 da Lars Von Trier e altri registi danesi che propugnava un ritorno a un cinema più essenziale e meno artificioso.

Fonte: Il Post

Porsche?

László Gaál ha pubblicato su Reddit questa finta pubblicità Porsche, creata interamente (per la parte video) con Veo2 (a cui ha evidentemente accesso anche se Google non l’ha ancora reso pubblico). Afferma che ci ha messo tre settimane per realizzarlo. Il montaggio, la musica, la voce sono “tradizionali”. Anche la parte del “dietro le quinte” dello spot è realizzata con Veo2.
L’autore è chiaramente un professionista però, se quanto afferma è vero, lo spot è stato realizzato da una sola persona.

The post Cronache dallo spazio latente/6 first appeared on SophIA.

Il Sacro Graal dell’IA nel cinema è sicuramente la possibilità di prevedere gli effetti delle storie sull’audience (e sul box office…)
Da mesi stiamo sperimentando i neonati Subpopulation Representative Models (SRMs) per simulare il pubblico con film screenings sintetici. Per far funzionare il tutto sono servite tecniche avanzate di emulazione emotiva che i LLMs tradizionali faticano a riproporre. I risultati si iniziano a vedere…

Anche le produzioni indipendenti possono accede a insight di valore, derivati da ricerche di mercato sintetiche che rivaleggiano con i sofisticati strumenti data-driven dei colossi dell’audiovisivo. Con le giuste simulazioni, ogni creator ha l’opportunità di ottimizzare il proprio contenuto per il pubblico giusto, rivoluzionando il processo decisionale e rendendolo accessibile a chiunque.

Se i re-rolling rates (cioè quante volte devo usare il modello prima di avere l’output che mi interessa) per tutti gli attuali modelli generativi di video sono di 1:50 o addirittura 1:100 questo genere di strumento, per ora, può essere utilizzato solo per generazioni integrative e costose da realizzare tradizionalmente. (Per non parlare delle risoluzioni scadenti e degli output in H264 totalmente inutilizzabili per la post-produzione…)

A proposito di text-to-video

In quest’ottica qui, i 200 euro per Sora ed i prezzi elevati delle altre piattaforme non hanno senso economico per l’utente finale. Queste aziende lo sanno e vivono di hype. Non fatevi fregare, utilizzate le API e servizi cloud come Replicate per eseguire i modelli solo per le generazioni che vi servono (a prezzi inferiori tra l’altro!):
Haiper Video 2 (0,25$ per 5s di video)

Mochi 1 (0,41$ per 5s di video)
Dream Machine (0,45$ per 5s di video)
Minimax Video 01 (0,50$ per 5s di video)
Hunyuan Video (0,69$ per 5s di video)

Little flower

“Fiorello ha incantato il pubblico londinese con un piccolo show di due minuti e mezzo: grazie all’Intelligenza artificiale si è espresso in un inglese perfetto.” Aldo Grasso, Corriere.it

Esempio di ampliamento dell’audience di contenuti originariamente non in lingua inglese doppiati con le voci originali.

AI Entertainment Studios

Invisible Studio, Promise, EDGLRD, TCL Studio sono solo alcuni degli studios AI-based che stanno nascendo negli States. Così come Secret Level, che ha realizzato il controverso spot di Natale della Coca Cola.

Sebbene incentrati sull’Intelligenza artificiale e sul suo utilizzo in ogni fase creativa e produttiva, queste case di produzione di nuova generazione si avvalgono anche di sceneggiatori, attori, tecnici, compositori ecc.
Le tecniche tradizionali come il live-action, l’animazione e gli effetti di post-produzione sono ibridati con gli strumenti IA. Questi, in particolare quelli generativi, stanno ristrutturando la pipeline di produzione convenzionale che ora tende a un “post-to-pre (production)”: la visualizzazione anticipata consente di vedere e iterare immediatamente gli elementi visivi che altrimenti avrebbero dovuto attendere fino alle riprese o agli effetti visivi di post-produzione per il rendering CG.

Fonte: Variety VIP

Immagine creata con Flux via Replicate

The post Cronache dallo spazio latente/5 first appeared on SophIA.

Uno studio commissionato da CISAC (Confederazione Internazionale delle Società di Autori e Compositori, che rappresenta oltre 5 milioni di creativi) e condotto da PMP Strategy prevede che il mercato della IA generativa passerà dai 3 miliardi di dollari attuali ai 64 miliardi nel 2028, con ricavi nell’ordine di 6 miliardi.
Ma nel settore audiovisivo le perdite di ricavi per i singoli creativi potrebbero aggirarsi intorno al 21%.

“I traduttori e gli adattatori per il doppiaggio e il sottotitolaggio saranno quelli che subiranno l’impatto più forte, con il 56% dei loro ricavi a rischio, mentre sceneggiatori e registi potrebbero vedere i loro ricavi cannibalizzati dal 15 al 20%.”

Date queste previsioni, lo studio raccomanda urgenti misure di regolamentazione dell’IA generativa.

Fonte: Finance Yahoo!

A proposito di regolamentazione

Lo scorso ottobre l’European Audiovisual Observatory (EAO) ha prodotto un report dal titolo “AI in the Audiovisual Sector: Navigating the Current Legal Landscape “.
Si tratta di un’analisi delle criticità e delle zone grigie che l’IA, in particolare generativa, ha prodotto nel settore audiovisivo in termini di copyright, regolamentazione, privacy, impatto su lavoro e occupazione.

Tra le questioni prese in considerazione vi sono:
– il confine tra uso legittimo (fair use) e violazione del copyright, soprattutto in contesti di estrazione di dati (text e data mining) per la creazione dei dataset di addestramento dei modelli
– l’incertezza giuridica sugli output generati dall’IA e la loro classificazione come opere derivate.
– accordi tra società di produzione, editori, singoli per utilizzo – autorizzato e remunerato – a fini di addestramento IA dei loro contenuti.

Un nuovo genere

Una startup diventa casa editrice solo di titoli scritti dall’IA. Immagino arriveranno anche case di produzione che realizzeranno solo corti e lungometraggi realizzati con TTV (text-to-video) e etichette discografiche solo per musiche e canzoni TTA (text-to-audio).
E se li considerassimo semplicemente un nuovo genere di contenuti, come a suo tempo sono stati i giornali, i fumetti, l’animazione, la musica leggera?
Non soppianteranno quelli già esistenti, li affiancheranno.

Fonte: The Bookseller

Sempre più text-to-video

La nuova versione del modello di generazione video di Luma sembra essere molto performante. I video, secondo l’azienda, possono essere creati attraverso una conversazione “naturale”, senza complessi prompt, con la possibilità di ispirare il modello con immagini, colori, texture e altri input visuali. Si assicura che con una sola immagine di riferimento si può mantenere la persistenza di un personaggio attraverso i video.

Ma anche Runway, Stability, il nuovo modello open Genmo stanno affinando i loro modelli TTV.

Avverte però il nostro Mateusz Miroslaw Lis: “tutti i modelli fino ad oggi producono contenuti a 8bit in .png o .mp4, formati che non hanno spazio nelle produzioni professionali.”

Fonte: Venture Beat

“Prompt”

Arte, il canale tematico franco-tedesco, proporrà a dicembre “Prompt”, una serie di mini-fiction realizzate dall’illustratore Jocelyn Collages utilizzando anche l’IA generativa.

Nella presentazione, Arte afferma: “L’intelligenza artificiale è dirompente e disorientante, ma gli esseri umani sono agili. Tocca a entrambi conoscersi, a costo di malintesi, incomprensioni e perfino incidenti relazionali che sono il sale della serie.”

Fonte: freenwes.fr

Immagine di copertina tratta dai corti “Prompt” di Jocelyn Collages.

The post Cronache dallo spazio latente/4 first appeared on SophIA.

IA a Brodway

Un premio Nobel arrogante ma creativamente prosciugato chiede aiuto all’IA per scrivere il prossimo “suo” libro. E’ la trama di una pièce, “McNeal” scritta dal premio Pulitzer Ayad Akhtar e recitata a Brodway da Robert Downey Jr.

Credo che questa sia una delle più interessanti nonché disturbanti (del resto, ci troviamo in questa valle…) riflessioni su Intelligenza Artificiale e creatività, proprio perché non arriva da attori arrabbiati o autori indignati. Akhtar ha scritto il monologo e ha anche provato a farne riscrivere la parte conclusiva da ChatGPT, visto che doveva essere, nella finzione, scritta proprio da un’IA. Alla fine ha conservato solo un paio di righe “sintetiche”, ma la performance di Downey Jr. sembra sia stata comunque “intima ma stranamente disincarnata”.

Il rincorrersi tra umano e macchina, nella finzione e nella realtà, lo trovo affascinante. Spero che qualche attore o attrice italiana ne faccia una versione italiana.

Akhtar afferma: “”Sono passato dal sentire che si trattava di un’apocalisse in divenire, al sentire che è inevitabile che la nostra partecipazione – come scrittori creativi – sarà centrale. Non penso che ci sostituirà, ma penso che ci renderà migliori e ci renderà peggiori”.

Fonte: New York Times

Sceneggiature recitate

Le case di produzione ricevono centinaia di sceneggiature all’anno. Un aiuto per la selezione potrebbe venire dal progetto di Echobend. Sfruttando la tecnologia text-to-voice di ElevenLabs trasforma le sceneggiature in file audio: diverse voci recitano le parti, rendendo l’esperienza simile all’ascolto di un radiodramma d’antan, fruibile in momenti diversi da quelli consueti dedicati alla lettura. E forse con qualche indicazione in più per la valutazione.

Fonte: Fast Company

Abbassare i toni

Una posizione soft sull’IA quella di Scott Beck e Bryan Woods, autori e registi di “Heretic“, horror con Hugh Grant. Woods ha definito l’IA una “tecnologia incredibile” che dovrebbe essere sepolta “sottoterra con testate nucleari, perché potrebbe ucciderci tutti”. Ha aggiunto che l’IA generativa è semplicemente “un algoritmo che mescola un mucchio di merda insieme e poi la sputa fuori come arte. Non è umana e, a un certo livello, è al limite del furto”.
Per essere più chiari, hanno inserito nei titoli di coda la scritta “”non è stata utilizzata alcuna intelligenza artificiale generativa nella realizzazione di questo film”.
Un contributo prezioso al dibattito…

Fonte: IndieWire

Odi et amo

“Per le arti c’è ancora bisogno di un progetto curatoriale che rielabori ciò che la macchina (ndr IA) produce, altrimenti il risultato resta una riordinazione, seppur complessa, di qualcosa di già fatto. Siamo comunque all’inizio della sperimentazione, e questo, come creativo, dà anche una dose di eccitazione: è un mezzo che da una parte cerchi di capire come neutralizzare, dall’altra come sfruttare nel migliore dei modi.”

Mat Maitland, artista e creativo inglese, in un’intervista su “D”, inserto de La Repubblica.

The post Cronache dallo spazio latente/3 first appeared on SophIA.

Cross-over tra società di IA e case di produzione

Lionsgate, la casa di produzione di film e saghe come Hunger Games e John Wick, ha stretto un accordo con Runway, la piattaforma per video generativi.
“Le aziende affermano che il nuovo modello sarà “personalizzato per il portafoglio proprietario di contenuti cinematografici e televisivi di Lionsgate” ed esclusivo per lo studio. Lo scopo sarà quello di “aiutare Lionsgate Studios, i suoi registi, registi e altri talenti creativi ad aumentare il loro lavoro”.”

La stessa Runway continua la sua politica “aggressiva” verso l’industria cinematografica lanciando l’Hundred Film Fund: finanziamenti per 100 progetti cinematografici potenziati dall’Intelligenza Artificiale.
Con grant da 5.000 dollari fino a 1M$+ e 2M$ in crediti Runway, l’iniziativa punta a ridefinire la narrazione cinematografica nell’era dell’IA
Sono ammessi tutti i formati (lungometraggi, cortometraggi, documentari, progetti sperimentali, video musicali, ecc.) a condizione che il progetto cinematografico sia già in corso e utilizzi Runway.

Meta (Facebook) ha dichiarato di aver collaborato con Blumhouse Productions, la società di Hollywood dietro a film horror popolari come “The Purge” e “Get Out”, per mettere alla prova il suo nuovo modello video AI generativo Movie Gen.

Fonti: Hollywood Reporter, IndieWire, Reuters

“L’introduzione del sonoro nei film è una tragedia.”

Molti addetti ai lavori, compreso Chaplin, disdegnarono a lungo il sonoro, introdotto negli anni ’30.
Il professor Tomas Elliott, della Northeastern University di Londra ricorda: “C’era il timore che l’introduzione del sonoro avrebbe sminuito l’espressionismo artistico puramente visivo del mezzo, che avrebbe intaccato l’unicità del cinema, che avrebbe creato un’esperienza visiva senza pari nelle altre arti”.

I Tears for Fears, il duo che ascoltavamo negli anni ’80 (chi c’era si ricorderà, tra le altre canzoni, “Shout”, “Everybody wants to rule the world”, “Sowing the seeds of love”), riflette sulle analogie tra quel periodo e quello odierno riguardo l’uso delle nuove tecnologie.

“La tecnologia ha cambiato tutto in quel periodo ed è interessante vedere le somiglianze con ciò che sta accadendo ora con l’IA. Così come i sintetizzatori negli anni ’80 ci hanno permesso di fare musica senza una band, riproducendo ogni strumento, adesso si riescono realizzare altre cose senza bisogno che ci siano delle persone a farle. E così come oggi veniamo criticati per l’uso dell’AI, all’epoca ci criticavano perché usavamo la tecnologia».”

Fonti: Northeastern Global News, corriere.it

Varietà di pareri

Qualche giorno fa il Variety Entertainment and Technology Summit 2024 ha esplorato le intersezioni tra tecnologia e industria dell’intrattenimento, toccando temi come il podcasting, l’intelligenza artificiale e il futuro dello storytelling. L’evento ha riunito leader di aziende come Google, Warner Bros., Disney, DC Studios, Nvidia e Pinterest.
Alcune riflessioni dei partecipanti:

– Victoria Bousis, filmmaker, ha affermato che l’intelligenza artificiale ha rivoluzionato il suo approccio al processo creativo, evidenziando l’intersezione tra tecnologie emergenti e aree quali sviluppo visivo, modellazione 3D, ingegneria del suono e altro ancora. “Fa emergere la bellezza e dà profondità alla tua narrazione.”
– Michael Wise, CTO di Universal, ha sottolineato l’importanza di affrontare le questioni fondamentali legate all’IA. “Dobbiamo sistemare la parte di proprietà intellettuale e copyright. Non avremo un’industria se i copyright non saranno efficaci. Dobbiamo sistemare la parte etica.”
– Abi Ashok di Expedia Group ha enfatizzato che l’IA dovrebbe potenziare, non sostituire, i creativi. “Se non eri minacciato da PhotoShop, non dovresti essere minacciato dall’IA.”

Fonte: Variety

The post Cronache dallo spazio latente/2 first appeared on SophIA.

Abbiamo utilizzato sia un modello LLM da solo, sia integrato con algoritmi di ottimizzazione. I test si basano su semplici progetti fittizi: facciamo creare all’LLM tabelle con scene-location e con attori-disponibilità dandogli alcuni parametri (massimo numero di scene giornaliere, giorni di pausa, disponibilità location ecc..

Introduciamo vincoli (minimizzare costi, spostamenti ecc), passiamo se necessario a codice python e valutiamo i risultati, che, per queste prove semplificate, sono molto buoni. Abbiamo anche fatto cambiare i calendari a riprese iniziate a causa di imprevisti.

Immagine di copertina tratta da “Effetto Notte” di F. Truffaut

The post Creare il calendario delle riprese con l’Intelligenza Artificiale first appeared on SophIA.

Immagine di copertina tratta dal film di Florian Frerichs “Traumnovelle”.

Linee guida sull’IA dai documentaristi americani

I documentaristi americani hanno pubblicato un documento sulle regole per l’utilizzo delle IA nei loro lavori.
Le principali linee guida sono:

– Trasparenza: Le linee guida sottolineano l’importanza della trasparenza, affermando che il pubblico deve essere informato su ciò che sta vedendo e ascoltando, sia che si tratti di media autentici o generati da IA.
– Etica nell’uso dell’IA: Gli autori sono incoraggiati a riflettere attentamente sull’uso dell’IA, in particolare quando si tratta di imitare o rappresentare persone reali. Ciò include considerazioni culturali e il rispetto per le eredità familiari.
–Tracciamento dei contenuti: È previsto l’uso di fogli di tracciamento per documentare ogni utilizzo di IA in un documentario. Questi fogli devono includere dettagli come il prompt utilizzato, la data di generazione, la versione del software e lo stato del copyright delle fonti di riferimento.

Fonte: Nieman Lab

Sogni generati

“È stato un grande lavoro da parte del nostro team; non è che abbiamo semplicemente detto all’IA, “fai questo e quello”, e voilà. Ci sono voluti, in realtà, sei mesi di ricerca e di tentativi”, spiega il regista. “Tanti tentativi ed errori, sollecitazioni. Abbiamo imparato l’arte della sollecitazione negativa, che è ancora più importante: dirle cosa non fare invece di dirle cosa fare. Quindi è stata un’esperienza molto, molto particolare in post-produzione dare vita a questa sequenza onirica, che altrimenti non avremmo potuto filmare con un budget così ridotto.” Il regista Florian Frerichs sulla realizzazione di una sequenza onirica con l’IA generativa per il suo fiilm “Traumnovelle” (tratto come “Eyes Wide Shut” di Kubric dal racconto “Doppio sogno” di Arthur Schnitzler).

Fonte: Hollywood Reporter

L’audiovisivo compra IA

Lo studio cinematografico e televisivo XTR, nominato agli Oscar, ha acquisito Late Night Labs, startup audiovisiva basata sull’IA. Questa acquisizione segna l’inizio di una tendenza in cui le case di produzione iniziano ad inglobare aziende e startup specializzate in Intelligenza Artificiale

XTR sta creando una nuova holding chiamata Asteria Film Co., che si concentrerà sulla produzione di animazione, fiction e documentari, oltre a gestire la piattaforma di streaming Documentary+. Asteria Film Co. prevede di presentare i suoi primi progetti entro la fine dell’anno.

Fonte: Variety

L’orrore latente

Un film dedicato a HP Lovecraft, il grande maestro dell’horror, fatto con l’IA generativa. È “Telepathic Letters” (in originale Cartas Telepáticas) del regista portoghese Edgar Pêra, fuori concorso al festival di Locarno.

“Credo che un artista debba avere un’identità, una voce, ma se fai film con un solo stile, l’AI userà il tuo stile. Questo succedeva anche prima dell’AI, e si chiama plagio. O un omaggio”

Fonte: Wired Italia

The post Cronache dallo spazio latente first appeared on SophIA.

Tuttavia aumentano le aziende che cercano di creare e migliorare rapidamente questa tipologia di IA generative.

Sora di OpenAI è stata la prima a produrre video qualitativamente superiori. Sebbene dopo mesi dall’annuncio il modello non sia ancora disponibile pubblicamente, i test fatti dai ricercatori e dai professionisti a cui è stata data la possibilità di sperimentare sono ancora i benchmark di riferimento.

Luma è un’azienda specializzata nella conversione di oggetti e scene reali, catturati per esempio con la fotocamera dello smartphone, in modelli interattivi 3D. Dream Machine è un modello IA, gratuito con limitazioni di prompt giornalieri, per la generazione di video a partire da una richiesta testuale.

Runway, altro competitor di Sora, ha da poco rilasciato, per alcuni tester, una nuova versione (Gen-3) del suo text-to-video,

Vincenzo Cosenza è uno dei fortunati ad averlo già provato e mi ha fornito i video per una comparazione con Sora e Luma.

A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.

A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures

Sora risulta decisamente migliore rispetto a Luma mentre Runway Gen 3 si avvicina e in alcuni casi (per esempio la vista a volo d’uccello dell’oceano) lo supera. Nel caso della ragazza per le vie di Tokio il movimento di Luma non è fluido e mancano dettagli; con Runway è notevole il dinamismo della gonna della ragazza. L’astronauta di Luma non è male (ma perché tutti sembrano avere un centrino ricamato all’uncinetto sul casco? update giustamente Nicolò Gallio mi fa notare che nel prompt c’è scritto: “a red wool knitted motorcycle helmet“…). Il Nemo di Luma sembra un’inquietante mutaforma, Runway ha scelto un stile “infantile”.

Un’analisi più dettagliata di Gen-3 di Runway in questo video di Vincenzo.

The post Sora, Luma, Runway Gen-3: il text-to-video comparato first appeared on SophIA.

Le immagini sintetiche stanno diventando uno strumento utilizzato nelle prime fasi del concept, per visualizzare personaggi, ambienti, set, edifici, veicoli, costumi; questo approccio velocizza le ripetute iterazioni necessarie in questa fase tra i vari professionisti coinvolti, dal regista al costumista, dallo scenografo al direttore di produzione. Vi sono problemi legati allo scarso controllo che si ha nella generazione e nel raffinamento delle immagini ma, sostanzialmente, come un artista ha rilevato “Puoi realizzare schizzi su tovaglioli purché comunichi in modo chiaro. L’idea vince sul render.” Ma questa frase può essere interpretata in maniera ambivalente.

Molto utili queste immagini si sono rivelate nello studio e progettazione delle ambientazioni, rivelandosi una sorta di “taccuino per gli schizzi” evoluto, più veloce – ma anche meno preciso – dei software professionali già utilizzati, per esempio nei set virtuali.

La generazione video, seppur ancora in fase di test, si prospetta come la prossima generazione della grafica Computer Generated (CGI). Ancora, i problemi consistenza e inaccuratezza ne fanno uno strumento acerbo ma ricco di potenzialità. Per citarne una, lo “zoom infinito”, con il modello che produce “movimenti della fotocamera estremamente veloci ma realizzati con quella che sembra una pellicola da 8 mm o 16 mm”.

Anche il doppiaggio in più lingue con le voci degli attori originali, unitamente con il lip-synch – è promettente ma per ora viene utilizzato soprattutto per doppiaggi “veloci”, non di alta qualità, magari in lingue di nicchia.

Alcuni risultati dal questionario.

• Il 79% dei dirigenti del settore Media & Entertainment afferma che la sua azienda sperimenta o utilizza a regime l’IA generativa in vari ambiti.
• Tra questi concept design per nuovi contenuti, miglioramento effetti visivi, marketing/distribuzione, localizzazione dei contenuti (AI dubbing).
• La considerazione principale è la performance: 51%. I manager di M&V hanno affermato che la qualità dei contenuti generati dall’intelligenza artificiale è stata rilevante per la loro decisione di utilizzare l’intelligenza artificiale, seguita dall’efficacia e dall’accuratezza dei contenuti generati (39%).
• Animatori, artisti VFX e doppiatori sono i ruoli che dovrebbero subire un impatto maggiore dall’adozione dell’IA.
• I task più influenzati dall’IA generativa dovrebbero essere lo sviluppo concepts, sviluppo di risorse, creazione effetti sonori, completamento di attività relative agli effetti visivi 3D per film, TV o giochi.

Una certa dose di scetticismo sulla tecnologia si desume dal fatto che si pensa che nei prossimi due anni non ci si attende un miglioramento significativo delle capacità dei vari tools AI-based.

The post Report Variety: IA generativa nell’entertainment, adozione con riserva first appeared on SophIA.