IA multimodale: oltre il testo,
verso la comprensione integrata

01Percepire il mondo come un essere umano

Noi non percepiamo il mondo attraverso un solo senso. Quando entri in una trattoria toscana vedi le tovaglie a quadri, senti il profumo del ragù, ascolti il brusio delle conversazioni e leggi il menu sulla lavagna. Tutte queste informazioni si fondono in un'esperienza coerente, senza che tu ci debba pensare.

Per decenni l'intelligenza artificiale ha funzionato in modo opposto. Ogni modello era specializzato in una sola modalità: uno leggeva il testo, un altro riconosceva le immagini, un altro ancora trascriveva l'audio. Era come avere un tavolo di esperti, ciascuno bravissimo nel suo campo ma totalmente cieco e sordo a tutto il resto.

L'intelligenza artificiale multimodale ribalta questa prospettiva. Sono modelli capaci di elaborare, comprendere e generare contenuti su più modalità insieme: testo, immagini, audio, video. La cosa importante è che non si limitano a tradurre da un formato all'altro: costruiscono una rappresentazione unificata della realtà, un po' come fa il nostro cervello.

02Da modelli specializzati a modelli unificati

L'era dei modelli mono-modali

Fino a pochi anni fa ogni compito voleva il suo modello dedicato. I modelli di linguaggio erano eccellenti sul testo ma non sapevano guardare un'immagine. I modelli di visione riconoscevano oggetti in una foto ma non sapevano descriverli a parole. I modelli di riconoscimento vocale trascrivevano l'audio in testo senza coglierne davvero il significato.

Questa separazione creava problemi pratici enormi. Per costruire un assistente che rispondesse a una domanda su un'immagine servivano più modelli messi in fila in una pipeline complicata, e a ogni passaggio si perdeva un pezzo di informazione e si aggiungeva un errore.

I primi passi verso l'integrazione

La svolta è arrivata con i transformer, l'architettura neurale introdotta da Google nel 2017. I transformer si potevano adattare per elaborare qualsiasi tipo di dato sequenziale: parole, pixel, onde sonore, fotogrammi di un video. La stessa idea, applicata a cose molto diverse tra loro.

Modelli come CLIP di OpenAI hanno dimostrato che si poteva addestrare un unico sistema a capire la relazione tra testo e immagini. CLIP coglieva il significato di un'immagine in relazione al linguaggio naturale, senza essere stato addestrato su domande specifiche.

La convergenza: GPT-4V, Gemini, Claude

Dal 2023 in poi i principali laboratori hanno rilasciato modelli davvero multimodali:

• GPT-4V di OpenAI, che permette di inviare immagini insieme al testo dentro la conversazione
• Gemini di Google, progettato fin dall'inizio come modello multimodale nativo
• Claude di Anthropic, che integra la comprensione delle immagini

La differenza chiave è che questi modelli non traducono e basta: ragionano attraverso le modalità. Possono guardare un grafico, leggere il testo che lo accompagna e arrivare a una conclusione che richiede di capire entrambi insieme. Quando lo spiego in aula uso sempre questa immagine: prima avevamo dei traduttori, ora abbiamo qualcuno che capisce.

03Come funziona, sotto il cofano

Tokenizzazione: tradurre tutto in un linguaggio comune

Il primo problema da risolvere è far parlare tra loro modalità diverse. Il testo è fatto di parole, le immagini di pixel, l'audio di onde sonore. Sono mondi che a prima vista non hanno niente in comune.

La soluzione è la tokenizzazione. Così come il testo viene spezzato in token, anche immagini e audio vengono convertiti in sequenze di token. Un'immagine viene divisa in piccole piastrelle, le cosiddette patch, ciascuna codificata come numero. L'audio viene tagliato in frammenti temporali, anch'essi trasformati in numeri. Il risultato è che testo, immagini e audio diventano tutti sequenze di numeri che il modello tratta con la stessa architettura.

Lo spazio di rappresentazione condiviso

Questi token, qualunque sia la loro origine, vengono proiettati in uno spazio di rappresentazione condiviso: uno spazio a tante dimensioni in cui ogni concetto occupa una posizione. La parola gatto, la foto di un gatto e il suono di un miagolio finiscono vicini, perché il modello ha imparato che si riferiscono alla stessa cosa.

Questo è il vero cuore dell'IA multimodale: la capacità di creare rappresentazioni del significato che vanno oltre la singola modalità.

Cross-attention: l'attenzione tra modalità

Il meccanismo di cross-attention permette ai token di una modalità di prestare attenzione a quelli di un'altra. Quando il modello analizza un'immagine insieme a una domanda scritta, i token del testo possono concentrarsi sulle parti rilevanti dell'immagine.

Se chiedi di che colore è la porta sullo sfondo?, la cross-attention collega la parola porta alla regione dell'immagine in cui la porta si trova davvero, e la parola colore alle proprietà cromatiche di quella regione specifica. È il modo in cui il modello sa dove guardare.

L'addestramento

Un modello multimodale viene addestrato su dataset enormi fatti di combinazioni di modalità: immagini con didascalie, video con sottotitoli, registrazioni audio con trascrizioni.

Una tecnica particolarmente efficace è l'apprendimento contrastivo: il modello impara ad avvicinare le rappresentazioni delle coppie giuste e ad allontanare quelle delle coppie sbagliate. Ripetuto milioni di volte, questo processo costruisce un po' alla volta lo spazio di rappresentazione condiviso di cui parlavo sopra.

04Applicazioni concrete per l'Italia

L'Italia, con il suo patrimonio culturale, la varietà produttiva e l'eccellenza in settori come moda, cibo e turismo, è un terreno particolarmente fertile per l'IA multimodale. Nei miei corsi parto quasi sempre da qui, perché gli esempi astratti non restano in testa, gli esempi sul lavoro di tutti i giorni sì.

Patrimonio culturale e beni artistici

L'Italia ha il più grande patrimonio culturale del mondo: oltre 5.000 musei, 58 siti UNESCO, milioni di opere d'arte.

Descrizione e catalogazione automatica. I modelli multimodali possono analizzare le fotografie di opere d'arte e generare descrizioni che mettono insieme analisi visiva e conoscenza storica, accelerando enormemente la catalogazione di collezioni spesso ferme nei depositi senza catalogo digitale.

Restauro assistito. Quando un affresco è danneggiato, l'IA multimodale può analizzare le porzioni superstiti, confrontarle con opere dello stesso artista o della stessa scuola e proporre ipotesi di ricostruzione. Un team dell'Università di Bologna lo ha sperimentato con affreschi pompeiani, ottenendo risultati giudicati plausibili dai restauratori.

Accessibilità. L'IA multimodale può rendere l'arte accessibile a chi ha disabilità visive, generando descrizioni audio dettagliate ed evocative, non semplici elenchi di elementi.

Turismo intelligente

Il turismo vale circa il 13% del PIL italiano, e qui l'IA multimodale può cambiare l'esperienza in modo molto concreto.

• Ricerca visuale. Un turista fotografa un monumento che non conosce, invia la foto a un assistente multimodale e ottiene subito l'identificazione, le informazioni storiche e itinerari a tema.
• Chatbot multimodali per hotel e strutture. Un agriturismo può offrire un assistente che risponde non solo a domande scritte ma anche a foto: questo piatto era delizioso, avete la ricetta? e il chatbot riconosce il piatto e fornisce ingredienti e preparazione.
• Guide personalizzate. Mettendo insieme posizione GPS, foto scattate dal turista e preferenze dette a voce, un sistema multimodale costruisce in tempo reale un percorso su misura.

Enogastronomia

Il settore agroalimentare italiano, con 838 prodotti DOP, IGP e STG, è un candidato naturale.

Analisi integrata di etichette e prodotti. Un modello multimodale può analizzare insieme l'etichetta di una bottiglia (testo, grafica, informazioni normative), le note di degustazione, una foto del colore nel calice e la descrizione verbale dell'aroma.

Controllo qualità visivo. Sulle linee di produzione l'IA ispeziona visivamente i prodotti e incrocia ciò che vede con le specifiche tecniche scritte.

Esperienza del consumatore. App che permettono di fotografare un piatto al ristorante e ricevere un abbinamento vino, oppure di inquadrare un prodotto al supermercato per sapere provenienza e ricette possibili.

Moda e design

La moda italiana, che genera oltre 90 miliardi l'anno, ha molto da guadagnare.

Generazione di concept. Un designer descrive a parole un'idea e il modello produce bozzetti visivi che la interpretano, velocizzando la fase di esplorazione.

Analisi delle tendenze. Analizzando insieme immagini delle sfilate, recensioni, post sui social e dati di vendita, i modelli individuano tendenze emergenti con mesi di anticipo.

Personalizzazione dell'e-commerce. Un cliente carica la foto di un outfit che gli piace e chiede al sistema capi simili, oppure descrive cosa cerca e riceve suggerimenti visivi su misura.

05Quando l'IA multimodale crea contenuti

Finora ho parlato soprattutto di comprensione. Ma l'IA multimodale è anche generativa: può creare contenuti nuovi in una modalità diversa da quella dell'input. Le do un testo, mi restituisce un'immagine. Le do un'immagine, mi restituisce del testo.

Da testo a immagine

Sistemi come DALL-E, Midjourney e Stable Diffusion generano immagini fotorealistiche o artistiche a partire da una descrizione scritta, con una qualità ormai impressionante.

Per le imprese italiane si aprono possibilità molto concrete: generare mockup di prodotti prima di produrli, creare immagini per campagne senza un costoso servizio fotografico, visualizzare allestimenti di interni prima di realizzarli. Una piccola azienda di ceramiche di Deruta può mostrare a un cliente estero come apparirebbero i suoi prodotti in diversi contesti di arredamento, senza spostare nemmeno un piatto.

Da testo a video

La frontiera più recente è la generazione di video. Modelli come Sora di OpenAI producono video brevi ma coerenti e realistici. Un prompt come una gondola che naviga lentamente lungo un canale veneziano al tramonto, con la luce dorata che si riflette sull'acqua genera un video realistico.

Le implicazioni per il settore creativo sono profonde: la produzione di contenuti video, tradizionalmente costosa e lenta, diventa accessibile anche a una piccola impresa.

Da immagine a testo, e ben oltre la descrizione

Il captioning, cioè generare descrizioni testuali a partire da immagini, è uno dei compiti multimodali più maturi. Ma i modelli di oggi vanno molto oltre: analizzano un grafico finanziario e ne spiegano le tendenze, esaminano una radiografia e segnalano aree di attenzione, leggono un documento manoscritto e lo trascrivono.

Per l'Italia questo conta molto per la digitalizzazione dei documenti storici. Archivi di stato, biblioteche e fondazioni custodiscono milioni di documenti manoscritti che aspettano di essere trascritti e indicizzati. L'IA multimodale può leggere calligrafie antiche e produrre trascrizioni che tengono conto sia dell'aspetto visivo sia delle convenzioni linguistiche dell'epoca.

Audio e linguaggio

Modelli come Whisper di OpenAI hanno rivoluzionato la trascrizione audio. I sistemi multimodali colgono il tono della voce, il contesto emotivo, le pause e le esitazioni. Combinati con la comprensione del testo, possono prendere la registrazione di una riunione e restituire non solo la trascrizione, ma un riassunto intelligente che mette in evidenza decisioni, disaccordi e azioni concordate.

06Rischi e sfide da non sottovalutare

Come ogni tecnologia potente, l'IA multimodale porta con sé rischi seri, che vanno capiti e gestiti. Non per spaventarsi, ma per usarla bene.

Deepfake e disinformazione

La capacità di generare immagini, audio e video indistinguibili dalla realtà rende possibili deepfake sofisticati. Un video falso di un politico che dice frasi mai pronunciate, una foto manipolata di un evento mai avvenuto, una registrazione audio contraffatta: non è più fantascienza.

L'Italia è particolarmente esposta. La diffusione di deepfake può influenzare l'opinione pubblica, danneggiare reputazioni e minare la fiducia nelle informazioni.

Diritto d'autore e proprietà intellettuale

Se un modello genera un'immagine nello stile di Botticelli, chi detiene i diritti sull'opera? E se il modello, addestrato su immagini protette da copyright, produce qualcosa di molto simile a una foto originale, siamo di fronte a una violazione?

Sono domande ancora senza una risposta giuridica definitiva. L'AI Act europeo, in vigore dal 2024, impone obblighi di trasparenza (le immagini generate da IA devono essere etichettate come tali), ma non risolve del tutto le questioni di proprietà intellettuale.

Consumo energetico

I modelli multimodali sono molto più complessi di quelli solo testuali. Elaborare un video costa ordini di grandezza più risorse che elaborare un testo. Addestrare modelli come Gemini o Sora richiede migliaia di GPU che lavorano per settimane, con un consumo energetico importante.

In piena transizione ecologica, il costo ambientale dell'IA non si può ignorare. L'addestramento di un singolo grande modello multimodale può produrre emissioni di CO2 paragonabili a quelle di cinque automobili nell'intero arco della loro vita.

Bias e rappresentazione

I modelli multimodali ereditano i pregiudizi presenti nei dati con cui sono stati addestrati. Se i dataset contengono soprattutto immagini in inglese legate alla cultura anglosassone, il modello capirà meno bene le altre culture. Per l'Italia significa che un modello potrebbe non riconoscere correttamente piatti regionali, tradizioni locali o sfumature dialettali.

I modelli di generazione di immagini hanno mostrato la tendenza a riprodurre stereotipi visivi, ad esempio rappresentando certe professioni sempre con persone di un dato genere o di una data etnia.

Valutare la qualità

Giudicare la qualità di un output multimodale è intrinsecamente più difficile che giudicare un testo. Come si misura la correttezza di un'immagine generata? Come si valuta se un video è buono? Le metriche automatiche sono ancora immature.

07Dove sta andando tutto questo

L'IA multimodale che vediamo oggi è solo l'inizio di un percorso. Vale la pena guardare avanti per capire dove conviene investire attenzione.

Verso l'IA incarnata

Il passo successivo naturale è integrare l'IA multimodale con corpi fisici: robot, droni, veicoli autonomi. Non solo un sistema che vede e sente, ma uno che può toccare oggetti, muoversi nello spazio e manipolare l'ambiente.

Per l'Italia le applicazioni potenziali sono enormi: robot che si muovono tra le navate dei magazzini logistici capendo a vista la disposizione delle merci, droni che ispezionano ponti e infrastrutture analizzando lo stato di deterioramento, sistemi robotici in agricoltura che riconoscono il grado di maturazione dei frutti.

Comprensione in tempo reale

Oggi quasi tutte le interazioni con i modelli multimodali sono asincrone: carico un'immagine, aspetto la risposta. Il futuro è la comprensione in tempo reale, con sistemi che elaborano in continuo flussi video e audio e reagiscono all'istante.

Pensa a un sistema di videosorveglianza intelligente per un museo, che non si limita a registrare ma capisce davvero cosa sta succedendo. Oppure a un assistente in sala operatoria che segue l'intervento attraverso le telecamere, ascolta le comunicazioni dell'équipe e fornisce informazioni senza che nessuno debba distogliere lo sguardo dal campo operatorio.

Interazione naturale uomo-macchina

L'IA multimodale promette di rendere l'interazione con le macchine sempre più simile a quella tra persone. Invece di digitare comandi potremmo parlare, mostrare, gesticolare. Guarda questa fattura e il sistema la analizza. Senti questo rumore del motore e il sistema diagnostica il problema. Fammi vedere come apparirebbe questa stanza con le pareti verdi e il sistema genera la visualizzazione.

Per l'Italia, dove la comunicazione è fatta di gestualità, espressioni del viso e sfumature di tono, un'IA che comprende tutti questi canali è un'IA che finalmente può capire cosa intendiamo davvero.

Modelli specializzati per i nostri domini

Una delle evoluzioni più promettenti è la nascita di modelli multimodali specializzati per i domini dell'eccellenza italiana. Un modello addestrato sull'arte rinascimentale. Uno esperto di vini italiani che analizza colore, etichetta e note di degustazione. Uno per la moda che conosce le tradizioni sartoriali del nostro paese.

Modelli del genere possono diventare un'occasione unica per le imprese italiane di costruire vantaggi competitivi fondati sulla conoscenza di dominio, che è poi ciò che sappiamo fare meglio.

L'IA multimodale ci avvicina a macchine che fondano la loro comprensione su più canali sensoriali, proprio come facciamo noi.

Non è ancora coscienza, non è ancora la comprensione profonda dell'esperienza umana. Ma è un passo significativo. Per le imprese e per la società italiana la sfida è doppia: cogliere le opportunità enormi di questa tecnologia, e farlo in modo che rispetti i valori di creatività, qualità e centralità della persona.