Embedding semantici: come l'IA rappresenta il significato

01Dalle parole ai numeri

C'è un problema di fondo che attraversa tutta l'intelligenza artificiale applicata al linguaggio: noi comunichiamo con le parole, le macchine lavorano solo con i numeri. Per far "ragionare" un computer su un testo, prima o poi qualcuno deve trasformare quel testo in numeri. La domanda interessante non è se farlo, ma come farlo senza buttare via il significato. Ed è qui che la storia diventa istruttiva.

Il primo tentativo: one-hot encoding

Il modo più ingenuo è anche il più intuitivo. Prendo tutto il vocabolario, mettiamo centomila parole, e assegno a ciascuna una posizione. Ogni parola diventa una lunghissima lista di zeri con un solo 1 nella sua posizione. Questa tecnica si chiama one-hot encoding. Funziona, nel senso che ogni parola ha la sua etichetta numerica univoca, ma ha due difetti enormi.

Primo: è spreconissima. Per centomila parole servono vettori da centomila caselle quasi tutte vuote. Secondo, e questo è il problema vero, queste etichette non dicono nulla sul significato. Nel mondo dell'one-hot encoding la parola "cane" è distante da "gatto" esattamente quanto è distante da "frigorifero". Ogni parola è un'isola, senza nessuna relazione con le altre. Per un computer che dovrebbe capire il linguaggio, è un punto di partenza povero.

L'intuizione linguistica: l'ipotesi distribuzionale

La svolta non arriva dalla matematica, ma dalla linguistica. Nel 1957 il linguista J.R. Firth riassume in una frase un'idea potentissima.

You shall know a word by the company it keeps.

J.R. Firth, 1957

Tradotto: conoscerai una parola dalla compagnia che frequenta. L'idea, che oggi chiamiamo ipotesi distribuzionale, è che il significato di una parola emerga dai contesti in cui compare. Se due parole appaiono spesso accanto alle stesse altre parole, probabilmente significano cose simili. "Caffè" e "cappuccino" vivono in frasi simili, "mattina", "bar", "zucchero", "caldo". È proprio questa somiglianza di contesto a dirci che sono parenti.

Quando spiego questo passaggio in aula, di solito faccio notare una cosa: non stiamo dando al computer un dizionario. Gli stiamo dando un metodo per dedurre il significato osservando l'uso reale della lingua. È un cambio di mentalità enorme.

Word2Vec: la rivoluzione del 2013

L'intuizione di Firth resta teoria per decenni, finché nel 2013 un team di Google guidato da Tomas Mikolov la trasforma in qualcosa che funziona su larga scala: Word2Vec. L'idea è addestrare una rete neurale a un compito apparentemente banale, prevedere le parole che circondano una parola data, e poi buttare via il risultato di quella previsione tenendo solo i numeri che la rete ha imparato per rappresentare ciascuna parola. Quei numeri sono gli embedding.

Con Word2Vec ogni parola viene rappresentata da un vettore tipicamente di circa 300 numeri, non più da centomila zeri. E soprattutto succede una cosa quasi magica: le relazioni di significato diventano operazioni aritmetiche. L'esempio classico è che se prendi il vettore di "re", togli quello di "uomo" e aggiungi quello di "donna", arrivi vicinissimo al vettore di "regina". Il significato, all'improvviso, ha una geometria.

02Spazi vettoriali e significato

Per capire davvero gli embedding bisogna fare pace con un'idea che spaventa molti: lo spazio a molte dimensioni. Niente panico, è più semplice di quanto sembri.

Uno spazio a molte dimensioni

Immagina una mappa. Su una mappa ogni luogo ha due coordinate, latitudine e longitudine, due numeri. Con due numeri posso piazzare ogni città in un punto preciso e misurare le distanze. Un embedding fa la stessa cosa con le parole, solo che invece di due coordinate ne usa centinaia o migliaia. Word2Vec ne usava circa 300. I modelli moderni arrivano a 768, 1.536, oltre 4.096 numeri per ogni elemento di testo.

Non riusciamo a immaginare uno spazio a 1.536 dimensioni, ed è normale: il nostro cervello è tarato su tre. Ma la matematica non ha questo limite. Per il computer, mettere una parola in uno spazio a millecinquecento dimensioni è esattamente come per noi mettere una città su una mappa. Sono solo più numeri.

La distanza come misura di significato

Una volta che ogni parola è un punto in questo spazio, il significato diventa geografia. Parole con senso simile finiscono vicine, parole con senso diverso finiscono lontane. "Cane" e "gatto" sono quasi attaccate, "cane" e "frigorifero" sono in due regioni opposte. Misurare quanto due parole "significano la stessa cosa" diventa quindi un problema risolvibile con la matematica: basta calcolare la distanza tra i due punti.

È il motore segreto di moltissime funzioni che usi ogni giorno senza saperlo, dalla ricerca che capisce i sinonimi ai suggerimenti che ti propongono contenuti "simili" a quello che stai guardando.

Le dimensioni come tratti semantici astratti

La domanda che mi fanno sempre è: ma cosa rappresentano quei numeri? Cosa significa la coordinata numero 47? La risposta onesta è che, nella maggior parte dei casi, non lo sappiamo con precisione. Le dimensioni non corrispondono a tratti puliti decisi da noi, tipo "questa misura il genere, questa l'animatezza". Sono tratti astratti che il modello ha scoperto da solo analizzando enormi quantità di testo.

A volte alcune dimensioni sembrano catturare qualcosa di riconoscibile, una sorta di asse maschile/femminile, o singolare/plurale, o concreto/astratto. Ma la maggior parte resta un mix che ha senso per il modello e non per noi. È un primo assaggio di un tema che riprenderò più avanti: questi sistemi funzionano, ma non sono trasparenti.

03Embedding nei modelli moderni

Word2Vec è stato una rivoluzione, ma aveva un limite che a un certo punto è diventato insostenibile.

Il problema della polisemia

In Word2Vec ogni parola ha un solo vettore, sempre lo stesso. Ma le parole non funzionano così. Prendi "pesca". Nella frase "vado a pesca al lago" la parola parla di canne, ami, di un'attività. Nella frase "mangio una pesca matura" la stessa parola è un frutto dolce e succoso. Stessa sequenza di lettere, due significati che non c'entrano niente l'uno con l'altro. Questo fenomeno si chiama polisemia, ed è ovunque nelle lingue umane.

Con un solo vettore per parola, sei costretto a mediare i due sensi in un'unica rappresentazione confusa, che non è né il pesce né il frutto. È un compromesso che fa perdere precisione proprio dove conta.

La rivoluzione degli embedding contestuali

La svolta arriva nel 2017 con l'architettura Transformer e il suo meccanismo di attenzione, che è poi la base di tutti i modelli linguistici di oggi. Con i Transformer nascono gli embedding contestuali: la stessa parola non ha più un vettore fisso, ma riceve una rappresentazione diversa a seconda della frase in cui si trova.

Tornando alla "pesca": in "vado a pesca al lago" il modello le assegna un vettore vicino a quello di "pescare", "rete", "barca"; in "mangio una pesca matura" le assegna un vettore vicino a "frutto", "dolce", "albicocca". Stessa parola, due embedding diversi, perché il contesto cambia il significato. È proprio questa capacità di leggere il contesto a separare i modelli moderni come BERT, GPT, Claude e Gemini dai sistemi che li hanno preceduti.

La stessa parola, in due frasi diverse, diventa per la macchina due cose diverse. È quello che noi facciamo da sempre, senza accorgercene.

La profondità della rappresentazione

I modelli avanzati non si limitano a più dimensioni, da 768 a oltre 4.096 per ogni token, ma costruiscono la rappresentazione su più livelli. Negli strati più superficiali catturano informazioni vicine alla forma della parola, andando in profondità arrivano a cogliere relazioni sintattiche e sfumature semantiche sempre più sottili. È questa stratificazione che permette a GPT-4 e ai modelli simili di gestire ambiguità, ironia e riferimenti che fino a pochi anni fa erano fuori portata.

04Applicazioni pratiche

Fin qui la teoria. Ma perché dovrebbe interessarti, se non fai ricerca sull'IA? Perché gli embedding sono già dentro a strumenti che usi o che potresti usare nel tuo lavoro. Nei miei corsi vedo spesso aziende che hanno questi problemi senza sapere che la soluzione ha un nome. Ecco i casi più concreti.

• Ricerca semantica. Una ricerca tradizionale cerca le parole esatte. Una ricerca basata su embedding cerca il senso: se cerco "come ridurre i costi del personale" trova anche un documento che parla di "ottimizzare la spesa per i dipendenti", pur senza una parola in comune. Per chi ha archivi documentali aziendali enormi, cambia tutto.
• Sistemi di raccomandazione. Suggerire prodotti, articoli o contenuti "simili" a quelli che a un utente sono piaciuti, dove la somiglianza è calcolata come vicinanza tra vettori e non come semplice corrispondenza di categoria.
• Sistemi RAG. Il Retrieval-Augmented Generation è oggi una delle applicazioni più richieste: si usano gli embedding per trovare i documenti aziendali più pertinenti a una domanda, poi si passano quei documenti a un modello generativo che costruisce la risposta. È il modo più solido per far rispondere un'IA sui tuoi dati, riducendo le invenzioni.
• Clustering e analisi delle recensioni. Raggruppare automaticamente migliaia di recensioni o feedback dei clienti per temi, capendo di cosa parla la gente senza leggere tutto a mano.
• Corrispondenza semantica per l'e-commerce. Collegare quello che un cliente scrive, magari con parole sue, ai prodotti giusti del catalogo, anche quando non usa i termini esatti della scheda prodotto.

05Limiti e bias

Sarei un cattivo formatore se ti raccontassi solo la parte bella. Gli embedding sono uno strumento potente, ma hanno limiti precisi che vanno conosciuti prima di costruirci sopra qualcosa di serio.

I bias nel linguaggio

Gli embedding imparano dai testi che gli diamo. Se quei testi contengono pregiudizi, e i testi umani ne sono pieni, gli embedding li assorbono e li ripropongono. Sono stati documentati casi in cui certe professioni risultavano "vicine" a un genere e non all'altro semplicemente perché così appariva nei dati di addestramento. Non è malizia della macchina, è uno specchio dei nostri testi. Ma se ci costruisci sopra un sistema di selezione o di raccomandazione, quel pregiudizio si propaga.

Specificità culturale e linguistica

La maggior parte dei testi di addestramento è in inglese e riflette una cultura prevalentemente anglosassone. Questo significa che gli embedding tendono a funzionare meglio in inglese e a rappresentare meno bene lingue, sfumature e riferimenti culturali diversi. Per chi lavora in italiano, è una cosa da tenere a mente: la qualità non è la stessa su tutte le lingue.

Costi computazionali

Generare e gestire embedding di buona qualità richiede risorse: GPU per il calcolo, vector database per l'archiviazione e la ricerca. Per un piccolo progetto si gestisce, ma su grandi volumi i costi e la complessità tecnica diventano un fattore concreto da mettere a budget.

L'opacità della rappresentazione

Lo accennavo prima e lo riprendo qui perché è importante: noi non sappiamo leggere un embedding. Un vettore di 1.536 numeri non ci dice nulla guardandolo. Possiamo misurare distanze, possiamo verificare che il sistema funzioni, ma non possiamo aprire il cofano e spiegare perché due cose risultano simili. Questa opacità è un tema serio quando l'IA prende decisioni che hanno effetti sulle persone.

06Cosa portare a casa

Gli embedding semantici sono, in fondo, il vocabolario segreto dell'intelligenza artificiale: il modo in cui il significato delle nostre parole viene tradotto in una forma che le macchine sanno manipolare. Dall'one-hot encoding all'ipotesi distribuzionale, da Word2Vec agli embedding contestuali dei Transformer, la storia di questa idea è la storia di come abbiamo insegnato ai computer non solo a leggere le parole, ma a coglierne le relazioni.

La cosa che mi preme di più farti portare via è questa: non è magia, è geometria. È uno strumento maturo, oggi alla portata anche di aziende ed enti che non fanno ricerca, ma è uno strumento da usare con consapevolezza, conoscendone i limiti tanto quanto le possibilità. Come sempre, il valore non sta nel sapere che esiste, ma nel capire come e quando usarlo bene. Ed è esattamente quello che proviamo a fare in aula: smontare la scatola nera, un pezzo alla volta, finché smette di fare paura.