Dalla linguistica computazionale al NLP neurale

01Il linguaggio come problema da risolvere

Il linguaggio è la prima tecnologia simbolica che abbiamo inventato: un sistema di segni con cui rappresentiamo il mondo e ce lo scambiamo. Non sorprende che, fin dagli albori dell'informatica, far comprendere il linguaggio a una macchina sia stato considerato uno dei banchi di prova dell'intelligenza artificiale. Quando Alan Turing nel 1950 propose il suo famoso test, in fondo stava ponendo un problema linguistico: una macchina è intelligente se conversando non riesco a distinguerla da una persona.

Da allora abbiamo affrontato questo problema con tre approcci profondamente diversi, che si sono succeduti come tre paradigmi. Prima quello simbolico, fatto di regole scritte a mano. Poi quello probabilistico, fatto di statistica sui dati. Infine quello connessionista, fatto di reti neurali profonde. Quando spiego questo in aula, mi piace partire da una frase provocatoria che riassume tutto il cambio di mentalità.

Ogni volta che licenzio un linguista, le prestazioni del riconoscitore vocale migliorano.

Frederick Jelinek, IBM, anni '80

È una battuta, ma fotografa esattamente il punto di svolta di questa storia: il momento in cui i dati hanno cominciato a battere la teoria. Vediamo come ci siamo arrivati.

02Le grammatiche formali e il paradigma simbolico

Il primo modo per insegnare il linguaggio a una macchina è stato l'approccio più intuitivo: scrivergli le regole. Se conosciamo la grammatica, basta codificarla. Questa idea ha una radice teorica precisa, e il nome che conta è quello di Noam Chomsky, che nel 1957 al MIT pubblicò Syntactic Structures e fondò la grammatica generativa.

Chomsky distingueva nettamente la sintassi dal significato. La sua frase più celebre lo dimostra meglio di qualsiasi spiegazione: colorless green ideas sleep furiously, idee verdi incolori dormono furiosamente. È perfetta grammaticalmente, eppure semanticamente non vuol dire nulla. Una macchina che conosce solo le regole della sintassi la accetterebbe senza battere ciglio.

Su queste basi nacquero i primi sistemi famosi. ELIZA, scritto da Joseph Weizenbaum al MIT nel 1966, simulava uno psicoterapeuta riconoscendo pattern nelle frasi e rigirandole all'utente: un trucco di pattern matching che però sorprese tutti per quanto sembrasse umano. Nel 1971 SHRDLU di Terry Winograd capiva comandi in inglese per spostare blocchi in un mondo virtuale. Negli anni successivi arrivarono i sistemi esperti e, dal 1984, il progetto Cyc, che ambiva a codificare a mano tutta la conoscenza di buon senso del mondo.

Tutti questi sistemi condividevano lo stesso destino. Funzionavano benissimo in mondi piccoli e controllati, ma crollavano davanti al linguaggio reale. Il problema è che le eccezioni sono infinite e nessuno riesce a scriverle tutte.

03La svolta statistica: contare invece di capire

Verso la fine degli anni '80 cambia tutto, e cambia per una ragione molto pratica. Gli ingegneri dell'IBM che lavoravano sul riconoscimento vocale si accorsero che, invece di insegnare alla macchina la grammatica, conveniva farle contare le frequenze su grandi quantità di testo. È il contesto della battuta di Jelinek che citavo all'inizio: licenziare i linguisti e fidarsi dei dati funzionava meglio.

Il cambio filosofico è profondo. Si passa da prima capisci, poi elabori a modella i pattern e l'elaborazione segue. Non serve che la macchina sappia cos'è un soggetto o un verbo: le basta sapere quali parole tendono a stare vicine. Ecco i modelli che hanno guidato questi vent'anni.

Nei miei corsi mostro spesso un esempio di n-grammi perché è l'antenato diretto del completamento automatico che usiamo ogni giorno sullo smartphone. La tastiera che ti suggerisce la parola successiva non capisce nulla di quello che scrivi: ha solo contato milioni di volte cosa di solito viene dopo. È statistica pura, e già così funziona sorprendentemente bene.

04Word embeddings: dare un significato ai numeri

La statistica funzionava, ma trattava ogni parola come un simbolo isolato. Per la macchina cane e gatto erano lontani quanto cane e frigorifero: nessuna idea di vicinanza di significato. La svolta arriva nel 2013 con Word2Vec, sviluppato da Tomas Mikolov in Google. L'idea poggia su un'intuizione vecchia, formulata dal linguista John Rupert Firth nel 1957.

Conoscerai una parola dalla compagnia che frequenta.

John Rupert Firth, 1957

È l'ipotesi distribuzionale: il significato di una parola è determinato dai contesti in cui compare. Word2Vec la trasforma in numeri rappresentando ogni parola come un vettore in uno spazio a molte dimensioni, dove parole con significati simili finiscono vicine. E qui succede la cosa che lascia sempre tutti a bocca aperta in aula: in questo spazio si può fare aritmetica con i significati.

Re meno Uomo più Donna fa Regina.

Sottraendo il vettore di uomo da quello di re e aggiungendo donna, si arriva vicinissimi al vettore di regina. Lo stesso vale per relazioni come capitale-nazione o per i tempi verbali. La macchina non sa cosa sia un re, ma ha catturato la struttura delle relazioni nel linguaggio. Sulla stessa idea nascono GloVe (Stanford, 2014) e FastText (Facebook AI, 2016).

05Le reti neurali per il linguaggio

Per capire il contesto serviva qualcosa che leggesse le parole in sequenza, ricordando quello che è venuto prima. Sono le reti neurali ricorrenti (RNN): hanno uno stato nascosto che funge da memoria e si aggiorna parola dopo parola. Il problema è che questa memoria si dissolve in fretta sulle frasi lunghe, un fenomeno noto come vanishing gradient: arrivata in fondo, la rete ha già dimenticato l'inizio.

La soluzione, in realtà anticipata già nel 1997 da Hochreiter e Schmidhuber, sono le LSTM. Introducono dei cancelli (forget gate, input gate, output gate) che decidono cosa ricordare e cosa scartare: una memoria selettiva, capace di tenere informazioni rilevanti molto più a lungo. Nel 2014 arriva la GRU, una variante semplificata.

Su queste basi si costruiscono i modelli che hanno reso possibile la traduzione automatica moderna:

• Sequence-to-sequence (Sutskever, Vinyals, Le, 2014): un'architettura encoder-decoder dove una rete comprime la frase di partenza e un'altra la riscrive nella lingua di arrivo.
• Meccanismo di attenzione (Bahdanau, Cho, Bengio, 2014): invece di affidarsi a un'unica compressione, il decoder può guardare tutte le posizioni della frase di input e concentrarsi su quelle che gli servono. È l'idea che cambierà tutto.
• ELMo (Peters et al., 2018): finalmente embeddings che cambiano col contesto, prodotti da LSTM bidirezionali. La nostra pesca ora ha vettori diversi a seconda di cosa le sta intorno.

06Il Transformer: l'attenzione cambia tutto

Il 12 giugno 2017 un gruppo di ricercatori di Google Brain e Google Research pubblica un articolo dal titolo volutamente perentorio: Attention Is All You Need, l'attenzione è tutto ciò che ti serve. Gli autori (Vaswani, Shazeer, Parmar e colleghi) fanno una mossa radicale: buttano via del tutto la ricorrenza delle RNN e costruiscono un'architettura, il Transformer, basata interamente sulla self-attention.

Perché è stato così importante? Provo a spiegarlo come lo dico a lezione: le RNN devono leggere le parole una alla volta, in fila, come quando leggi ad alta voce. Il Transformer invece guarda tutte le parole insieme e calcola quanto ciascuna sia rilevante per ogni altra. Questo porta tre vantaggi enormi.

1. L'elaborazione è parallela: niente più fila indiana, le moderne GPU vengono sfruttate al massimo.
2. Le dipendenze a lungo raggio diventano dirette: la prima e l'ultima parola di una frase si parlano senza intermediari.
3. L'architettura scala: si possono aggiungere strati, teste di attenzione e parametri quasi all'infinito.

Da questa base nascono quasi subito due famiglie che hanno preso strade opposte, e capirne la differenza aiuta a leggere tutto ciò che è venuto dopo.

07I grandi modelli linguistici

Una volta capito che il Transformer scalava, è partita la corsa a renderlo più grande. Qui entrano in gioco le scaling laws: si scopre che le prestazioni migliorano in modo prevedibile aumentando parametri, dati e potenza di calcolo. Più grande, in genere, vuol dire migliore. La storia recente si legge bene in una linea temporale.

La cosa più affascinante è il paradosso che sta sotto. L'obiettivo di addestramento è banale: prevedere la parola successiva. Eppure, oltre una certa scala, emergono comportamenti che nessuno aveva programmato esplicitamente: il ragionamento passo passo (chain-of-thought), la capacità di programmare, la traduzione tra lingue mai viste in addestramento, e soprattutto l'in-context learning, cioè imparare un compito nuovo dai soli esempi messi nel prompt, senza riaddestramento.

08Il pendolo tra linguistica e statistica

Se guardi questi sessant'anni dall'alto, vedi un pendolo che oscilla tra due poli. Da una parte chi vuole comprendere: prima le regole, prima la struttura formale. Dall'altra chi vuole modellare: prima i dati, prima i pattern empirici.

Il pendolo si è mosso netto: simbolico dal 1950 al 1980, verso la statistica dal 1990 al 2010, completamente neurale ed empirico dal 2017 in poi. Ma attenzione, perché ci sono segnali che potrebbe iniziare a tornare indietro. Si studiano approcci neuro-simbolici che uniscono regole e reti, cresce la ricerca sull'interpretabilità, e si è scoperto che i Transformer, lasciati liberi sui dati, finiscono per apprendere grammatiche di tipo chomskiano da soli. La struttura che avevamo cacciato dalla porta rientra dalla finestra. E intanto lo scaling indefinito mostra i suoi limiti pratici e di costo.

09Le domande ancora aperte

Con tutta la potenza dei modelli attuali, resta la domanda più difficile: la macchina capisce davvero, o è solo bravissima nel compito? È la differenza tra prestazione e comprensione genuina, e non è affatto risolta. Un test classico è il Winograd Schema Challenge: frasi la cui disambiguazione richiede buon senso fisico sul mondo, qualcosa che noi facciamo senza pensarci e che i modelli ancora sbagliano.

Le lacune che vedo discusse, e che a volte tocco con mano provando gli strumenti in aula, sono soprattutto queste:

• Pragmatica: ironia, sarcasmo e ciò che intendiamo senza dirlo esplicitamente.
• Contesto culturale: riferimenti che dipendono da chi parla e da dove.
• Composizionalità: concatenare correttamente molti passaggi logici uno dopo l'altro.
• Causalità: distinguere una vera relazione di causa da una semplice correlazione.
• Ragionamento matematico profondo: oltre i conti semplici, la dimostrazione vera e propria.

10Dove stiamo andando

Le direzioni più promettenti sono due. I modelli multimodali (GPT-4V, Gemini, LLaVA) integrano testo, immagini, audio e video in un unico sistema: il linguaggio smette di essere isolato e si lega alla percezione. E i modelli embodied, che interagiscono con ambienti fisici o simulati, provano a colmare il distacco tra parole e mondo reale.

Restano nodi seri da sciogliere. Le lingue a basse risorse, per cui esistono pochi dati, rischiano di restare indietro. La sostenibilità energetica non è un dettaglio: addestrare un modello come GPT-4 consuma quanto centinaia di abitazioni in un anno, e per questo si lavora su modelli più efficienti, con tecniche come distillazione e pruning e con architetture alternative al Transformer come Mamba e gli state space model.

In tutto questo, paradossalmente, la linguistica umana torna utile proprio dove le sembrava di aver perso: non tanto a scrivere le regole, quanto a formulare le domande giuste. Cosa vuol dire capire? Cos'è il significato? Sono domande vecchie di secoli che le macchine, oggi, ci costringono a porci con nuova urgenza.