Overfitting nei Large Language Models: il confine tra memorizzazione e comprensione

01Cos'è l'overfitting, partendo dalle basi

Quando spiego l'overfitting in aula uso sempre lo stesso esempio, perché funziona con chiunque. Immagina due studenti che si preparano a un esame. Il primo capisce i principi e sa applicarli a problemi nuovi. Il secondo impara a memoria gli esercizi svolti in classe, parola per parola. Finché l'esame ripropone esattamente quegli esercizi, il secondo studente sembra bravissimo. Cambia una virgola nel testo e crolla. L'overfitting è esattamente questo: un modello che ha imparato a memoria invece di aver capito.

Tecnicamente, lo misuriamo con due numeri. C'è l'errore di addestramento, cioè quanto il modello sbaglia sui dati che ha già visto, e c'è l'errore di test, quanto sbaglia su dati nuovi. In un modello sano scendono insieme. Quando comincia l'overfitting, l'errore di addestramento continua a scendere ma quello di test risale: il modello sta cucendo addosso ai dati visti delle scorciatoie che non valgono nel mondo reale. Quella forbice che si apre tra le due curve è il segnale diagnostico classico.

Dietro c'è il cosiddetto compromesso bias-varianza. Un modello troppo semplice non riesce nemmeno a cogliere lo schema dei dati, lo chiamiamo underfitting, ha alto bias. Un modello troppo complesso si adatta perfino al rumore e ai casi particolari, ed è l'overfitting, ad alta varianza. Il mestiere di chi addestra un modello è trovare il punto giusto in mezzo.

Gli attrezzi classici per non strafare

Negli anni il machine learning ha messo a punto un set di tecniche di regolarizzazione, cioè accorgimenti per impedire al modello di imparare a memoria. Le quattro che cito sempre sono:

• Dropout: durante l'addestramento si spengono a caso alcuni neuroni, così il modello non può affidarsi sempre alle stesse scorciatoie e impara strade alternative.
• Weight decay: si penalizzano i pesi troppo grandi, costringendo il modello a soluzioni più semplici e robuste.
• Data augmentation: si arricchiscono i dati con variazioni, così il modello vede più casi diversi e generalizza meglio.
• Early stopping: si ferma l'addestramento appena l'errore di test smette di scendere, senza aspettare che il modello cominci a memorizzare.

02Perché negli LLM le regole cambiano

Fin qui la teoria classica. Il problema è che con i modelli linguistici di oggi quella teoria comincia a scricchiolare. Parliamo di sistemi con decine di miliardi di parametri, pensa a un modello da 70 miliardi, addestrati su trilioni di token presi da una fetta enorme di internet. E qui salta subito una cosa: se il modello ha visto buona parte del testo disponibile online, dov'è il confine tra "dati di addestramento" e "dati nuovi"? Diventa sfumato. Il test, in un certo senso, lo ha già visto.

Ma la sorpresa più grossa è un'altra, e contraddice frontalmente l'intuizione che ti ho dato nel paragrafo precedente. Si chiama double descent, doppia discesa, ed è un fenomeno descritto a partire dal 2019. Andiamo per gradi:

1. Prima discesa: man mano che il modello cresce, l'errore di test scende, tutto normale.
2. Picco di overfitting: arrivati alla cosiddetta soglia di interpolazione, dove il modello ha appena abbastanza parametri per imparare a memoria i dati, l'errore di test schizza in alto. Qui finirebbe la storia secondo la teoria classica.
3. Seconda discesa: se invece di fermarsi si continua a ingrandire il modello, l'errore di test ricomincia a scendere. Modelli enormemente sovra-parametrizzati generalizzano meglio, non peggio.

Con i modelli linguistici, a volte, essere troppo grandi è proprio ciò che permette di capire invece di ricordare.

Su quanto debbano essere grandi questi modelli e su quanti dati servano hanno lavorato in particolare il team di OpenAI con le scaling laws di Jared Kaplan e colleghi nel 2020, e poi DeepMind con il modello Chinchilla nel 2022. La lezione di Chinchilla è molto pratica: tanti modelli erano sotto-addestrati, avevano cioè troppi parametri rispetto ai dati visti. Il rapporto che indicarono come più sensato è di circa 20 token di addestramento per ogni parametro. Non è un dettaglio accademico: significa che spesso conviene dare più dati a un modello, non solo ingrandirlo.

03Quando il modello ripete parola per parola

Che i modelli memorizzino non è una sensazione, è una cosa dimostrata sperimentalmente. Lo studio di riferimento è quello di Nicholas Carlini e colleghi, intitolato Extracting Training Data from Large Language Models. L'idea è semplice e inquietante: con i prompt giusti si riesce a far sputare al modello pezzi di testo che aveva visto in addestramento, esattamente come erano scritti.

Cosa sono riusciti a estrarre, lavorando su GPT-2? Roba molto concreta:

• nomi, indirizzi email e numeri di telefono di persone reali;
• frammenti di codice con tanto di commenti originali;
• articoli di giornale riprodotti parola per parola;
• porzioni di pagine web specifiche, URL inclusi.

Il dato che trovo più importante per chi vuole capire dove va il settore è questo: più il modello è grande, più memorizza. La quantità di testo riprodotto verbatim cresce con la dimensione del modello. Quindi la stessa cosa che migliora la generalizzazione, la scala, peggiora anche il rischio di memorizzazione. Sono due facce della stessa moneta.

04Le capacità che la memoria non spiega

A questo punto verrebbe da concludere che gli LLM sono solo enormi pappagalli. Sarebbe sbagliato, e nei miei corsi insisto molto su questo punto perché è dove sta la parte affascinante. Accanto alla memorizzazione, questi modelli mostrano capacità che la sola memoria non riesce a spiegare. Le chiamiamo capacità emergenti, perché compaiono solo oltre una certa scala.

• In-context learning: dai al modello qualche esempio dentro il prompt e lui impara lo schema al volo, senza che nessuno tocchi i suoi parametri. Capacità che emerge solo nei modelli abbastanza grandi.
• Zero-shot reasoning: il modello affronta compiti che non ha mai visto, senza nemmeno un esempio, generalizzando strutture imparate in altri ambiti.
• Trasferimento tra domini: un modello addestrato soprattutto su testo in più lingue sa tradurre tra coppie su cui non è stato addestrato esplicitamente; vede relativamente poco codice ma riesce comunque a scriverlo.

Difficile spiegare tutto questo con la sola memoria. Sembra piuttosto che il modello abbia colto qualcosa degli schemi profondi del linguaggio. Le scaling laws di Kaplan, di nuovo, dicono che le prestazioni dipendono da tre leve: N, il numero di parametri, D, la quantità di dati, e C, il budget di calcolo. Più parametri e più dati, entro certi limiti, migliorano la generalizzazione.

Se un modello ha visto mille esempi di ragionamento deduttivo, ha memorizzato quei mille esempi o ha imparato a ragionare?

La domanda al centro del dibattito sulla generalizzazione

Ecco la zona grigia in cui ci muoviamo. Non è che il modello o memorizza o capisce: fa le due cose insieme, in proporzioni che dipendono dal compito. E distinguere le due cose, come vedremo, è tutt'altro che banale.

05RLHF e fine-tuning come freno alla copia

Dopo l'addestramento di base, i modelli che usiamo ogni giorno passano per una fase di allineamento chiamata RLHF, Reinforcement Learning from Human Feedback, apprendimento per rinforzo dal feedback umano. In pratica delle persone valutano coppie di risposte e indicano quale preferiscono; il modello impara a produrre output più in linea con quelle preferenze.

La cosa interessante, e che spesso passa inosservata, è che l'RLHF funziona anche come una forma implicita di regolarizzazione. Se i valutatori premiano una risposta che spiega con parole proprie invece di una che copia un testo pari pari, il modello impara a evitare la riproduzione verbatim. Se premiano il ragionamento invece della recitazione a memoria, lo spingono verso una rappresentazione più astratta della conoscenza. In sostanza, il gusto umano per le risposte "ben fatte" allena il modello a generalizzare.

06Benchmark gonfiati e dati contaminati

Se memorizzazione e comprensione convivono, come facciamo a misurare quanto un modello capisce davvero? Qui le cose si complicano, e vale la pena capirne il motivo prima di fidarsi di una classifica.

Il limite della perplexity

La metrica storica è la perplexity, che misura quanto il modello è "sorpreso" dal testo che incontra: più è bassa, meglio prevede la parola successiva. Il guaio è che non distingue tra capire e ricordare. Se nel set di test sono finiti testi che il modello aveva già visto in addestramento, la perplexity sarà bassissima, ma non perché il modello è bravo: semplicemente li conosce a memoria.

La contaminazione dei dati

Questo problema ha un nome preciso, data contamination, ed è il punto debole di molti benchmark pubblici come MMLU, HellaSwag, ARC o GSM8K. Il meccanismo, spiegato passo per passo, è questo:

1. il benchmark viene pubblicato come dataset aperto;
2. se ne discute online, in blog, paper e forum, spesso con tanto di risposte;
3. il tutto finisce nel crawl di internet usato per addestrare il modello successivo;
4. al momento della valutazione, il modello "ricorda" le risposte invece di ragionarci.

Risultato: punteggi gonfiati che non raccontano la vera capacità del modello. Un voto altissimo su un benchmark famoso potrebbe riflettere memoria, non comprensione. Per questo si stanno diffondendo benchmark privati mai resi pubblici, benchmark dinamici rigenerati a intervalli, test su distribuzioni mai viste e compiti di ragionamento davvero nuovi, che chiedono di combinare le idee in modi inediti.

07Copyright, consenso e il caso New York Times

La memorizzazione non è solo un problema tecnico, è diventata una questione legale di prima grandezza. Il caso simbolo è la causa che il New York Times ha intentato contro OpenAI a fine 2023. La tesi del giornale è diretta: il modello è capace di riprodurre interi articoli quasi parola per parola, segno che ha "copiato" milioni di pezzi per addestrarsi, e ora compete con la fonte da cui ha attinto.

Le due posizioni sono nettamente contrapposte:

Dietro la causa ci sono domande che riguardano chiunque produca contenuti, e che con i corsisti affronto sempre apertamente:

• Consenso: gli autori hanno autorizzato l'uso dei loro testi per addestrare un'AI?
• Compenso: chi ha prodotto quel lavoro merita di essere pagato per il fatto che il modello ci ha imparato sopra?
• Attribuzione: il modello dovrebbe citare le fonti da cui attinge?
• Concorrenza: se il modello risponde al posto della fonte originale, chi pagherà più per produrre quella conoscenza?

Il nodo giuridico negli Stati Uniti ruota intorno al concetto di fair use, che consente l'uso di materiale protetto per scopi trasformativi, educativi o di ricerca. La domanda da un miliardo di dollari, letteralmente, è questa: addestrare un LLM è un uso trasformativo o riproduttivo? La risposta dei tribunali definirà il futuro legale dell'intera industria. E non riguarda solo i testi: autori, artisti e programmatori hanno sollevato obiezioni dello stesso tenore.

08Le soluzioni: come si insegna a generalizzare

La buona notizia è che il problema non è ineluttabile. Ci sono diversi modi, alcuni architetturali e altri legati ai dati, per spingere un modello a capire invece di ricordare. Ne metto in fila i principali.

Architetture sparse e Mixture of Experts

I modelli tradizionali sono "densi": per ogni risposta si attivano tutti i parametri. La Mixture of Experts, o MoE, cambia paradigma: si addestrano tanti "esperti" specializzati e, per ogni input, se ne attiva solo un sottoinsieme adatto al contesto. I vantaggi sono concreti. La specializzazione riduce la memorizzazione indiscriminata, perché ogni esperto lavora su un dominio. Il modello può avere moltissimi parametri totali ma attivarne pochi alla volta, restando efficiente. E la spinta a specializzarsi favorisce una conoscenza più strutturata. I modelli sparsi estendono l'idea: intere porzioni della rete si accendono e si spengono in base all'input, così il modello "sceglie" quali conoscenze usare di volta in volta.

Curriculum learning

Un'altra strada è l'ordine con cui si presentano i dati. Con il curriculum learning si parte da esempi semplici e si sale via via verso quelli complessi, esattamente come si fa con uno studente. Imita il modo in cui impariamo noi e migliora sia l'efficienza dell'addestramento sia la qualità della generalizzazione.

Deduplicazione e diversità dei dati

Poi c'è il lavoro, meno glamour ma decisivo, sui dati. Se un testo compare cento volte nel dataset, è cento volte più probabile che venga memorizzato. Deduplicare, cioè togliere i doppioni, riduce molto la riproduzione verbatim senza peggiorare le prestazioni generali. E poi conta la varietà: un trilione di token da fonti diverse vale più di due trilioni da fonti tutte uguali. La diversità di stili, lingue, domini e formati agisce come una regolarizzazione naturale.

09Cosa portare a casa

Torniamo alla domanda di partenza: questi modelli capiscono o ricordano? La verità è che fanno entrambe le cose, e il bello del mestiere è imparare a distinguere quando prevale l'una e quando l'altra. La ricerca sta andando verso architetture che separino la memoria dal ragionamento, modelli capaci di citare le fonti distinguendo i fatti memorizzati dalle inferenze, e sistemi ibridi che uniscono la potenza statistica degli LLM a motori di ragionamento simbolico.

Resta sullo sfondo una domanda più profonda, che con gli studenti finisce sempre per tirare fuori il filosofo che è in noi: cosa vuol dire "comprendere" per un sistema statistico? Per i funzionalisti, se l'output è indistinguibile da quello di chi capisce, allora il sistema capisce. Per chi guarda alla mente in modo più simbolico, la vera comprensione richiede modelli interni del mondo e rappresentazioni causali, qualcosa che la sola statistica non basta a garantire.

Non ho la pretesa di chiudere questo dibattito. Ma una cosa la dico sempre a chi si avvicina a questi strumenti: capire come imparano, e dove finisce la memoria e comincia la comprensione, è oggi una competenza pratica, non una curiosità teorica. Serve a usarli meglio, a fidarsi al punto giusto e a non prendere per oro colato un punteggio su un benchmark. Ed è esattamente ciò che cerco di trasmettere quando insegno: non la magia, ma il meccanismo.