Il meccanismo di Attention:
come le reti neurali imparano a concentrarsi

Immagina di leggere un romanzo di cinquecento pagine e di dover rispondere a una domanda sull'inizio del libro quando sei arrivato all'ultimo capitolo. Se sei un lettore umano, probabilmente ricordi i punti salienti: i personaggi principali, le scene fondamentali, i colpi di scena. Il tuo cervello ha imparato a prestare attenzione a ciò che conta, ignorando i dettagli irrilevanti.

Per decenni le reti neurali non sapevano fare altrettanto. Elaboravano le sequenze di dati, cioè frasi, serie temporali, segnali audio, un elemento alla volta, in ordine rigido, come un impiegato che legge ogni singola parola di ogni singolo documento senza mai poter tornare indietro o saltare avanti. Il risultato? Modelli lenti, incapaci di cogliere relazioni tra elementi distanti e facilmente sopraffatti da sequenze lunghe.

Il meccanismo di attention ha cambiato tutto. Introdotto nella sua forma moderna nel 2017, ha dato alle reti neurali la capacità di guardare ovunque in una sequenza, di pesare l'importanza relativa di ogni elemento rispetto a tutti gli altri e di concentrarsi su ciò che è davvero rilevante per il compito da svolgere.

Quando spiego l'AI in aula, parto sempre da qui. Perché l'attention non è solo un dettaglio tecnico: è il meccanismo fondamentale alla base di ChatGPT, Claude, Gemini, DALL-E e di praticamente ogni sistema di intelligenza artificiale moderno. Capire come funziona significa capire come funziona l'AI di oggi. E si capisce facendo, smontando il concetto pezzo per pezzo.

01Il problema delle sequenze

Prima dei Transformer, il mondo del deep learning per le sequenze era dominato dalle reti neurali ricorrenti (RNN) e dalle loro evoluzioni, le LSTM (Long Short-Term Memory) e le GRU (Gated Recurrent Unit). Per capire il valore dell'attention, bisogna prima capire i limiti di ciò che c'era prima. Nei miei corsi parto sempre da qui: senza il problema, la soluzione sembra magia.

Le reti ricorrenti: leggere una parola alla volta

Una RNN elabora una sequenza in modo strettamente sequenziale: legge il primo token, aggiorna il suo stato interno, legge il secondo token, aggiorna di nuovo, e così via. È come leggere un libro parola per parola, potendo ricordare solo un breve riassunto di ciò che si è letto finora.

Questo approccio presenta tre problemi fondamentali.

1. Il collo di bottiglia sequenziale. Ogni passo dipende dal precedente: non si può parallelizzare il calcolo. Per una frase di 100 parole servono 100 passi sequenziali. Questo rende le RNN estremamente lente da addestrare su hardware moderno (GPU e TPU), progettato per il calcolo parallelo.
2. Il vanishing gradient. Durante l'addestramento, il segnale di errore deve propagarsi all'indietro attraverso tutti i passi temporali. Più lunga è la sequenza, più questo segnale si attenua, come un messaggio sussurrato lungo una fila di persone: alla centesima persona è diventato incomprensibile. In pratica, la rete dimentica ciò che ha visto all'inizio.
3. Le dipendenze a lungo raggio. Nel linguaggio naturale, le relazioni tra parole possono attraversare intere frasi. Nella frase "Il gatto che il vicino del mio amico aveva adottato tre anni fa era molto affettuoso", il verbo "era" si riferisce a "gatto", distante molte parole. Le RNN faticano enormemente a mantenere queste connessioni.

LSTM: un cerotto ingegnoso

Le LSTM, introdotte da Hochreiter e Schmidhuber nel 1997, hanno mitigato il problema del vanishing gradient attraverso un sistema di cancelli (gates) che regolano il flusso di informazione: cosa ricordare, cosa dimenticare, cosa trasmettere. Immagina un archivista con tre timbri: "conserva", "elimina" e "trasmetti".

Le LSTM hanno funzionato sorprendentemente bene per anni. Google Translate, prima del 2016, si basava su LSTM. Ma anche con i cancelli, il problema di fondo restava: l'elaborazione sequenziale e la difficoltà con sequenze molto lunghe. Le LSTM riuscivano a ricordare per centinaia di passi, ma non per migliaia.

Le RNN leggono un libro parola per parola e cercano di ricordare tutto con un bigliettino. Le LSTM usano un taccuino migliore, ma leggono ancora una parola alla volta. L'attention permette di guardare tutte le pagine contemporaneamente.

Un'analogia che uso spesso in aula

Il primo barlume di attention

L'idea di attention non nasce dal nulla nel 2017. Già nel 2014, Bahdanau, Cho e Bengio proposero un meccanismo di attention per la traduzione automatica. L'intuizione era semplice: invece di costringere l'encoder a comprimere un'intera frase in un singolo vettore, il decoder poteva guardare indietro a tutti gli stati dell'encoder e decidere a quali prestare attenzione per ogni parola da tradurre. Fu una rivoluzione parziale: il miglioramento fu enorme, ma l'architettura sottostante restava ricorrente.

02Attention Is All You Need

Nel giugno 2017, otto ricercatori di Google, cioè Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser e Illia Polosukhin, pubblicarono un paper destinato a cambiare la storia dell'intelligenza artificiale: Attention Is All You Need.

Il titolo era una dichiarazione di intenti provocatoria. La comunità scientifica aveva passato anni a perfezionare architetture ricorrenti e convoluzionali per l'elaborazione del linguaggio. Questi ricercatori proponevano di eliminare completamente sia le ricorrenze sia le convoluzioni, sostituendole con un unico meccanismo: l'attenzione.

I risultati parlarono da soli. Il nuovo modello, chiamato Transformer, superò tutti i sistemi esistenti nella traduzione inglese-tedesco e inglese-francese, addestrandosi in una frazione del tempo richiesto dai modelli basati su LSTM. Il segreto? L'attention permetteva di elaborare tutti i token di una sequenza in parallelo, sfruttando pienamente la potenza delle GPU moderne.

Ma la vera portata dell'innovazione andava ben oltre la traduzione. Il Transformer si rivelò un'architettura universale: nel giro di pochi anni avrebbe conquistato la generazione di testo (GPT), la comprensione del linguaggio (BERT), la generazione di immagini (Vision Transformer, DALL-E), la sintesi vocale, l'analisi proteica (AlphaFold) e molto altro.

Attention Is All You Need non è solo un paper scientifico: è l'atto di nascita dell'era dei foundation model, dei Large Language Model e dell'AI generativa come la conosciamo oggi.

03Come funziona l'attenzione

Arriviamo al cuore del meccanismo. L'attention può sembrare complessa nella sua formalizzazione matematica, ma l'intuizione è sorprendentemente naturale. Per spiegarla, in aula uso sempre un'analogia: una biblioteca.

L'analogia della biblioteca

Immagina di entrare in una grande biblioteca con una domanda precisa: "Quali sono gli effetti del cambiamento climatico sull'agricoltura mediterranea?".

1. La tua domanda è la Query (Q). È ciò che stai cercando, formulato in modo specifico. Nel meccanismo di attention, ogni token della sequenza genera una query che rappresenta "ciò di cui ho bisogno".
2. I titoli dei libri sono le Key (K). Ogni libro sullo scaffale ha un titolo che ne descrive il contenuto. Nel meccanismo di attention, ogni token genera anche una key che rappresenta "ciò che offro", cioè una descrizione sintetica del proprio contenuto informativo.
3. Il contenuto dei libri è il Value (V). Quando trovi un libro pertinente, ne leggi il contenuto effettivo. Nel meccanismo di attention, ogni token genera un value che rappresenta la sua informazione completa.

In biblioteca confronti la tua domanda con ogni titolo per capire quali libri sono rilevanti. Poi leggi i contenuti dei libri più pertinenti, dando più peso a quelli che rispondono meglio alla tua domanda. Ecco: questo è esattamente ciò che fa l'attention.

Scaled Dot-Product Attention

Formalmente, il meccanismo funziona in quattro passi.

1. Calcola la similarità. Per ogni query si calcola il prodotto scalare (dot product) con tutte le key. Il prodotto scalare misura quanto due vettori puntano nella stessa direzione: più alto è il valore, più la query e la key sono simili, più quel "libro" è rilevante per la tua domanda.
2. Scala il risultato. I prodotti scalari vengono divisi per la radice quadrata della dimensione delle key. Questo passaggio tecnico previene che i valori diventino troppo grandi con dimensioni elevate, il che causerebbe gradienti troppo piccoli durante l'addestramento.
3. Applica la Softmax. I punteggi scalati vengono trasformati tramite la funzione softmax in una distribuzione di probabilità: numeri tra 0 e 1 che sommati danno 1. Sono i pesi di attenzione e indicano quanto ogni elemento della sequenza è rilevante.
4. Media pesata dei Value. I pesi di attenzione vengono usati per calcolare una media pesata dei value. Il risultato è un nuovo vettore che combina le informazioni di tutta la sequenza, dando più importanza agli elementi più rilevanti.

In formula: Attention(Q, K, V) = softmax(QKᵀ / √dk) · V, dove Q sono le query, K le key, V i value e dk è la dimensione delle key. È elegante nella sua semplicità: un'unica equazione che cattura l'essenza del meccanismo.

Self-Attention: parlare con sé stessi

Il concetto più potente del Transformer è la self-attention (auto-attenzione). A differenza dell'attention tradizionale, dove la query viene da una sequenza e le key/value da un'altra (per esempio, nella traduzione il decoder guarda l'encoder), nella self-attention query, key e value provengono dalla stessa sequenza.

Prendiamo la frase "Il gatto si sedette sul tappeto perché era stanco". Quando il modello elabora la parola "era", la self-attention gli permette di guardare tutte le altre parole della frase e capire che "era" si riferisce a "gatto" (non a "tappeto"). Ogni parola interroga tutte le altre per capire il contesto.

È come se ogni parola di una frase potesse conversare con tutte le altre simultaneamente, chiedendo: "Quanto sei rilevante per il mio significato in questo contesto?".

04Multi-Head Attention

Un singolo meccanismo di attention cattura un solo tipo di relazione. Ma il linguaggio è straordinariamente multidimensionale: grammatica, semantica, co-riferimenti, relazioni logiche, tono, temporalità. Un solo sguardo non basta.

La soluzione dei ricercatori di Google fu brillante: invece di avere un singolo meccanismo di attention grande, usarne molti in parallelo, ciascuno più piccolo. Ogni testa (head) di attenzione impara a concentrarsi su un aspetto diverso della sequenza.

Quando spiego questo in aula faccio un esempio. Prendi la frase "La banca ha approvato il prestito dopo aver verificato il conto". Una testa di attenzione potrebbe concentrarsi sulla struttura grammaticale (soggetto-verbo-oggetto). Un'altra potrebbe collegare "banca" a "prestito" e "conto" per disambiguare il significato (banca finanziaria, non panchina). Un'altra ancora potrebbe cogliere la relazione temporale ("dopo aver verificato"). Tutte lavorano in parallelo, poi i risultati vengono combinati.

Come funziona in pratica

1. Le matrici Q, K e V vengono proiettate in spazi più piccoli tramite trasformazioni lineari diverse per ogni testa.
2. Ogni testa esegue il meccanismo di Scaled Dot-Product Attention indipendentemente.
3. I risultati di tutte le teste vengono concatenati.
4. Il vettore concatenato viene proiettato nuovamente tramite una trasformazione lineare finale.

Il Transformer originale usava 8 teste di attenzione. I modelli moderni ne usano molte di più: GPT-3 ne ha 96, GPT-4 probabilmente centinaia. Ogni testa ha imparato, durante l'addestramento, a specializzarsi in un aspetto diverso dell'analisi.

Cosa vedono le diverse teste?

Studi di interpretabilità hanno mostrato che le teste di attenzione si specializzano effettivamente in compiti diversi.

05L'architettura Transformer

Il meccanismo di attention è il cuore, ma il Transformer è un organismo completo. Vediamo i componenti principali dell'architettura originale.

Encoder e Decoder

Il Transformer originale ha una struttura a due blocchi.

In pratica, molti modelli moderni usano solo una parte dell'architettura. GPT usa solo il decoder (generazione autoregressiva). BERT usa solo l'encoder (comprensione del testo). T5 e i modelli di traduzione usano entrambi.

Positional Encoding: perché l'ordine conta

Ecco un problema sottile ma fondamentale. L'attention, per sua natura, è invariante all'ordine: tratta la sequenza come un insieme, non come una lista ordinata. Per l'attention, "il gatto insegue il topo" e "il topo insegue il gatto" sarebbero identici. Chiaramente, questo è inaccettabile.

La soluzione è il positional encoding: a ogni token viene aggiunta un'informazione sulla sua posizione nella sequenza. Nel paper originale questa informazione è codificata tramite funzioni seno e coseno a frequenze diverse, creando un codice unico per ogni posizione.

I modelli più recenti usano varianti evolute: RoPE (Rotary Positional Embedding, usato da LLaMA e molti modelli moderni) codifica la posizione come rotazioni nello spazio vettoriale, e ALiBi (Attention with Linear Biases) aggiunge un bias direttamente ai pesi di attenzione basato sulla distanza tra i token.

Gli altri componenti

Ogni blocco del Transformer contiene, oltre alla Multi-Head Attention, altri componenti essenziali.

• Feed-Forward Network (FFN): una rete neurale semplice applicata indipendentemente a ogni posizione. Se l'attention cattura le relazioni tra i token, la FFN elabora l'informazione di ogni singolo token. Studi recenti suggeriscono che nelle FFN risieda gran parte della conoscenza fattuale del modello.
• Layer Normalization: normalizza i valori all'interno di ogni strato per stabilizzare l'addestramento. Senza di essa, i valori potrebbero crescere o decrescere in modo incontrollato attraverso i numerosi strati del modello.
• Connessioni residue: scorciatoie che permettono all'informazione di saltare uno strato. Sono essenziali per addestrare modelli molto profondi (GPT-3 ha 96 strati) perché prevengono la degradazione del segnale.
• Dropout: durante l'addestramento disattiva casualmente una percentuale di neuroni per prevenire l'overfitting, costringendo il modello a non fare affidamento su singoli percorsi.

06Dalla teoria alla pratica

L'attention non è rimasta un concetto accademico. In meno di dieci anni è diventata la tecnologia fondamentale dietro applicazioni che centinaia di milioni di persone usano ogni giorno. Ed è proprio questo che mi interessa mostrare nei corsi: dal concetto allo strumento che usi davvero.

Traduzione automatica

Il primo campo di applicazione, è quello per cui i Transformer furono progettati. L'attention permette al modello di allineare parole tra lingue con strutture grammaticali diverse. Quando traduce "I like reading books" in italiano, il modello impara che "like" si collega a "piace" e che la struttura soggetto-verbo-oggetto dell'inglese si trasforma nella struttura a-me-piace-complemento dell'italiano. Google Translate ha adottato i Transformer nel 2018, con un miglioramento drammatico della qualità.

Generazione di testo

I Large Language Model come GPT-4, Claude, Gemini e LLaMA sono tutti basati sull'architettura Transformer. Generano testo un token alla volta, usando l'attention per considerare tutto il contesto precedente a ogni passo. La capacità dell'attention di collegare informazioni distanti è ciò che permette a questi modelli di mantenere coerenza su testi lunghi.

Completamento del codice

Strumenti come GitHub Copilot, Cursor e Claude Code usano Transformer specializzati sul codice sorgente. L'attention è particolarmente efficace qui perché il codice ha strutture a lungo raggio: una variabile definita all'inizio di un file può essere usata centinaia di righe dopo, e le relazioni tra funzioni, classi e moduli attraversano interi progetti.

Vision Transformer (ViT)

Nel 2020 Google ha dimostrato che i Transformer funzionano anche per le immagini. L'immagine viene suddivisa in piccole patch (per esempio 16x16 pixel), ogni patch viene trattata come un token, e l'attention permette al modello di collegare regioni distanti dell'immagine. Questo ha sfidato il dominio delle reti convoluzionali (CNN) che avevano regnato sulla computer vision per un decennio.

Altre applicazioni

• AlphaFold (DeepMind): usa l'attention per predire la struttura 3D delle proteine dalla sequenza di amminoacidi, un problema aperto da 50 anni nella biologia.
• Generazione audio e musica: modelli come AudioLM e MusicLM usano Transformer per generare audio realistico e composizioni musicali.
• Robotica: modelli come RT-2 di Google usano Transformer per tradurre istruzioni in linguaggio naturale in azioni robotiche.
• Analisi di serie temporali: previsioni finanziarie, meteo, consumi energetici. L'attention cattura pattern temporali complessi.

07I limiti dell'attenzione

L'attention è potente, ma non è priva di costi. Comprendere i suoi limiti è fondamentale per capire le sfide attuali e la direzione della ricerca.

Complessità quadratica

Il problema più noto dell'attention è la sua complessità computazionale quadratica: O(n²), dove n è la lunghezza della sequenza. Ogni token deve calcolare un punteggio di attenzione con ogni altro token. Se raddoppi la lunghezza della sequenza, il costo computazionale quadruplica.

In numeri concreti: per una sequenza di 1.000 token servono 1.000.000 di calcoli di attenzione. Per 10.000 token ne servono 100.000.000. Per 100.000 token, 10.000.000.000. Il costo esplode rapidamente.

La finestra di contesto

A causa della complessità quadratica, ogni modello ha un limite massimo di token che può elaborare contemporaneamente: la context window. Superata questa soglia, il modello semplicemente non può vedere i token in eccesso. È come avere una scrivania di dimensioni fisse: puoi disporre solo un numero limitato di documenti.

• GPT-4: 8.000 - 128.000 token (a seconda della versione)
• Claude 3.5: fino a 200.000 token
• Gemini 1.5 Pro: fino a 1.000.000 token

Estendere la context window è una delle sfide più attive nella ricerca: richiede sia innovazione algoritmica sia hardware sempre più potente.

Soluzioni e ottimizzazioni

La ricerca ha proposto numerose strategie per mitigare i limiti dell'attention.

• Sparse Attention: invece di calcolare l'attenzione tra tutti i token, si selezionano solo sottoinsiemi rilevanti. BigBird (Google) e Longformer (Allen AI) usano pattern di attenzione sparsa (locale più globale) per raggiungere complessità lineare o quasi-lineare.
• Linear Attention: sostituisce la softmax con kernel lineari, riducendo la complessità a O(n). L'approssimazione è meno precisa, ma molto più efficiente per sequenze lunghe.
• Flash Attention: sviluppata da Tri Dao a Stanford, non cambia il risultato matematico dell'attention, ma riorganizza i calcoli per sfruttare in modo ottimale la gerarchia di memoria delle GPU. Il risultato: attention standard fino a 3 volte più veloce e con molta meno memoria. È oggi lo standard de facto.
• KV Cache: durante la generazione di testo, le key e i value dei token già elaborati vengono memorizzati per non doverli ricalcolare a ogni nuovo token. Fondamentale per l'efficienza dell'inferenza.
• Grouped Query Attention (GQA): usata da LLaMA 2 e modelli successivi, condivide le key e i value tra gruppi di teste di attenzione, riducendo il consumo di memoria senza perdita significativa di qualità.

08Oltre i Transformer

Il meccanismo di attention e l'architettura Transformer hanno dominato l'AI dal 2017. Ma la ricerca non si ferma mai, e diverse architetture alternative stanno emergendo con l'obiettivo di superare i limiti fondamentali dell'attention.

State Space Models (SSM) e Mamba

Gli State Space Models sono ispirati alla teoria del controllo e all'elaborazione dei segnali. L'idea chiave è modellare le sequenze come un sistema dinamico con uno stato interno che evolve nel tempo, piuttosto che calcolare relazioni esplicite tra tutti gli elementi.

Mamba, sviluppato da Albert Gu e Tri Dao nel 2023, è l'implementazione più nota. La sua innovazione principale è la selettività: a differenza degli SSM classici (che usano parametri fissi), Mamba rende i parametri del modello dipendenti dall'input, permettendo al modello di decidere dinamicamente cosa ricordare e cosa dimenticare, un po' come facevano le LSTM, ma con l'efficienza degli SSM.

I vantaggi? Complessità lineare nella lunghezza della sequenza (O(n) invece di O(n²)) e inferenza estremamente veloce, poiché ogni nuovo token richiede solo un aggiornamento dello stato, non un ricalcolo su tutta la sequenza.

RWKV: il meglio di entrambi i mondi

RWKV (Receptance Weighted Key Value) è un'architettura ibrida che combina il parallelismo durante l'addestramento (tipico dei Transformer) con l'efficienza durante l'inferenza (tipica delle RNN). Può essere addestrato come un Transformer ma genera testo come una RNN, con costo costante per ogni nuovo token. È un progetto open source che ha raggiunto risultati competitivi con modelli di dimensioni simili.

Architetture ibride

La tendenza più recente è combinare attention e SSM nella stessa architettura. Modelli come Jamba (AI21) alternano strati di attention e strati Mamba, cercando di ottenere il meglio di entrambi: la capacità dell'attention di catturare relazioni complesse e l'efficienza degli SSM per le sequenze lunghe.

09Glossario

Un piccolo dizionario dei termini che ho usato, da tenere a portata di mano.

• Attention. Meccanismo che permette a una rete neurale di assegnare pesi diversi a diversi elementi di una sequenza, concentrandosi su quelli più rilevanti per il compito in corso. È il componente fondamentale dei Transformer e funziona calcolando la similarità tra una query e un insieme di key per produrre una media pesata dei value.
• Self-Attention. Variante dell'attention in cui query, key e value provengono dalla stessa sequenza. Ogni elemento della sequenza guarda tutti gli altri per comprendere il proprio contesto. È il meccanismo che permette ai modelli di risolvere ambiguità e catturare dipendenze all'interno di un testo.
• Multi-Head Attention. Tecnica che esegue più meccanismi di attention in parallelo, ciascuno con parametri diversi. Ogni testa impara a concentrarsi su un aspetto diverso (grammatica, semantica, co-riferimenti). I risultati di tutte le teste vengono poi combinati per una rappresentazione più ricca.
• Query, Key, Value (Q, K, V). I tre componenti del meccanismo di attention. La Query rappresenta "ciò che cerco", la Key rappresenta "ciò che offro" (un'etichetta descrittiva), e il Value rappresenta "il mio contenuto effettivo". La similarità tra Query e Key determina quanto peso dare a ciascun Value nel risultato finale.
• Positional Encoding. Informazione sulla posizione di ogni token nella sequenza, aggiunta perché l'attention di per sé è invariante all'ordine. Senza positional encoding, il modello non saprebbe distinguere "il gatto insegue il topo" da "il topo insegue il gatto". Le varianti moderne includono RoPE e ALiBi.
• Transformer. Architettura di rete neurale proposta nel 2017 nel paper "Attention Is All You Need". Composta da strati di Multi-Head Attention, reti feed-forward, normalizzazione e connessioni residue. È alla base di tutti i grandi modelli linguistici moderni (GPT, Claude, Gemini, LLaMA).
• Token. Unità minima di testo elaborata dal modello. Può essere una parola intera, parte di una parola o un singolo carattere. La tokenizzazione divide il testo in token prima dell'elaborazione. In media, un token corrisponde a circa 3/4 di una parola in italiano.
• Embedding. Rappresentazione numerica (vettoriale) di un token o di un concetto in uno spazio multidimensionale. Parole con significati simili hanno embedding vicini nello spazio vettoriale. È il primo passo nel Transformer: trasformare token discreti in vettori continui che il modello può elaborare.
• Context Window. Numero massimo di token che un modello può elaborare in una singola operazione. È limitata dalla complessità quadratica dell'attention e dalla memoria disponibile. Estenderla è una delle sfide principali della ricerca attuale.
• Softmax. Funzione matematica che trasforma un vettore di numeri arbitrari in una distribuzione di probabilità (valori tra 0 e 1 che sommano a 1). Nell'attention viene applicata ai punteggi di similarità query-key per ottenere i pesi di attenzione, amplificando le differenze: i punteggi alti diventano ancora più alti, quelli bassi quasi zero.