Data bias
Il data bias (distorsione nei dati) e forse l'errore piu insidioso nell'AI perche produce modelli che funzionano ma sono ingiusti o inaccurati per certi gruppi. Un modello e tanto buono quanto i dati su cui e addestrato: se i dati riflettono pregiudizi storici, il modello li perpetuera e amplifica.
Forme comuni di bias:
- Selection bias: il dataset non e rappresentativo della popolazione reale. Es: un modello di credit scoring addestrato solo su clienti esistenti non sa valutare chi non ha mai chiesto un prestito.
- Historical bias: i dati storici riflettono discriminazioni passate. Es: modelli di assunzione che penalizzano candidature femminili perche storicamente le donne erano sottorappresentate.
- Measurement bias: il modo di raccogliere i dati introduce distorsioni. Es: sensori di computer vision meno accurati su tonalita di pelle scure.
- Survivorship bias: si analizzano solo i casi "sopravvissuti", ignorando i fallimenti.
Il bias non si risolve con piu dati dello stesso tipo. Richiede un'analisi consapevole delle fonti, audit delle predizioni per sottogruppi e, spesso, interventi deliberati nel dataset o nel modello.
Data leakage
Il data leakage si verifica quando informazioni del test set o del futuro "infiltrano" il training set, portando a prestazioni artificialmente alte in valutazione ma fallimentari in produzione. E l'errore tecnico piu comune e piu difficile da individuare.
Forme di data leakage
Target leakage: una feature contiene informazione derivata dal target. Es: nel predire se un paziente ha il diabete, includere la variabile "farmaco per diabete prescritto".
Train-test contamination: il preprocessing (scaling, feature selection) e stato eseguito sull'intero dataset prima dello split, facendo "vedere" al modello statistiche del test set.
Temporal leakage: nelle serie temporali, usare dati futuri per predire eventi passati.
Prevenzione: applicare sempre lo split prima di qualsiasi preprocessing. Usare Pipeline di Scikit-learn che garantisce che ogni trasformazione sia eseguita solo sui dati di training (vedi Python per l'AI).
Overfitting in produzione
L'overfitting non e solo un problema accademico — e una delle cause piu frequenti di fallimento dei modelli AI in produzione. Un modello che performa perfettamente in laboratorio e crolla con dati reali.
Segnali d'allarme in produzione:
- Performance degradation: le metriche peggiorano nel tempo perche la distribuzione dei dati evolve (data drift).
- Gap offline-online: il modello funziona bene nelle valutazioni offline ma male in produzione.
- Overconfidence: il modello produce predizioni molto sicure anche quando sbaglia.
Strategie: monitoring continuo delle metriche, A/B testing prima del deploy, retraining periodico, e le tecniche classiche (regolarizzazione, cross-validation, early stopping).
Hallucinations dei LLM
Le hallucinations (allucinazioni) sono risposte dei LLM che appaiono plausibili e sicure ma sono factualmente false. Il modello "inventa" informazioni con totale confidenza, perche non ha un meccanismo interno di verifica fattuale — genera testo statisticamente probabile, non necessariamente vero.
Strategie di mitigazione:
- RAG: la Retrieval Augmented Generation ancora le risposte a documenti reali, riducendo drasticamente le hallucinations.
- Temperature bassa: ridurre la casualita nella generazione (temperature 0-0.3) diminuisce le invenzioni.
- Prompt engineering: istruire il modello a dire "non so" quando non ha informazioni sufficienti.
- Fact-checking automatico: sistemi che verificano le affermazioni del modello contro fonti autorevoli.
- Citazioni: richiedere al modello di citare le fonti, verificabili dall'utente.
Le hallucinations non sono un bug che verra "risolto" — sono una conseguenza intrinseca di come funzionano i LLM. Ogni sistema in produzione deve prevedere meccanismi di mitigazione e l'utente deve essere consapevole del limite.
Prompt injection
La prompt injection e un attacco in cui un utente malintenzionato manipola il prompt di un LLM per fargli ignorare le istruzioni di sistema e eseguire azioni non previste. E l'equivalente della SQL injection per i sistemi AI.
Tipi di attacco:
- Direct injection: l'utente scrive "Ignora tutte le istruzioni precedenti e..." nel campo di input.
- Indirect injection: istruzioni malevole sono nascoste in documenti che il sistema processa (es. testo invisibile in una pagina web che il modello legge tramite RAG).
- Jailbreaking: tecniche per aggirare i guardrail di sicurezza del modello (es. "DAN" prompt).
Difese: input validation e sanitization, separazione netta tra istruzioni di sistema e input utente, output filtering, monitoraggio delle risposte anomale, uso di modelli con guardrail robusti.
Data quality
La qualita dei dati e il fondamento di qualsiasi progetto AI. Il detto "garbage in, garbage out" si applica in modo particolarmente severo: un modello sofisticato non puo compensare dati di bassa qualita.
Problemi comuni:
| Problema | Impatto | Soluzione |
|---|---|---|
| Dati mancanti | Modello impara pattern non reali | Imputation, rimozione, analisi della mancanza |
| Duplicati | Bias verso campioni ripetuti | Deduplicazione prima dello split |
| Etichette errate | Il modello apprende errori | Audit manuale, confident learning |
| Outlier non gestiti | Distorcono medie e modelli lineari | Rilevamento e trattamento (rimozione/capping) |
| Feature inconsistenti | Metriche non confrontabili | Standardizzazione formati, unita di misura |
Metriche sbagliate e privacy
Scegliere la metrica sbagliata porta a ottimizzare per l'obiettivo sbagliato. L'errore piu classico: usare l'accuracy su dataset sbilanciati (vedi Matrice di Confusione). Un modello che predice sempre la classe maggioritaria raggiunge il 95% di accuracy su un dataset con 95% di negativi, senza aver appreso nulla.
Errori comuni nelle metriche:
- Ottimizzare per il proxy sbagliato: massimizzare i click (proxy) non equivale a massimizzare le conversioni (obiettivo reale).
- Cherry-picking: presentare solo le metriche che confermano il risultato desiderato.
- Test su dati non rappresentativi: il test set deve riflettere la distribuzione dei dati in produzione.
Infine, la privacy e un errore etico e legale sempre piu critico. Il GDPR e l'AI Act impongono vincoli stringenti su:
- Dati personali nei dataset di training (diritto all'oblio, consenso)
- Trasparenza algoritmica (spiegabilita delle decisioni automatizzate)
- Valutazione d'impatto per sistemi AI ad alto rischio
- Invio di dati sensibili a API di terze parti
Gli errori nell'AI non sono solo tecnici: coinvolgono etica, legge e impatto sociale. Un professionista AI competente non e solo chi costruisce modelli accurati, ma chi sa riconoscere i limiti, i rischi e le responsabilita di ogni sistema che implementa.