Lezione 3: LLM Offline e Modelli Open Source

Obiettivi della giornata

Al termine di questa terza giornata sarai in grado di:

Perché usare LLM locali?

I servizi cloud come ChatGPT sono comodi, ma ogni dato che inserisci lascia il tuo computer e viene elaborato sui server di terze parti. Per dati sensibili come informazioni su infortuni, DVR o dati personali dei lavoratori, questa può essere una criticità importante.

I 4 vantaggi degli LLM locali

• Privacy totale: i dati non lasciano MAI il tuo computer. Zero rischi di data breach esterni.
• Funziona offline: nessuna connessione internet richiesta. Ideale in cantieri o aree remote.
• Zero costi mensili: nessun abbonamento. Una volta installato, usi quanto vuoi gratuitamente.
• Pieno controllo: scegli il modello, personalizzalo, nessun limite di utilizzo o censura.

Cloud vs locale: quando usare cosa?

Requisiti hardware: cosa ti serve?

Per eseguire LLM in locale serve un computer con specifiche adeguate. La buona notizia: non serve un supercomputer. Un laptop moderno può eseguire modelli più piccoli, mentre per i modelli più grandi serve più RAM e possibilmente una GPU.

I 3 fattori chiave: RAM, CPU, GPU

Configurazioni consigliate per ogni budget

Strumenti: Ollama e LM Studio

Due strumenti rendono semplicissimo eseguire LLM locali: Ollama (più tecnico, via terminale) e LM Studio (interfaccia grafica user-friendly). Vediamo entrambi.

Ollama (ollama.com)

Strumento da terminale, leggero e potente. Ideale per chi vuole automazione e integrazione con altri tool.

Vantaggi:

• Leggero e veloce
• Espone API REST (integrabile)
• Un comando per scaricare modelli
• Windows, Mac, Linux

Comandi base:

• ollama pull llama3.1
• ollama run llama3.1
• ollama list

LM Studio (lmstudio.ai)

Interfaccia grafica completa, simile a ChatGPT. Perfetta per chi preferisce il click invece dei comandi.

Vantaggi:

• Interfaccia grafica intuitiva
• Browser modelli integrato
• Chat multipla con diversi modelli
• Mostra i requisiti RAM in tempo reale

Ideale per: chi vuole un'esperienza "tipo ChatGPT" ma locale. Nessun terminale richiesto!

Modelli consigliati per iniziare

Modelli open source: quale scegliere?

Il mondo open source offre modelli di qualità eccellente, alcuni paragonabili ai migliori modelli commerciali. Ecco una panoramica dei più importanti.

Llama 3.1 (Meta) - 8B, 70B, 405B parametri

Il modello open source più popolare. Eccellente in italiano, nel ragionamento e nei task generali. Punti di forza: multilingue, 128k di contesto, tool calling, licenza permissiva.

Consigliato: Llama 3.1 8B per l'uso quotidiano.

Mistral (Francia) - 7B, Mixtral 8x7B

Modello europeo, eccellente rapporto qualità/dimensione. Italiano molto buono. Punti di forza: europeo (GDPR), efficiente, Codestral per il codice, licenza Apache 2.0.

Consigliato: Mistral 7B per i task rapidi.

Phi-3 (Microsoft) - Mini 3.8B, Medium 14B

Modelli piccoli ma sorprendentemente capaci. Ideali per hardware limitato. Punti di forza: ultra leggero, veloce, ottimo reasoning, licenza MIT.

Consigliato: Phi-3 Mini per laptop con 8GB di RAM.

Gemma 2 (Google) - 2B, 9B, 27B parametri

Modelli open di Google, derivati da Gemini. Ottima qualità, diverse dimensioni. Punti di forza: realizzato da Google, benchmark ai vertici, sicuro, uso commerciale consentito.

Consigliato: Gemma 2 9B per il miglior rapporto qualità/dimensione.

Casi d'uso pratici per la sicurezza

Vediamo come applicare gli LLM locali al lavoro quotidiano del consulente sicurezza, con esempi pratici e prompt ottimizzati.

Caso 1: Analisi report infortunio (dati sensibili)

Privacy critica

Hai un report di infortunio con il nome del lavoratore, una descrizione dettagliata e le testimonianze. Non vuoi inviarlo al cloud.

"Analizza questo report di infortunio e identifica: 1) Causa primaria, 2) Fattori contributivi, 3) Misure preventive mancanti, 4) Azioni correttive da implementare. Report: [incolla testo report]"

• Con LLM locale: i dati restano sul tuo PC. Zero rischi. Nessuna traccia esterna.
• Con ChatGPT/Claude: i dati vengono inviati a server USA. Potenziale violazione della privacy.

Caso 2: Generazione checklist offline (cantiere)

Offline richiesto

Sei in cantiere senza connessione internet. Devi generare una checklist specifica per l'attività in corso.

"Genera una checklist di verifica per lavori in quota su ponteggio metallico. Includi: controlli pre-accesso, verifica DPI, condizioni meteo, segnaletica, vie di fuga. Formato: lista con checkbox."

Caso 3: Bozza sezione DVR

"Sei un RSPP esperto. Genera la sezione DVR per il rischio 'Movimentazione Manuale dei Carichi' per un magazzino con 5 addetti. Includi: descrizione rischio, valutazione (metodo NIOSH semplificato), misure di prevenzione, DPI richiesti, formazione necessaria. Cita gli articoli del D.Lgs 81/08 pertinenti."

Risultato atteso: una bozza strutturata pronta per la revisione, con riferimenti normativi. Richiede sempre verifica professionale prima dell'uso ufficiale.

Riepilogo del corso completo

Un quadro d'insieme del percorso svolto nelle tre giornate.

• Giornata 1: fondamenti LLM e ChatGPT; framework RCCIF per i prompt; privacy e limiti dell'IA.
• Giornata 2: modelli commerciali a confronto; IA generativa vs agentica; Custom GPT e automazioni.
• Giornata 3: LLM locali per la privacy; Ollama e LM Studio; modelli open source.