Esegui modelli IA sul tuo computer per massima privacy. Nessun dato inviato al cloud, nessun costo mensile, pieno controllo.
Al termine di questa terza giornata sarai in grado di:
I servizi cloud come ChatGPT sono comodi, ma ogni dato che inserisci lascia il tuo computer e viene elaborato sui server di terze parti. Per dati sensibili come informazioni su infortuni, DVR, o dati personali dei lavoratori, questa può essere una criticità importante.
I dati non lasciano MAI il tuo computer. Zero rischi di data breach esterni.
Nessuna connessione internet richiesta. Ideale in cantieri o aree remote.
Nessun abbonamento. Una volta installato, usi quanto vuoi gratuitamente.
Scegli il modello, personalizzalo, nessun limite di utilizzo o censura.
| Scenario | Cloud (ChatGPT, Claude) | Locale (Ollama, LM Studio) |
|---|---|---|
| DVR con dati personali lavoratori | Rischio privacy | Locale consigliato |
| Report infortunio con dettagli sensibili | Rischio privacy | Locale consigliato |
| Ricerca normativa aggiornata | Cloud (web access) | No accesso web |
| Generazione template generico | OK | OK |
| Lavoro in cantiere senza WiFi | Non funziona | Locale funziona |
| Task complessi (analisi 100+ pagine) | Cloud più potente | Dipende da hardware |
L'approccio più intelligente è usare entrambi:
Usa Cloud per:
Usa Locale per:
Per eseguire LLM in locale serve un computer con specifiche adeguate. La buona notizia: non serve un supercomputer. Un laptop moderno può eseguire modelli più piccoli, mentre per i modelli più grandi serve più RAM e possibilmente una GPU.
Il fattore più importante. Il modello viene caricato in RAM, quindi serve abbastanza memoria per contenerlo.
Qualsiasi CPU moderna funziona. I modelli girano su CPU se non hai GPU, ma più lentamente.
Opzionale ma consigliata per velocità. NVIDIA con CUDA è lo standard.
Modelli utilizzabili:
Velocità: ~5-10 token/sec
Modelli utilizzabili:
Velocità: ~20-40 token/sec
Modelli utilizzabili:
Velocità: ~50-100 token/sec
I modelli vengono spesso "quantizzati" per ridurre la dimensione. Vedrai sigle come Q4_K_M o Q8_0:
Q4 (4-bit)
Più piccolo, più veloce, qualità leggermente ridotta. Ottimo compromesso.
Q5 (5-bit)
Bilanciamento tra dimensione e qualità.
Q8 (8-bit)
Qualità quasi originale, ma serve più RAM.
Due strumenti rendono semplicissimo eseguire LLM locali: Ollama (più tecnico, via terminale) e LM Studio (interfaccia grafica user-friendly). Vediamo entrambi.
Strumento da terminale, leggero e potente. Ideale per chi vuole automazione e integrazione con altri tool.
Vantaggi:
Comandi base:
ollama pull llama3.1
ollama run llama3.1
ollama list
Interfaccia grafica completa, simile a ChatGPT. Perfetta per chi preferisce click invece di comandi.
Vantaggi:
Ideale per:
Chi vuole un'esperienza "tipo ChatGPT" ma locale. Nessun terminale richiesto!
ollama pull llama3.1ollama run llama3.1openwebui.com| Modello | Dimensione | RAM Richiesta | Comando Ollama |
|---|---|---|---|
| Phi-3 Mini | 3.8B | ~6 GB | ollama pull phi3 |
| Llama 3.1 8B | 8B | ~8-10 GB | ollama pull llama3.1 |
| Mistral 7B | 7B | ~8 GB | ollama pull mistral |
| Gemma 2 9B | 9B | ~10 GB | ollama pull gemma2 |
Il mondo open source offre modelli di qualità eccellente, alcuni paragonabili ai migliori modelli commerciali. Ecco una panoramica dei più importanti.
Il modello open source più popolare. Eccellente in italiano, ragionamento, e task generali.
Consigliato: Llama 3.1 8B per uso quotidiano
Modello europeo, eccellente rapporto qualità/dimensione. Italiano molto buono.
Consigliato: Mistral 7B per task rapidi
Modelli piccoli ma sorprendentemente capaci. Ideali per hardware limitato.
Consigliato: Phi-3 Mini per laptop con 8GB RAM
Modelli open di Google, derivati da Gemini. Ottima qualità, diverse dimensioni.
Consigliato: Gemma 2 9B per qualità/dimensione
Per Iniziare
Llama 3.1 8B
Bilanciamento perfetto qualità/risorse
Per Laptop Vecchi
Phi-3 Mini
Funziona con soli 8GB RAM
Per Italiano Migliore
Mistral 7B
Modello europeo, multilingue eccellente
Vediamo come applicare LLM locali al lavoro quotidiano del consulente sicurezza, con esempi pratici e prompt ottimizzati.
Hai un report di infortunio con nome lavoratore, descrizione dettagliata, e testimonianze. Non vuoi inviarlo al cloud.
Prompt per LLM locale:
"Analizza questo report di infortunio e identifica: 1) Causa primaria, 2) Fattori contributivi, 3) Misure preventive mancanti, 4) Azioni correttive da implementare. Report: [incolla testo report]"
Con LLM Locale
Dati restano sul tuo PC. Zero rischi. Nessuna traccia esterna.
Con ChatGPT/Claude
Dati inviati a server USA. Potenziale violazione privacy.
Sei in cantiere senza connessione internet. Devi generare una checklist specifica per l'attività in corso.
Prompt per LLM locale:
"Genera una checklist di verifica per lavori in quota su ponteggio metallico. Includi: controlli pre-accesso, verifica DPI, condizioni meteo, segnaletica, vie di fuga. Formato: lista con checkbox."
Suggerimento: Prepara il laptop con Ollama e il modello già scaricato prima di andare in cantiere!
Prompt per LLM locale:
"Sei un RSPP esperto. Genera la sezione DVR per il rischio 'Movimentazione Manuale dei Carichi' per un magazzino con 5 addetti. Includi: descrizione rischio, valutazione (metodo NIOSH semplificato), misure di prevenzione, DPI richiesti, formazione necessaria. Cita articoli D.Lgs 81/08 pertinenti."
Risultato atteso:
Bozza strutturata pronta per revisione, con riferimenti normativi. Richiede sempre verifica professionale prima dell'uso ufficiale.
Prova questi prompt con Ollama sul tuo PC:
ollama run llama3.11Installa Ollama e prova Llama 3.1
2Crea il tuo Custom GPT su ChatGPT
3Definisci strategia ibrida cloud/locale