Lezione 7: Controllo, errori e messa in strada

Obiettivi della lezione

Le automazioni non muoiono il giorno che le accendi. Muoiono tre mesi dopo, quando qualcuno cambia un campo di un modulo e per due settimane il foglio si riempie di righe storte che nessuno guarda. Questa lezione serve a mettere in strada quello che hai costruito e a tenercelo.

Finita questa lezione, e con lei il corso, sai:

• Riconoscere i tre modi in cui un modello sbaglia dentro un processo;
• Mettere controlli automatici sui campi, sui formati e sui valori plausibili;
• Decidere dove tenere il visto umano e quando toglierlo;
• Sapere che cosa non mandare a un servizio esterno e come regolarti con i dati dei clienti;
• Misurare il tempo risparmiato davvero, e decidere se tenere, correggere o smontare.

Come sbaglia un modello dentro un processo

In chat gli errori si vedono, perché li leggi. In un'automazione passano, e si accumulano. Tre forme, in ordine di frequenza.

Riempie i buchi. Un campo che manca nella richiesta viene compilato con un valore plausibile: un cognome verosimile, una data che sta bene lì. È l'errore più insidioso perché il risultato sembra perfetto. Si previene con l'istruzione esplicita sui dati mancanti e si prende con un controllo che confronti i campi estratti con il testo di partenza.

Cambia formato. Per novantasette pratiche risponde con le sette chiavi, alla novantottesima aggiunge un commento o mette una data scritta a parole. Non c'è prompt che lo escluda al cento per cento: si mette il controllo e si decide che cosa fare quando fallisce.

Sbanda sui casi lunghi. Con un testo molto lungo la qualità cala nella parte centrale, e con un elenco di trenta voci ne salta due. Si previene spezzando: dieci voci per volta, poi si uniscono i risultati.

I controlli automatici

Un controllo è una domanda a risposta secca che un programma sa fare da solo. Quattro tipi coprono quasi tutto.

• Struttura: la risposta si legge come JSON e ha esattamente le chiavi previste.
• Obbligatori: i campi senza i quali la pratica non può andare avanti sono pieni. Nome e contatto sì, budget no.
• Dominio: i campi con valori ammessi contengono uno di quelli. Il tono vale neutro, urgente o scontento; la data si legge come data.
• Plausibilità: i numeri stanno dentro un intervallo sensato. Un importo sopra i 50.000 euro o una scadenza fra tre anni fermano la pratica anche se sono scritti bene.

C'è poi un controllo che vale da solo più degli altri quattro, ed è il riscontro sul testo di partenza: per i campi copiati (nome, azienda, contatto, date) si verifica che quella stringa compaia davvero nel testo originale. Costa tre righe di codice e prende quasi tutti i casi di dato inventato.

Che cosa succede quando un controllo fallisce

1. La pratica si ferma dove sta, senza scrivere niente a valle.
2. Resta segnata come da lavorare, così non si perde.
3. Arriva un avviso a una persona, con il materiale di partenza allegato.
4. Il fallimento finisce nel registro, con la data e il motivo.

Dove tenere il visto umano

Il visto umano si mette nei punti dove un errore esce di casa: prima di mandare qualcosa a un cliente, prima di scrivere in un sistema che fa fede, prima di un pagamento. Dentro il processo, invece, i passaggi intermedi possono correre da soli.

Il visto ha un costo, e va speso bene. Tre regole che uso.

• Un visto solo per pratica, nel punto giusto. Tre visti in fila diventano tre clic automatici, e un clic automatico vale zero.
• Il visto deve essere informato: chi firma deve vedere accanto il materiale di partenza. Approvare una bozza senza avere sotto gli occhi la richiesta del cliente è un timbro.
• Il visto si toglie con i numeri. Dopo qualche settimana guardi quante volte hai corretto qualcosa prima di approvare: se la percentuale è bassa e gli errori rimasti costano poco, il visto può diventare un controllo a campione.

Fra il visto su tutto e il campione c'è una terza strada, quella del classificatore della Lezione 3: guarda ogni pratica e chiama te solo quando la sua risposta è incerta. La soglia la scegli tu, per esempio ogni confidenza sotto 0,9 passa a una persona. Così il tuo tempo va sui casi dubbi invece che sui primi dieci della giornata, ed è la stessa idea del cancello davanti agli strumenti di un agente.

I dati che escono di casa

Quando mandi un testo a un servizio di AI, quel testo esce dalla tua azienda e arriva ai server di qualcun altro. Se dentro ci sono dati di persone, stai facendo un trattamento di dati personali, e valgono le regole di sempre.

Quattro cose pratiche, senza giri di parole.

• Guarda dove finiscono i dati e se vengono usati per addestrare. I piani a pagamento per le aziende di solito lo escludono e lo mettono per iscritto; i piani gratuiti spesso no. Sta scritto nelle condizioni, e va letto una volta.
• Firma il contratto giusto. Se il fornitore tratta dati personali per conto tuo serve un accordo (il responsabile del trattamento), e i fornitori seri ce l'hanno pronto da firmare.
• Manda il meno possibile. Per estrarre il tipo di richiesta non serve il codice fiscale. Togliere i dati identificativi prima di inviare costa poco e risolve gran parte del problema.
• Aggiorna il registro e l'informativa. Se hai un registro dei trattamenti, quel passaggio va scritto lì; se sul sito c'è un'informativa, deve nominare il fornitore.

Due cose che non si fanno mai: incollare in una chat documenti coperti da segreto professionale o sanitario senza aver verificato il contratto, e caricare elenchi di clienti interi «per fare una prova». La prova si fa su tre righe inventate.

Misurare quello che hai guadagnato

Nella Lezione 1 hai fatto una stima. Adesso si misura, perché le stime sull'automazione sono ottimiste per costruzione.

Quattro numeri, presi per un mese:

Il guadagno vero è il costo attuale della Lezione 1 meno i minuti spesi adesso, meno il tempo di manutenzione. Se il numero è piccolo, il processo era sbagliato o l'automazione è troppo delicata: in tutti e due i casi meglio saperlo a un mese invece che a un anno.

La terza riga della tabella è quella che va guardata per prima. Le pratiche passate con un errore che nessuno ha fermato sono il debito che l'automazione sta accumulando, e se cresce si torna al visto.

Tenere in vita quello che gira

Le automazioni si rompono per cause che stanno fuori da loro. Le quattro più comuni: un servizio cambia la sua API, qualcuno aggiunge un campo al modulo, una chiave scade, il fornitore cambia il modello sotto al cofano e le risposte escono un po' diverse.

Quello che costa poco e serve molto:

• Un registro di ogni esecuzione con data, esito, motivo del fallimento. Senza, non saprai mai da quando le cose andavano male.
• Un avviso quando fallisce più del solito: se in un giorno si ferma cinque volte invece di una, qualcosa è cambiato a monte.
• La batteria di casi della Lezione 4, ripassata ogni tre mesi e dopo ogni cambio di modello o di strumento.
• Una pagina di istruzioni che dica come si spegne e come si fa a mano. Il giorno che si rompe, di solito, tu sei in ferie.

Laboratorio: collaudo e messa in strada

Obiettivo: la tua automazione pronta per essere usata davvero, con i controlli attivi e il conto del guadagno.

Consegna

1. Scrivi i controlli della tua catena: struttura, obbligatori, dominio, plausibilità, riscontro sul testo di partenza. Una riga per controllo, con scritto che cosa succede quando fallisce.
2. Prova con venti casi veri presi dall'archivio degli ultimi mesi. Segna per ognuno: passato pulito, fermato, passato con errore.
3. Rompi la catena apposta tre volte: un testo vuoto, un campo con un valore assurdo, una risposta del modello con del testo davanti al JSON. Verifica che si fermi in tutti e tre i casi.
4. Decidi dove sta il visto e scrivi che cosa deve avere davanti chi firma.
5. Compila la scheda dei dati: che cosa esce dall'azienda, verso quale fornitore, con quale contratto, e che cosa hai tolto prima di mandarlo.
6. Scrivi la pagina di istruzioni: come si spegne, come si fa a mano, chi si avvisa.
7. Fai il conto del guadagno mensile e confrontalo con la stima della Lezione 1.

Mini-test finale

Sezione A: risposta multipla

1. L'errore più insidioso di un modello dentro un processo è:
   a) fermarsi   b) riempire i buchi con dati plausibili   c) rispondere lentamente   d) rispondere corto
2. Il controllo che prende quasi tutti i dati inventati è:
   a) il riscontro sul testo di partenza   b) il conteggio delle chiavi   c) la lunghezza   d) il controllo del tono
3. Tre visti in fila nella stessa pratica:
   a) triplicano la sicurezza   b) diventano tre clic automatici   c) sono obbligatori   d) sostituiscono i controlli
4. Prima di mandare un testo a un servizio esterno conviene:
   a) allegare tutto per dare contesto   b) togliere i dati identificativi che non servono   c) usare un piano gratuito   d) cifrare il prompt
5. Un passo di responsabilità (Lezione 3):
   a) si automatizza per ultimo   b) resta a una persona   c) lo fa un agente   d) lo fa una formula
6. Un importo in un preventivo (Lezione 1 e 3):
   a) lo genera il modello   b) lo calcola un foglio o del codice   c) lo stima l'agente   d) si chiede al cliente
7. La batteria di casi (Lezione 4) si ripassa:
   a) una volta sola   b) a ogni modifica e ogni tre mesi   c) solo quando qualcosa si rompe   d) mai
8. Un'automazione che costa più manutenzione di quanto rende:
   a) si tiene lo stesso   b) si spegne   c) si affida a un agente   d) si raddoppia

Sezione B: risposta aperta

9. (3 punti) Descrivi l'automazione che hai costruito durante il corso: processo, passi delegati, controlli, dove sta il visto. Indica il guadagno mensile misurato o stimato.
10. (3 punti) Un collega vuole automatizzare l'invio di preventivi facendo calcolare gli importi al modello, senza visto umano. Scrivi le tre obiezioni che gli faresti e che cosa proporresti al suo posto.

Riassunto del corso