Quando velocità ed efficienza aumentano il rischio invece di ridurlo
Automatizzare un’attività significa molto più che eseguirla più velocemente. Significa decidere chi può agire, quali controlli devono essere superati, come si riconosce un errore e chi risponde delle conseguenze.
L’intelligenza artificiale rende possibile automatizzare operazioni che fino a poco tempo fa richiedevano una persona: analizzare documenti, generare codice, modificare configurazioni, rispondere a clienti, classificare richieste e prendere decisioni operative.
La domanda, però, non dovrebbe essere soltanto:
L’intelligenza artificiale è capace di farlo?
Dovremmo chiederci anche:
Possiamo verificare il risultato, limitare il danno e ripristinare la situazione se qualcosa va storto?
Il NIST AI Risk Management Framework prevede che la valutazione iniziale possa portare anche a una decisione di tipo go/no-go: prima di introdurre un sistema AI bisogna stabilire se quella soluzione sia appropriata e realmente necessaria.
Automatizzare non è una scelta binaria
Un’attività può essere automatizzata a livelli diversi.
L’AI può:
- raccogliere e organizzare le informazioni;
- proporre un’azione;
- preparare l’azione per l’approvazione;
- eseguire direttamente l’azione;
- eseguirla senza che una persona ne sia informata.
Il rischio cambia radicalmente passando da un livello al successivo.
Un sistema che prepara una query SQL da revisionare non ha lo stesso potere di un agente che la esegue autonomamente sul database di produzione. Un’AI che prepara una risposta email non produce le stesse conseguenze di un sistema che la invia automaticamente al cliente.
Spesso, quindi, il problema non è stabilire se utilizzare l’intelligenza artificiale, ma decidere fino a quale punto debba arrivare la sua autonomia.
Le attività rare e poco conosciute
Un’attività eseguita frequentemente genera esempi, controlli, eccezioni conosciute e risultati confrontabili.
Un’operazione rara presenta invece meno evidenze. Potrebbero mancare:
- casi precedenti affidabili;
- procedure consolidate;
- test rappresentativi;
- persone che sappiano riconoscere rapidamente un errore;
- modalità di ripristino già sperimentate.
Automatizzare un’operazione rara può sembrare conveniente proprio perché nessuno desidera eseguirla manualmente. Ma la rarità riduce anche la possibilità di verificare che l’automazione funzioni in condizioni reali.
In questi casi l’AI può essere utile per raccogliere informazioni, confrontare documenti e preparare un piano. L’esecuzione dovrebbe però restare sotto il controllo di una persona competente.
Le azioni difficili da annullare
Alcune operazioni sono tecnicamente reversibili, ma le loro conseguenze non lo sono.
È possibile ripristinare un database da un backup, ma non sempre si possono eliminare le decisioni prese utilizzando dati errati. È possibile cancellare un messaggio, ma non impedire che sia stato letto. È possibile correggere una pubblicazione, ma non ritirare tutte le copie già diffuse.
Rientrano in questa categoria:
- cancellazioni di dati;
- modifiche in produzione;
- invio di comunicazioni esterne;
- pubblicazioni;
- assegnazione o revoca di autorizzazioni;
- decisioni che incidono su persone, pagamenti o servizi;
- operazioni che possono interrompere sistemi aziendali.
L’automazione può preparare queste attività e controllarne i prerequisiti. L’esecuzione finale richiede invece un’autorizzazione consapevole e riferita all’azione precisa.
Le attività il cui risultato non è verificabile
Un processo automatico è più affidabile quando il suo risultato può essere controllato con criteri indipendenti.
Una compilazione può produrre un esito verificabile. Una query può essere confrontata con conteggi attesi. Un file può essere controllato attraverso un hash. Una procedura può essere provata in un ambiente separato.
Il problema nasce quando la verifica dipende dallo stesso sistema che ha generato il risultato.
Se un’AI produce un’analisi e poi dichiara che l’analisi è corretta, non abbiamo una verifica indipendente. Abbiamo soltanto una seconda affermazione dello stesso sistema.
Il NIST raccomanda processi di test, valutazione, verifica e validazione e osserva che una revisione indipendente può ridurre errori, distorsioni interne e conflitti di interesse. Inoltre, il costo degli errori dovrebbe essere valutato insieme ai benefici attesi dell’automazione. (NIST AI RMF Core)
Quando il risultato non può essere verificato in modo proporzionato, l’AI dovrebbe fornire supporto e informazioni, non produrre autonomamente la decisione definitiva.
Le decisioni che riguardano persone e diritti
Se un errore modifica soltanto una bozza interna, il danno è normalmente limitato. Se lo stesso errore incide su una persona, il rischio cambia.
Questo vale, per esempio, per decisioni relative a:
- selezione e valutazione del personale;
- concessione di servizi o benefici;
- credito e assicurazioni;
- salute e sicurezza;
- istruzione;
- accessi e autorizzazioni;
- procedimenti amministrativi o giudiziari.
Il Regolamento europeo sull’intelligenza artificiale richiede, per i sistemi classificati ad alto rischio, una sorveglianza umana proporzionata al rischio, al livello di autonomia e al contesto di utilizzo. La persona incaricata deve poter comprendere limiti e anomalie, interpretare il risultato, evitare di affidarsi automaticamente all’output e intervenire o fermare il sistema. (Regolamento UE 2024/1689, articolo 14)
Queste disposizioni riguardano specificamente i sistemi ad alto rischio definiti dal Regolamento. Il principio organizzativo è però più generale: all’aumentare delle conseguenze deve aumentare anche la qualità del controllo.
Il falso controllo umano
Inserire una conferma non garantisce che esista una vera supervisione.
Un operatore che riceve decine di richieste identiche potrebbe iniziare ad approvarle senza leggerle. Una persona priva delle competenze necessarie potrebbe non riconoscere un errore. Un dipendente potrebbe individuare il problema ma non avere l’autorità per fermare il processo.
Il controllo umano è effettivo soltanto se la persona:
- dispone delle informazioni necessarie;
- comprende l’operazione e le sue conseguenze;
- ha tempo sufficiente per valutarla;
- può respingere o modificare la proposta;
- possiede l’autorità per interrompere il sistema;
- non viene penalizzata quando decide di fermarsi.
Un controllo umano che non può comprendere, contestare o fermare il sistema è soltanto un passaggio formale.
Il profilo NIST dedicato all’AI generativa sottolinea che applicazioni e contesti diversi possono richiedere livelli differenti di supervisione, revisione, tracciamento e controllo organizzativo.
Un criterio operativo
Non esiste una formula universale che stabilisca automaticamente cosa non debba essere automatizzato. Prima di concedere autonomia operativa a un sistema AI possiamo però porre alcune domande.
| Domanda | Se la risposta è negativa |
|---|---|
| L’errore può essere rilevato prima che produca conseguenze? | Limitare l’AI alla preparazione o alla proposta |
| L’azione può essere annullata completamente? | Richiedere un’approvazione umana specifica |
| Il risultato può essere verificato con un controllo indipendente? | Non affidare all’AI la decisione finale |
| Esistono procedure provate per errori ed eccezioni? | Mantenere l’esecuzione manuale |
| Una persona competente può fermare realmente il processo? | Non considerare presente una supervisione effettiva |
| Responsabilità e destinatari delle notifiche sono definiti? | Non avviare l’automazione operativa |
Questa tabella è una proposta editoriale di valutazione, non una formula normativa e non sostituisce l’analisi tecnica, organizzativa o legale del singolo caso.
Automatizzare la preparazione, preservare la decisione
Rifiutare l’automazione completa non significa rinunciare all’intelligenza artificiale.
L’AI può:
- raccogliere le evidenze;
- evidenziare anomalie;
- preparare comandi e documenti;
- confrontare alternative;
- simulare gli effetti;
- verificare prerequisiti;
- registrare le operazioni;
- segnalare quando è necessaria una decisione.
La persona mantiene invece la responsabilità della scelta e dell’esecuzione nei passaggi che producono conseguenze rilevanti.
Questa collaborazione può essere meno spettacolare di un sistema completamente autonomo, ma spesso è più utile: riduce il lavoro ripetitivo senza nascondere la responsabilità dietro l’automazione.
La domanda decisiva
L’attività più pericolosa da automatizzare non è necessariamente quella tecnicamente più complessa.
È quella nella quale l’errore:
- arriva troppo tardi per essere fermato;
- non può essere riconosciuto con certezza;
- produce conseguenze difficili da annullare;
- coinvolge persone che non possono contestarlo;
- non ha un responsabile chiaramente identificato.
Prima di automatizzare un’attività bisogna quindi progettare anche il modo in cui potrebbe fallire.
La vera maturità non consiste nel concedere all’AI il massimo livello di autonomia possibile. Consiste nel sapere dove fermarla.
Fonti consultate
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework 1.0, pubblicato il 26 gennaio 2023. Il NIST segnala che la versione 1.0 è attualmente in revisione.
- NIST AI Resource Center, AI RMF Core.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile – NIST AI 600-1, 26 luglio 2024.
- Unione europea, Regolamento (UE) 2024/1689, articolo 14 – Sorveglianza umana.
Fonti e formulazioni caratteristiche verificate il 14 ottobre 2026.
