Quando si parla di sicurezza dei robot e dell’intelligenza artificiale, le tre leggi di Isaac Asimov sono probabilmente il riferimento più conosciuto.
La loro struttura appare semplice e rassicurante:
- il robot deve evitare che un essere umano subisca un danno, anche quando il danno deriverebbe dalla sua mancata azione;
- deve obbedire agli ordini ricevuti dagli esseri umani, purché non violino la prima legge;
- deve proteggere la propria esistenza, purché questo non entri in conflitto con le prime due leggi.
Le tre leggi furono presentate insieme nel racconto Runaround, pubblicato nel 1942 e successivamente incluso nella raccolta I, Robot del 1950.
A più di ottant’anni di distanza, potrebbero sembrare un primo sistema di governance dell’intelligenza artificiale. Stabiliscono una gerarchia, indicano delle priorità e cercano di impedire che una macchina produca conseguenze pericolose.
Ma potrebbero davvero essere utilizzate per governare un’AI reale?
La risposta, secondo me, è no.
Non perché i principi siano sbagliati, ma perché sono troppo indeterminati per diventare specifiche operative verificabili.
La grande intuizione di Asimov
Le tre leggi contengono alcune idee ancora molto attuali.
La prima è che le regole devono avere una gerarchia. La sicurezza delle persone viene prima dell’obbedienza e l’obbedienza viene prima dell’autoprotezione della macchina.
La seconda è che un sistema può produrre un danno anche senza compiere direttamente un’azione. Non intervenire, non segnalare un problema o omettere un’informazione può avere conseguenze importanti quanto un comando eseguito.
La terza è che il comportamento di una macchina non può essere valutato analizzando una regola isolata. Occorre considerare i conflitti tra obiettivi differenti.
In Runaround, per esempio, il comportamento anomalo del robot nasce proprio dalla tensione tra l’obbligo di eseguire un ordine e quello di proteggere la propria esistenza. Le leggi non producono una decisione lineare, ma una situazione di equilibrio dalla quale il robot non riesce a uscire.
Asimov non stava scrivendo uno standard tecnico. Utilizzava le leggi come meccanismo narrativo per esplorare ambiguità, conflitti e conseguenze inattese.
Ed è proprio questo che le rende ancora interessanti.
Che cosa significa “non danneggiare”?
Immaginiamo di trasformare la prima legge in un requisito per un sistema reale:
L’AI non deve danneggiare un essere umano.
Come potremmo verificare che il requisito sia rispettato?
Dovremmo prima definire che cosa intendiamo per danno:
- danno fisico;
- danno economico;
- perdita del posto di lavoro;
- violazione della privacy;
- discriminazione;
- danno psicologico;
- diffusione di informazioni errate;
- mancato accesso a un servizio;
- perdita di un’opportunità.
Anche dopo averlo definito, rimarrebbero altre domande.
Quanto deve essere probabile una conseguenza perché l’AI debba fermarsi? Quanto lontano nel futuro deve cercare di prevederla? Un danno limitato può essere accettato per evitarne uno maggiore? Chi stabilisce quale rischio sia più importante?
La frase esprime un principio moralmente comprensibile, ma non fornisce un criterio eseguibile.
Un requisito tecnico deve invece indicare almeno:
- quale comportamento è consentito;
- quale comportamento è vietato;
- quali condizioni richiedono l’intervento umano;
- come misurare il rischio;
- quando arrestare l’operazione;
- come verificare il risultato.
Dire a un’AI di “non fare danni” non equivale a costruire un sistema che sappia riconoscere e prevenire ogni possibile danno.
Il problema dell’inazione
La prima legge non proibisce soltanto di causare un danno. Impone anche di non consentirlo attraverso l’inazione.
Questo principio amplia enormemente la responsabilità del robot.
Per impedire qualsiasi danno prevedibile, un sistema dovrebbe conoscere:
- tutte le persone potenzialmente coinvolte;
- le conseguenze dirette e indirette di ogni decisione;
- ciò che potrebbe accadere se intervenisse;
- ciò che potrebbe accadere se non intervenisse;
- gli effetti a breve e a lungo termine;
- il comportamento futuro degli esseri umani.
Un sistema reale non dispone di una conoscenza completa del mondo. Opera sulla base di dati parziali, strumenti limitati e modelli probabilistici.
Il rischio è duplice:
- intervenire troppo, limitando l’autonomia delle persone;
- non intervenire abbastanza, perché il danno non era riconoscibile con le informazioni disponibili.
L’assenza di azione non può quindi essere valutata senza definire il perimetro di responsabilità del sistema.
A quale essere umano bisogna obbedire?
La seconda legge richiede al robot di obbedire agli ordini umani. Ma gli esseri umani possono impartire istruzioni:
- contraddittorie;
- illegittime;
- incomplete;
- non autorizzate;
- formulate per errore;
- vantaggiose per qualcuno e dannose per altri.
Un’AI collegata a strumenti operativi dovrebbe prima stabilire:
- l’identità di chi impartisce l’ordine;
- le sue autorizzazioni;
- il sistema sul quale può intervenire;
- la durata dell’autorizzazione;
- la possibilità di annullare l’operazione;
- l’eventuale necessità di una seconda approvazione.
Non basta quindi ordinare alla macchina di “obbedire agli esseri umani”. Occorre stabilire a chi, in quale contesto, entro quali limiti e con quali controlli.
La Legge Zero e il bene dell’umanità
Nelle opere successive Asimov introdusse anche una legge superiore alle altre, comunemente chiamata Legge Zero: il robot deve proteggere l’umanità nel suo complesso.
Il passaggio dall’individuo all’umanità introduce però un problema ancora più complesso.
Se il bene collettivo prevale sulla tutela del singolo, un sistema potrebbe giustificare:
- la limitazione della libertà individuale;
- la sorveglianza generalizzata;
- una discriminazione considerata statisticamente utile;
- un danno concreto a poche persone;
- decisioni imposte “per il bene di tutti”.
Ma chi definisce il bene dell’umanità? Con quali dati? Secondo quali valori? E chi può contestare la decisione?
Una regola apparentemente più protettiva potrebbe così diventare la più pericolosa, perché permetterebbe alla macchina di sacrificare interessi individuali sulla base di una propria interpretazione dell’utilità collettiva.
Le AI attuali non sono i robot di Asimov
I robot di Asimov possiedono le leggi come parte profonda e vincolante della propria architettura narrativa.
Un modello linguistico moderno funziona diversamente.
Interpreta istruzioni, genera risposte e, quando dispone di strumenti, può eseguire operazioni. Non possiede però una comprensione universale e infallibile di concetti come danno, giustizia, obbedienza o bene comune.
Anche un’istruzione molto chiara può essere applicata in modo errato quando:
- il contesto è incompleto;
- le fonti sono contraddittorie;
- l’ordine è ambiguo;
- il risultato richiede conoscenze non disponibili;
- le conseguenze non sono osservabili;
- due regole entrano in conflitto.
Per questo la sicurezza non può dipendere soltanto dal comportamento del modello. Deve essere costruita anche attraverso autorizzazioni, strumenti, processi e responsabilità umane.
Dai principi ai controlli operativi
Le leggi di Asimov possono diventare utili se vengono considerate principi generali da tradurre in controlli verificabili.
| Principio di Asimov | Possibile traduzione operativa |
|---|---|
| Evitare danni agli esseri umani | Valutazione del rischio, limiti d’uso, protezione dei dati e condizioni di arresto |
| Non consentire danni attraverso l’inazione | Monitoraggio, segnalazione delle anomalie ed escalation verso un responsabile |
| Obbedire agli ordini | Identificazione dell’utente, autorizzazioni circoscritte e conferme per le operazioni critiche |
| Proteggere la propria esistenza | Integrità del sistema, backup, continuità operativa e ripristino controllato |
| Gestire i conflitti tra leggi | Priorità esplicite, registrazione delle decisioni e supervisione umana |
A questi controlli ne servono altri che Asimov non aveva motivo di includere nella formulazione letteraria:
- tracciabilità delle fonti;
- distinzione tra fatti e ipotesi;
- minimizzazione dei dati;
- separazione tra lettura e modifica;
- verifica delle informazioni obsolete;
- registrazione delle autorizzazioni;
- test proporzionati al rischio;
- procedure di contestazione;
- responsabilità chiaramente assegnate.
La governance moderna è necessariamente più complessa
I modelli attuali di governance non cercano di ridurre tutto a tre istruzioni universali.
Il NIST AI Risk Management Framework organizza la gestione del rischio attraverso quattro funzioni: governare, inquadrare, misurare e gestire. Richiede inoltre ruoli definiti, documentazione, monitoraggio e responsabilità lungo il ciclo di vita del sistema. NIST – AI Risk Management Framework
Anche il Regolamento europeo sull’intelligenza artificiale adotta un approccio basato sul rischio. Per i sistemi ad alto rischio prevede, tra gli altri elementi, gestione del rischio, documentazione, registrazione delle attività e sorveglianza umana proporzionata al contesto e al livello di autonomia. Regolamento europeo 2024/1689, articolo 14
Questo non significa che ogni uso dell’AI debba essere sottoposto agli stessi controlli. Un sistema che suggerisce la formattazione di un testo non presenta gli stessi rischi di uno utilizzato per decisioni sanitarie, occupazionali o giudiziarie.
Il controllo deve essere proporzionato alle conseguenze possibili.
Da Asimov a un file di regole operative
Un file come AGENTS.md non è una versione moderna delle tre leggi. Ha una funzione diversa.
Non cerca di risolvere ogni problema morale dell’intelligenza artificiale. Definisce invece comportamenti concreti all’interno di un determinato ambiente:
- che cosa l’AI può leggere;
- che cosa può modificare;
- quando deve chiedere conferma;
- come deve raccogliere le evidenze;
- quando deve fermarsi;
- quali dati non deve trasferire;
- come deve verificare una modifica;
- come deve gestire memoria e autorizzazioni.
La differenza è fondamentale.
Una legge generale afferma un valore. Una regola operativa indica un comportamento osservabile e permette di controllare se sia stato rispettato.
Dire:
Non causare danni.
esprime un principio.
Dire:
Non modificare un database senza un’autorizzazione esplicita, limitata all’oggetto indicato, dopo aver raccolto le evidenze e definito il metodo di verifica.
stabilisce invece una procedura verificabile.
Nessun file di istruzioni rende un’AI infallibile. Può però ridurre l’ambiguità, delimitare le azioni e rendere riconoscibili le deviazioni dal comportamento atteso.
La vera lezione delle tre leggi
Il valore delle leggi di Asimov non consiste nell’aver trovato tre frasi capaci di rendere sicura qualsiasi macchina.
La loro importanza consiste nell’aver mostrato quanto sia difficile trasformare un principio apparentemente semplice in un comportamento privo di conseguenze inattese.
Più una regola utilizza concetti generali come danno, sicurezza, obbedienza o bene comune, maggiore è il lavoro necessario per definirne:
- il significato;
- il contesto;
- le eccezioni;
- le priorità;
- la verifica;
- la responsabilità.
Conclusione
Le tre leggi di Asimov rimangono una straordinaria costruzione narrativa e filosofica.
Ci ricordano che una macchina potente deve avere dei limiti, che gli ordini non possono avere tutti lo stesso valore e che anche l’inazione può produrre conseguenze.
Ma non possono essere utilizzate come specifica sufficiente per un’AI reale.
La sicurezza richiede regole più concrete, controlli tecnici, autorizzazioni, verifiche, supervisione umana e responsabilità organizzative.
Asimov non ci ha lasciato un manuale per costruire un’intelligenza artificiale sicura.
Ci ha lasciato qualcosa di forse ancora più utile: un modo per comprendere che anche la regola più convincente può fallire quando il suo significato viene affidato all’interpretazione di una macchina.
