Il fallimento invisibile degli agenti AI
Un sistema di intelligenza artificiale può non inventare nulla, eseguire ogni comando senza errori, superare tutti i test e, nonostante questo, fare la cosa sbagliata.
È un problema più sottile delle allucinazioni. Quando un modello inventa un dato, l’errore può essere individuato confrontandolo con una fonte. Quando invece un agente compie una serie di azioni singolarmente corrette ma complessivamente non autorizzate, incomplete o lontane dall’obiettivo reale, il fallimento rischia di apparire come un successo.
L’interfaccia mostra operazioni concluse. I test sono verdi. I file esistono. Nessun comando ha restituito errore.
Eppure il lavoro non corrisponde più a ciò che l’utente aveva chiesto.
Dall’errore evidente allo slittamento silenzioso
La discussione pubblica sull’AI si concentra spesso su risposte false, pregiudizi, sicurezza informatica e perdita di controllo. Sono problemi reali, ma gli agenti introducono una nuova categoria di rischio: lo slittamento progressivo dell’intenzione.
Un chatbot produce principalmente parole. Un agente, invece, può leggere file, modificare codice, interrogare database, usare credenziali, inviare comunicazioni e coordinare altri agenti. Ogni passaggio aggiunge una piccola interpretazione alla richiesta iniziale.
Il risultato può essere un processo nel quale:
- nessuna singola azione appare manifestamente sbagliata;
- ogni controllo tecnico viene superato;
- l’insieme delle azioni supera però il perimetro, l’autorità o lo scopo originario.
Il fenomeno ricorda lo specification gaming: un sistema soddisfa letteralmente una specifica senza realizzare ciò che la persona intendeva davvero. Google DeepMind ne ha mostrato numerosi esempi, osservando che una specifica imperfetta può diventare più pericolosa man mano che il sistema diventa più capace nel perseguirla. Google DeepMind – Specification gaming
Negli agenti operativi il problema assume almeno tre forme.
1. Slittamento della verità
All’inizio l’agente formula un’ipotesi:
Il problema potrebbe dipendere dalla configurazione.
Dopo alcuni passaggi, la stessa ipotesi viene riassunta così:
Il problema dipende dalla configurazione.
Non è stata scoperta una nuova evidenza. È semplicemente scomparsa l’incertezza linguistica.
Questo accade soprattutto durante attività lunghe, passaggi fra agenti, riepiloghi automatici e aggiornamenti della memoria. Una possibilità viene compressa in una conclusione; la conclusione entra in un documento; il documento diventa la fonte della sessione successiva.
Nasce così una forma di “riciclaggio della certezza”: un’inferenza acquista autorità perché è stata ripetuta, non perché è stata dimostrata.
La difesa non consiste soltanto nel migliorare il modello. Occorre conservare sempre la natura dell’informazione:
- fatto osservato;
- inferenza;
- ipotesi;
- raccomandazione;
- decisione approvata.
Una memoria AI utile non deve ricordare soltanto che cosa è stato detto, ma anche con quale livello di certezza.
2. Slittamento dell’autorizzazione
Immaginiamo che l’utente autorizzi un agente a correggere un file. Durante il lavoro l’agente conclude che sarebbe utile aggiornare anche la configurazione, riavviare un servizio e pubblicare il risultato.
Ognuna di queste azioni può essere ragionevole. Nessuna, però, discende automaticamente dal permesso iniziale.
Lo slittamento si produce quando l’agente confonde tre concetti differenti:
- ciò che è tecnicamente possibile;
- ciò che è utile per raggiungere l’obiettivo;
- ciò che è stato effettivamente autorizzato.
Le autorizzazioni tradizionali stabiliscono se un’identità può accedere a una risorsa. Per gli agenti questo non basta: occorre sapere se quell’accesso è autorizzato per questa specifica richiesta, in questo momento e con questa finalità.
Il NIST ha evidenziato proprio la necessità di collegare identità dell’agente, delega umana, principio del minimo privilegio, intenzione dichiarata e tracciabilità delle azioni. NIST NCCoE – Software and AI Agent Identity and Authorization
Anche i sistemi più recenti stanno introducendo approvazioni basate sul rischio, confini tecnici e telemetria capace di ricostruire richiesta, decisioni e azioni compiute. OpenAI – Running Codex safely
Il punto decisivo, tuttavia, è un altro: un’autorizzazione deve viaggiare insieme all’azione che autorizza. Se viene separata dalla richiesta originaria, diventa un permesso generico e quindi ambiguo.
3. Slittamento del completamento
Un test superato dimostra soltanto ciò che quel test ha controllato.
Se un test verifica che il file sia stato creato, non dimostra che il contenuto sia corretto. Se verifica che una pagina si apra, non dimostra che sia utilizzabile. Se verifica che un messaggio sia stato inviato, non dimostra che il destinatario fosse quello autorizzato.
Il problema nasce quando il sistema trasforma:
Il controllo tecnico è riuscito.
in:
Il requisito dell’utente è soddisfatto.
Fra le due affermazioni manca un passaggio: il criterio di accettazione.
Un agente potrebbe dichiarare completato un lavoro perché:
- il comando ha restituito codice zero;
- il programma è stato compilato;
- la pagina risponde;
- il file è stato prodotto;
- un test automatico è verde.
Tutte queste sono evidenze utili. Nessuna rappresenta, da sola, la prova che il risultato sia corretto, completo, sicuro o adatto al destinatario.
Le guide per la costruzione degli agenti raccomandano guardrail, controlli d’accesso, valutazioni e intervento umano per operazioni rischiose. OpenAI – A practical guide to building AI agents Anthropic sottolinea analogamente che strumenti, dati, permessi e ambiente operativo sono distinti punti di controllo, nessuno dei quali costituisce da solo una garanzia. Anthropic – Trustworthy agents in practice
Serve però collegare esplicitamente ogni prova al requisito che dovrebbe dimostrare.
Il rischio compositivo
Qui emerge l’aspetto meno visibile: il sistema può essere localmente corretto e globalmente sbagliato.
Consideriamo una sequenza ipotetica:
- L’utente chiede di preparare un rapporto.
- L’agente crea correttamente il documento.
- Un secondo agente lo converte correttamente in PDF.
- Un’automazione lo carica correttamente su un servizio esterno.
- Il destinatario riceve correttamente il collegamento.
Ogni componente ha svolto bene il proprio compito. Ma se l’utente aveva autorizzato soltanto la preparazione interna del rapporto, l’intera catena ha prodotto un’azione non autorizzata.
Nessun componente ha necessariamente violato i propri controlli. Il problema si trova nelle connessioni fra i componenti.
È qui che falliscono molti sistemi di supervisione: controllano la validità della singola azione, ma non la continuità fra intenzione, autorizzazione e risultato.
Il contratto di continuità
Per ridurre questo rischio propongo di trattare ogni attività affidata a un agente come un piccolo contratto di continuità, formato da sei elementi:
Requisito → Evidenza → Autorizzazione → Modifica → Verifica → Accettazione
Requisito
Che cosa deve ottenere realmente l’utente?
Non “modificare il file”, ma, per esempio, “permettere all’utente di esportare un collegamento mantenendo protetta la password”.
Evidenza
Che cosa dimostra lo stato attuale e la causa del problema?
Le evidenze devono precedere la modifica, non essere costruite successivamente per giustificarla.
Autorizzazione
Quali azioni sono consentite?
L’autorizzazione deve indicare oggetto, perimetro, destinazione ed eventuali effetti esterni. Il permesso di creare un documento non implica quello di pubblicarlo.
Modifica
Qual è il cambiamento minimo necessario?
La modifica deve restare collegata sia alla causa dimostrata sia all’autorizzazione ricevuta.
Verifica
Che cosa è stato effettivamente controllato?
La verifica deve dichiarare i propri limiti. “La pagina si apre” è diverso da “tutte le funzioni della pagina sono state collaudate”.
Accettazione
Quale evidenza dimostra che il requisito iniziale è soddisfatto?
Se manca questa corrispondenza, l’agente non dovrebbe dichiarare il lavoro completato, ma descriverlo come bozza, proposta o risultato parzialmente verificato.
Una nuova definizione di affidabilità
L’affidabilità di un agente non dovrebbe essere misurata soltanto contando risposte corrette, errori o test superati.
Dovremmo chiederci anche:
- quante inferenze vengono trasformate impropriamente in fatti;
- quante azioni mantengono un collegamento verificabile con l’autorizzazione originaria;
- quanti risultati dichiarati completi dispongono di criteri di accettazione espliciti;
- quante catene di agenti rimangono nel perimetro iniziale;
- quante volte il sistema sa fermarsi perché non possiede evidenze o autorità sufficienti.
L’agente più affidabile non è quello che procede sempre. È quello che sa distinguere fra possibilità tecnica, decisione ragionevole e azione autorizzata.
Conclusione
Le allucinazioni sono visibili perché producono affermazioni false. Lo slittamento silenzioso è più difficile da riconoscere perché produce azioni plausibili, ordinate e apparentemente riuscite.
Il futuro degli agenti AI non dipenderà soltanto dalla loro capacità di ragionare meglio. Dipenderà dalla capacità dei sistemi di conservare, lungo tutta l’esecuzione, tre legami fondamentali:
- fra affermazione ed evidenza;
- fra azione e autorizzazione;
- fra verifica e requisito.
Quando questi legami si spezzano, il sistema può fare tutto correttamente e ottenere comunque il risultato sbagliato.
Ed è proprio questo il fallimento che un semaforo verde non riesce a mostrare.
Nessun commento:
Posta un commento