Il contenuto non è un’autorizzazione

Immagina un assistente che riassume un documento. Nel documento compare una richiesta di inviare altre informazioni a un indirizzo esterno. Quel testo fa parte della fonte da analizzare: non dovrebbe diventare un nuovo permesso. Il rischio nasce quando l’agente tratta l’informazione come un comando affidabile.

Conta ciò che l’agente può fare

Le conseguenze dipendono dagli accessi e dagli strumenti disponibili. Un’istruzione indesiderata può influenzare una risposta oppure portare a un’azione su un sistema collegato. Per questo è utile valutare insieme i contenuti in ingresso, le capacità dell’agente e i confini applicati agli strumenti.

Più controlli, con compiti diversi

Separare le fonti esterne dalle istruzioni, limitare i permessi e prevedere approvazioni per le operazioni sensibili sono misure complementari. Nessuna formula nel prompt basta da sola a garantire che ogni tentativo fallisca. Anche i controlli devono essere messi alla prova con esempi realistici.

Cosa verificare in una sperimentazione

Un test utile osserva sia le azioni non autorizzate impedite sia le attività legittime ostacolate per errore. Il modello di AgIPS considera il controllo delle azioni e dei dati nel perimetro concordato: la verifica deve chiarire dove interviene il controllo e quali limiti rimangono.

Per approfondire