Le organizzazioni con cui RSA collabora — banche, enti governativi, settore della difesa, infrastrutture critiche — stanno procedendo con cautela nell’adozione degli agenti di intelligenza artificiale. Tale cautela viene spesso interpretata come resistenza al cambiamento. Ma non è così. È una questione di buon senso. In questi settori, il fallimento non è un semplice intoppo. Il fallimento è un pagamento bloccato, una cura ritardata, un’interruzione della rete elettrica.
Per circa 70% Nei settori ad alta sicurezza, la sicurezza e la privacy rappresentano i principali ostacoli all’adozione degli agenti. Non si tratta di paura del nuovo, bensì di una valutazione accurata della posta in gioco.
Storicamente, i software utilizzati dalle banche, dalla pubblica amministrazione e da tutte le imprese si basavano su un presupposto semplice: le soluzioni fanno sostanzialmente ciò che viene loro chiesto di fare, e nient’altro. La prossima settimana, alla Conferenza sull’intelligenza artificiale di San Francisco, spiegherò in che modo gli agenti ribaltano questo presupposto.
Gli agenti possono fare ciò che gli si chiede di fare. Ma possono anche fare molto di più. Ciò comporta nuovi rischi per i quali la maggior parte dei settori ad alta sicurezza non è preparata.
Uno dei miti che ostacola quasi tutti i programmi di agent in fase iniziale è che la residenza dei dati equivalga alla sovranità. La residenza risponde a una sola domanda: dove si trovano i dati quando non sono in transito? Se li si conserva nella regione giusta, nel cloud giusto e con il contratto giusto, si soddisfano i requisiti di residenza.
Gli agenti non rispettano tale confine, perché non lavorano con dati inattivi. Li raccolgono, li analizzano e agiscono di conseguenza — in modo indipendente e dinamico. Un modello ospitato in una giurisdizione analizza i dati dei clienti provenienti da un’altra. I campi sensibili finiscono in prompt, memoria, log e embedding che risiedono al di fuori del vostro sistema di registrazione. I dati sono stati spostati e la residenza non ha mai avuto voce in capitolo su tale spostamento. È proprio in quel movimento che la sovranità viene effettivamente meno.
Adottiamo gli agenti proprio per la loro autonomia. Agiscono senza aspettare che qualcuno glielo dica, e questo è davvero prezioso — anzi, è proprio questo il punto.
Ma l’autonomia è indissolubilmente legata all’autorità. Un agente in grado di agire per conto vostro può trasferire denaro, concedere l’accesso, modificare un dato o interagire con un altro sistema. La funzionalità che avete acquistato rappresenta ora il rischio a cui siete esposti.
Questo è uno dei motivi per cui i settori altamente regolamentati fanno bene a mostrarsi cauti nell’implementazione di servizi basati su agenti. Infatti, quando lo fanno, non stanno semplicemente implementando uno strumento, ma stanno delegando autorità. E la maggior parte delle organizzazioni non ha ancora definito con precisione l’ambito di ciò che ha ceduto.
Durante la sessione suddivido il problema in quattro punti chiave. Questi vanno oltre la consueta prospettiva incentrata sui dati e sulle infrastrutture, poiché un agente non si limita a gestire solo i dati:
Decisione: chi ha il controllo sul risultato, in questo preciso momento?
Un agente dotato di autorevolezza e di ampie credenziali può autorizzare un’azione dalle conseguenze gravi senza alcun intervento umano. Le catene di delega si interrompono e non è possibile dimostrare che un’azione sia riconducibile a una persona responsabile. Un sistema di controllo che esiste solo sulla carta ma che, sotto la pressione della latenza, non riesce a funzionare, fallisce in modo “open” anziché in modo “safe”.
Dati: cosa può conoscere, toccare e trasportare l'agente?
Al di là della residenza, si tratta di una questione di discendenza: sei in grado di spiegare cosa ha visto e utilizzato l’agente per giungere a una decisione a posteriori? L’inserimento tempestivo di un comando può trasformare un documento compromesso in un’istruzione di esfiltrazione. Senza classificazione e minimizzazione nel punto di azione, i dati sensibili circolano senza controllo.
Infrastruttura: dove opera e sotto il controllo di chi?
Un ambiente condiviso e multi-tenant non offre alcuna garanzia di isolamento giurisdizionale o fisico. L’inferenza ospitata nel cloud può reintrodurre silenziosamente proprio quella vulnerabilità che un’organizzazione pensava di aver risolto con l’archiviazione on-premise. Gli ambienti classificati non possono affatto richiamare le API dei modelli ospitati: è così che nascono le soluzioni alternative non ufficiali.
Ecosistema: su cos’altro può influire l’agente, o attraverso cosa può agire?
Gli agenti si integrano con strumenti e server di terze parti che nessuno ha verificato né registrato. Un singolo strumento a valle compromesso può agire sfruttando i privilegi già concessi al proprio agente. Gli agenti dei partner e dei fornitori ereditano l’accesso in modo transitivo, e una catena di agenti che richiamano altri agenti non presenta un unico punto in cui applicare o verificare il rispetto delle politiche.
Basta installare un agente per poter operare contemporaneamente su tutte e quattro le piattaforme, indipendentemente dal fatto che le abbiate incluse o meno nell’ambito di applicazione.
I meccanismi di controllo a livello di prompt e di modello sono di natura probabilistica. Riducono la probabilità di un esito negativo, ma non forniscono alcuna garanzia. I settori regolamentati non possono verificare ciò che “probabilmente non è accaduto”. Una misura di sicurezza può individuare un modello dannoso noto, ma non può attestare chi sia un agente, dove sia in esecuzione e a cosa sia autorizzato a fare nel caso di un’azione inedita.
Un elevato livello di sicurezza implica che ogni azione sia fondata sull’identità. Un agente deve disporre di un’identità verificabile e di un’autorità circoscritta e dimostrabile, in modo che ogni azione sia riconducibile a un attore noto, a un’autorizzazione nota e a una catena verificabile. L’identità è l’ancora a cui si agganciano gli altri tre punti di controllo: controllare la decisione, governare i dati, verificare l’infrastruttura e limitare l’ecosistema, il tutto nei confronti di un attore che si possa effettivamente identificare. Se si sbaglia sull’identità, gli altri tre punti diventano solo congetture.
Prima di autorizzare un agente ad agire, dovresti essere in grado di rispondere alle seguenti domande: Chi ha autorizzato questa operazione? Dove è stata eseguita? A quali dati può accedere? Puoi dimostrarlo?
Se queste risposte sono chiare, coerenti e verificabili, potrete procedere rapidamente con l’IA e superare comunque la verifica. In caso contrario, non state gestendo gli agenti: state solo sperando. La sovranità è un atteggiamento, non un certificato. È continua e verificabile, perché gli agenti agiscono in modo continuo, e un controllo che non si può dimostrare su richiesta non è un controllo.
Partecipa con RSA alla conferenza sull’intelligenza artificiale a San Francisco
La sovranità agenziale è la capacità di mantenere un controllo verificabile su ciò che un agente di IA autonomo decide, con cui interagisce, su cosa opera e attraverso cosa agisce — in modo continuo e in modo tale da soddisfare i controlli. A differenza della sovranità dei dati, che riguarda il luogo in cui i dati risiede, la sovranità agenziale riguarda l’autorità in azione: ogni decisione di un agente fa e ogni azione che intraprende per tuo conto.
No. La residenza dei dati determina dove si trovano i dati in stato di riposo. Gli agenti di intelligenza artificiale operano con dati in movimento: li acquisiscono, li analizzano e agiscono su di essi in modo dinamico, spesso attraversando diverse giurisdizioni e al di fuori del sistema di registrazione. La residenza non ha alcuna rilevanza su tale movimento, ed è proprio qui che la sovranità viene meno.
Poiché il costo di un fallimento è gravissimo — un pagamento bloccato, un trattamento ritardato, un’interruzione della rete — e non si tratta di un semplice inconveniente. La sicurezza e la privacy sono l’ostacolo principale all’adozione per circa il 70% delle organizzazioni ad alta sicurezza. Questa cautela riflette una valutazione accurata della posta in gioco, non una resistenza al cambiamento.
Decisione (chi controlla il risultato e se un essere umano ne è responsabile), Dati (cosa l’agente può conoscere, conservare e se la loro provenienza è tracciabile), Infrastruttura (dove opera e sotto il controllo di chi) ed Ecosistema (quali altri strumenti e agenti può influenzare o attraverso i quali può agire). Ogni implementazione di un agente opera contemporaneamente su tutti e quattro questi aspetti.
Le misure di sicurezza a livello di prompt e di modello sono di natura probabilistica. Riducono la probabilità di un esito negativo, ma non forniscono alcuna garanzia, e i settori soggetti a regolamentazione non possono verificare se “probabilmente non è successo”. Una misura di sicurezza può segnalare un modello noto come dannoso, ma non può attestare l’identità, il contesto e l’autorità di un agente in relazione a un’azione inedita.
Per “elevata affidabilità” si intende che ogni azione di un agente si basi su un’identità verificabile e su un’autorità circoscritta e dimostrabile, in modo da ricondursi a un attore noto, a un’autorizzazione nota e a una catena verificabile. L’identità è il punto di riferimento fondamentale; il controllo delle decisioni, dei dati, dell’infrastruttura e dell’ecosistema dipende interamente dalla capacità di identificare l’attore che sta dietro a un’azione.
Terzo: chi l’ha autorizzato? Dove è stato eseguito? Potete dimostrarlo? Se riuscite a rispondere a tutte e tre le domande in modo continuativo e su richiesta, potrete agire rapidamente e superare comunque l’audit. Se non ci riuscite, non state controllando l’agente: vi state semplicemente fidando di esso.
