Aggiungi La Notizia come Fonte preferita
Segui La Notizia su X
Segui La Notizia su Instagram
Di fronte ai numerosi incidenti che coinvolgono i sistemi di intelligenza artificiale, cresce l’attenzione degli esperti sulla necessità di sviluppare sistemi e strategie per controllare e confinare gli agenti IA. L’ultima proposta per evitare comportamenti potenzialmente pericolosi arriva da NVIDIA, che ha presentato la Open Agent Safety Platform, una piattaforma progettata per monitorare e contenere gli agenti di intelligenza artificiale che dovessero superare i limiti imposti.
Si tratta, come spiegato dall’azienda che produce processori e acceleratori utilizzati anche per l’addestramento e l’esecuzione dei modelli di intelligenza artificiale, di un sistema di sicurezza pensato per impedire agli agenti IA di operare al di fuori dei confini stabiliti dagli esseri umani. La nuova piattaforma si basa su due componenti principali: OpenShell e Sentry.
Il primo è un software open source che crea un ambiente sandbox, ossia chiuso, nel quale gli agenti di intelligenza artificiale possono operare secondo regole e autorizzazioni definite in anticipo. Il sistema limita l’accesso a file, credenziali, processi e reti, concedendo all’agente soltanto i permessi necessari per svolgere il proprio compito. I controlli vengono applicati al di fuori del processo dell’agente, in modo da non poter essere modificati semplicemente attraverso le istruzioni impartite al modello stesso.
IA fuori controllo: NVIDIA corre ai ripari e presenta Open Agent Safety Platform, il sistema che mira a fermare gli agenti “ribelli”
Essendo open source, OpenShell può inoltre essere esteso per funzionare su piattaforme di calcolo di terze parti, comprese quelle basate su architetture Arm e Intel, secondo quanto riferito da NVIDIA.
Il secondo strumento previsto dalla Open Agent Safety Platform prende il nome di Sentry. Si tratta di un sistema di monitoraggio indipendente, un cosiddetto watchdog “out-of-band”, che opera sui DPU NVIDIA BlueField-4 e controlla continuamente il comportamento degli agenti di intelligenza artificiale. Qualora Sentry rilevi che un agente sta tentando di superare i limiti stabiliti, può intervenire per isolarlo e metterlo in quarantena nel giro di millisecondi.
L’obiettivo è quindi creare una barriera di sicurezza su più livelli, combinando i controlli software di OpenShell con il monitoraggio a livello hardware di Sentry. NVIDIA presenta la piattaforma come uno strumento destinato a rendere più sicuro lo sviluppo e l’impiego di agenti IA autonomi, di fatto tranquillizzando quanti temono scenari apocalittici tipici dei film di fantascienza.
La soluzione ha inoltre raccolto il sostegno di numerose aziende e organizzazioni del settore tecnologico. Tra queste figurano Microsoft e JPMorganChase, insieme ad Anthropic, Cisco, Dell Technologies, HPE, Hugging Face, Palantir, Palo Alto Networks, Salesforce, SAP, ServiceNow e altre realtà dell’ecosistema dell’intelligenza artificiale.
