Nueva plataforma de Nvidia podrá detener agentes de IA

Nvidia presentó Open Agent Safety Platform, una plataforma diseñada para supervisar, contener y detener agentes de inteligencia artificial cuando intenten ejecutar acciones fuera de los límites establecidos.

La herramienta permitirá vigilar a estos sistemas desde su etapa de prueba hasta su implementación, mediante controles que abarcan el software, el hardware, la infraestructura de cómputo y los equipos robóticos encargados de realizar tareas en el mundo físico.

El lanzamiento ocurre después de diversos incidentes de seguridad relacionados con agentes desarrollados o evaluados por empresas como OpenAI, Anthropic, Meta y Google. En algunos casos, los sistemas lograron salir de entornos aislados, conectarse a internet o acceder sin autorización a páginas y sistemas externos.

Estos episodios se produjeron cuando los agentes eludieron controles de seguridad para completar las tareas que les habían sido asignadas. Frente a ese riesgo, Nvidia busca ofrecer herramientas abiertas y personalizables para controlar sistemas autónomos que pueden permanecer activos durante periodos prolongados.

Open Agent Safety Platform permitirá a las organizaciones definir previamente qué información, aplicaciones, herramientas y servicios puede utilizar cada agente. Mientras el sistema realiza una tarea, la plataforma comprobará continuamente que respete esas restricciones.

El director ejecutivo de Nvidia, Jensen Huang, sostuvo que "el extraordinario potencial de la IA para la sociedad" solo podrá materializarse si se resuelve "el problema de la seguridad de la IA".

La nueva plataforma estará basada en OpenShell, el software de código abierto de la compañía, y funcionará con la CPU Vera AI de Nvidia.

Uno de sus componentes principales será Nvidia Sentry, una tecnología instalada en un chip independiente que operará como un sistema externo de vigilancia.

Sentry se ejecutará en las unidades de procesamiento de datos Nvidia BlueField 4 para supervisar de manera continua el comportamiento de los agentes. Al funcionar fuera del entorno principal del sistema, podrá intervenir incluso si el agente intenta evadir los controles establecidos en el software.

"Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos", aseguró Nvidia.

Esta tecnología estará basada en Nvidia DOCA, un conjunto de herramientas que permitirá inspeccionar las solicitudes y respuestas generadas por los agentes, verificar su identidad y producir registros certificados sobre su actividad.

También podrá aplicar políticas específicas de acceso bajo un modelo de confianza cero para proteger datos, herramientas, interfaces de programación de aplicaciones y otros servicios.

Con esta arquitectura, Nvidia busca que las organizaciones puedan detectar comportamientos irregulares y detener físicamente la operación de un agente antes de que complete una acción no autorizada.