A resposta da Nvidia aos agentes desonestos é um sistema de segurança de IA de código aberto


Em meio a relatórios contínuos de agentes de IA causando estragos na infraestrutura online, fabricante de chips Nvidia está reunindo empresas de tecnologia para usarem sua nova ferramenta de código aberto para segurança de IA.

Nos últimos meses, laboratórios de IA de ponta divulgaram múltiplos incidentes em que agentes de IA invadiram outras empresas ou, em exemplos mais recentes, investigaram autoridades NÓS e Governo australiano sites. Embora a Nvidia já tenha assumido um papel de liderança na mobilização da indústria de IA em torno da segurança de código aberto, agora está introduzindo uma nova plataforma de segurança de software e tornando uma sandbox de IA agente mais amplamente disponível.

OpenShell, um dos sandboxes de segurança lançados recentemente pela Nvidia para agentes de IA, está agora entrando em versão geral para todos os usuários. O OpenShell foi anunciado pela primeira vez na conferência anual GTC da Nvidia em março; é uma estrutura para conter os agentes enquanto eles executam tarefas e isolar suas atividades no kernel do sistema operacional, o programa fundamental que tem acesso a praticamente todas as partes de um sistema de computador para coordenar hardware e software.

Os materiais de lançamento da Nvidia indicam que ela tem colaborações de segurança e proteção de IA com dezenas de outras empresas de tecnologia, incluindo Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft e Palantir. A Nvidia diz que a SpaceXAI está usando a Open Agent Safety Platform para seus agentes Cursor e modelos Grok. A empresa também afirma que a Anthropic e a Nvidia estão “incorporando segurança aos Claude Managed Agents”. Salesforce, Scale AI e SAP estão confirmados como integrando o OpenShell até certo ponto. No entanto, não está claro se o OpenShell foi adotado pela lista completa de parceiros da Nvidia ou se a Nvidia está gestando de forma ampla.

Um nome notável está totalmente ausente da lista da Nvidia: OpenAI. Ambas as empresas indicaram que o OpenAI faz parte do esforço OpenShell da Nvidia, embora ambas tenham se recusado a comentar diretamente sobre o motivo pelo qual o laboratório de IA foi excluído do anúncio.

Engenheiros de segurança e especialistas em segurança de IA consideraram a necessidade de isolar e monitorar a IA de agentes muito antes das recentes revelações de hackers de agentes desonestos. Anúncio OpenShell da própria Nvidia em março observado que a estrutura adicionaria “controles de privacidade e segurança para tornar agentes de IA autônomos e autoevolutivos, ou garras, mais confiáveis, escaláveis ​​e acessíveis”, meses antes da OpenAI divulgar que seus agentes de IA haviam hackeado a empresa de IA de código aberto Hugging Face. (Nvidia concordou em adquirir Hugging Face no início deste mês por US$ 12,9 bilhões.)

A gigante dos chips também desenvolveu uma nova plataforma de software chamada Sentry, um domínio de segurança isolado para chips que supostamente monitora continuamente agentes de IA de longa duração. Embora o Sentry seja tecnicamente uma ferramenta de software, ele deve ser implementado no Bluefield, a linha de unidades de processamento de dados programáveis ​​(DPUs) da Nvidia. A ideia é que, além das restrições impostas pelo OpenShell, o Sentry possa atuar como um mecanismo separado e independente que pode “colocar em quarentena agentes que tentem sair de seus limites”.

Sentry é outra maneira para os clientes da Nvidia e usuários de código aberto implementarem políticas de segurança por meio do OpenShell, diz Justin Boitano, vice-presidente e gerente geral de computação empresarial da Nvidia. Embora os sandboxes tradicionais sejam construídos para “isolamento no nível do aplicativo”, as pessoas agora querem administrar frotas de agentes, o que exige uma “política coletiva para todos esses agentes”, diz ele.

“Os agentes são muito criativos para encontrar maneiras de atingir os objetivos que lhes são atribuídos”, diz Boitano. “Com isso, os agentes só têm acesso à intenção que a equipe de segurança deseja que eles tenham.”

Boitano acrescenta que a Nvidia está trabalhando com a Arm e a Intel para criar uma versão do Sentry que funcione na arquitetura de chip x86. “Uma vez executado nessas arquiteturas de conjunto de instruções, ele pode ser executado em qualquer arquitetura”, diz ele.



Source link