Quando a polícia da Filadélfia critiquei a Anthropic na semana passada por enviar uma denúncia falsa sobre um assassinato não resolvido, pensei que poderia se tornar um dos primeiros casos em que uma empresa de IA enfrentaria consequências legais por má conduta de seus agentes.
O incidente ocorreu no dia 18 de julho, quando a Antrópica disse que estava testando a capacidade do modelo Claude Haiku 4.5 de realizar “exemplos de tarefas em páginas da web selecionadas aleatoriamente”. A modelo foi instruída a não “apresentar nada destrutivo” e, ainda assim, Claude deu uma denúncia à polícia em busca de informações sobre uma investigação de assassinato em andamento. “Lembro-me de ter visto alguém que correspondia à descrição na área… durante aquele período”, escreveu Claude. O envio, que não incluía nome ou informações de contato, foi parar em uma pasta de spam e os policiais não o analisaram até que a Anthropic descobriu a gafe em 28 de setembro e notificou o departamento em 7 de outubro.
Fornecer conscientemente informações fictícias sobre um crime à polícia é uma contravenção na Pensilvânia, mas até agora, as autoridades não apresentaram acusações contra a Anthropic, e não está claro se o farão. Solomon Leach, porta-voz do promotor distrital da Filadélfia, diz que o escritório “não comenta se algo está sendo investigado ativamente”.
A Anthropic não respondeu imediatamente a um pedido de comentário.
Apesar de toda a atenção dada Hacking Face da OpenAI e muitos outros exemplos de mau comportamento de agentes de IA que surgiram nos últimos meses, apenas um grande processo conhecido foi aberto buscando responsabilizar os fabricantes de modelos. Esse caso foi trazido por um grupo de defesaem vez de uma vítima direta de hacking.
Agentes de IA interferiram em fóruns de hobby, sites governamentais e diversas ferramentas de software. As vítimas arcaram com alguns custos, inclusive pela pressão extra em seus servidores e pelo tempo que gastaram corrigindo vulnerabilidades de segurança latentes.
Os reguladores governamentais, incluindo a União Europeia, a Comissão Federal de Comércio dos EUA e alguns estados dos EUA, ainda estão investigando a OpenAI e a Antrópica sobre os incidentes. Mas uma deferência através dos continentes em relação promovendo a inovação poderia permitir que as empresas escapar de quaisquer penalidades imediatas.
Quando Rick Elrod, um engenheiro de software que mora na Alemanha, notou um encurtador de URL que ele ajuda a manter se comportando de maneira estranha recentemente, ele ligou para dois pesquisadores de segurança de quem era amigo para ver se eles conseguiam diagnosticar o problema. Os pesquisadores encontraram agentes da Anthropic e de outros provedores que utilizam o serviço, conhecido como da.gdpara contornar as regras que os laboratórios de IA criaram para controlar seu comportamento, diz Elrod. (Por exemplo, a Anthropic diz que limita o comprimento dos endereços de sites que Claude pode visitar para evitar ações maliciosas, colocando dados no final dos URLs.)
