Todos sabemos o quão rápido a IA está inovando. Mesmo as ferramentas que talvez tenhamos usado no ano passado parecem positivamente pré-históricas em comparação com as que usamos hoje. E, ao mesmo tempo, o risco da IA também está evoluindo e não se limita mais apenas aos modelos; tornou-se um risco de dados e, por extensão, um risco operacional. Mas, até agora, as organizações têm falhado em evoluir sua abordagem em relação ao risco da IA para lidar com essa mudança.
Hoje, agentes internos têm mais poder que alguns funcionários humanos, com amplas permissões que lhes permitem postar, implantar e modificar automaticamente. E, embora possa haver humanos no controle (human-in-the-loop), isso não é mais suficiente para garantir a proteção e a segurança desses agentes. Eles se movem na velocidade das máquinas, com erros se espalhando em cascata pelos sistemas mais rápido do que qualquer ser humano consiga compreender, muito menos identificar ou corrigir manualmente. Por fora, esses erros frequentemente parecem corretos e, antes que você perceba, já tem de arcar com custos de danos colaterais decorrentes de transações perdidas, fluxos de trabalho interrompidos e uma infinidade de problemas nos negócios.
Fica claro que ter um “humano no controle” já não basta para governar esses agentes de IA. Quando os humanos finalmente detectam um erro, é quase impossível rastrear seu caminho pelos sistemas, não deixando outra opção a não ser uma reinicialização forçada (hard reset), o que, muitas vezes, causa ainda mais transtornos e custa mais do que o próprio erro original. Nós desenvolvemos um botão de “desfazer” para erros humanos, e já passou da hora de começarmos a usar um equivalente para a IA, mudando os processos de restauração de uma abordagem “orientada ao sistema” para uma abordagem “orientada à mudança”.
A mudança oculta de risco
Na última estimativa, a McKinsey descobriu que mais de 60% das organizações estão atualmente fazendo experimentos com agentes de IA. E “experimentar” é a palavra-chave aqui. A maioria das organizações que usa essa tecnologia o faz sem ter total compreensão do impacto que esses agentes podem ter no restante de suas operações. Hoje, 97% dos agentes já possuem privilégios excessivos que podem significar o caos. Apenas uma alucinação baseada em dados incorretos pode levar um agente a apagar acidentalmente um banco de dados de produção inteiro e seus backups em questão de segundos. E isso não é exagero, já aconteceu.
Essa mudança de risco não ocorreu da noite para o dia. Na época em que as organizações estavam apenas fazendo testes com LLMs, ter um humano supervisionando teria sido o suficiente para garantir que os resultados incorretos fossem filtrados. Mas isso ficou no passado. Não apenas esses agentes se movem a uma velocidade mais rápida do que qualquer mente humana poderia sequer processar, mas eles agora superam o número de funcionários humanos que deveriam estar no controle. Estima-se que as identidades não humanas agora superem os funcionários humanos na proporção de 82 para 1 em uma empresa média. Essa mudança não exige apenas uma atualização nas medidas de segurança; ela precisa de um manual de regras totalmente novo.
Zero Humanos, Zero Trust
E não se trata apenas do que esses agentes podem fazer, mas do que eles podem acessar. Agentes de IA, especialmente aqueles com privilégios irrestritos, podem acessar todos os dados no ecossistema de uma organização, incluindo os dados não estruturados dos quais a maioria das pessoas se esquece. Inúmeros históricos de bate-papo, arquivos mal categorizados e documentos históricos redundantes estão agora abertos para o acesso dos agentes. É bem provável que houvesse medidas de governança e controle implementadas sobre esses dados, mas elas não foram projetadas para fluxos de trabalho de IA.
Arquiteturas tradicionais, como o Zero Trust, ou confiança zero, foram projetadas para usuários humanos utilizando dispositivos com acessos que podiam ser controlados por meio de perímetros definidos, e não para agentes de IA interagindo diretamente com os dados na velocidade das máquinas. Eles contornam completamente quaisquer medidas de governança centradas no endpoint e na identidade. Isso sem mencionar os inúmeros agentes de “Shadow AI” que as organizações estão lutando para rastrear e controlar.
Está claro que essa abordagem de segurança baseada em sistemas precisa evoluir para se tornar mais granular. Em vez de criar camadas de medidas de segurança sobre os dados, elas precisam ser incorporadas aos próprios dados por meio de classificação e mascaramento. Dessa forma, as políticas são aplicadas antes mesmo que um agente de IA tenha tempo de agir e isso não é uma tarefa fácil.
Ampliando o foco nos detalhes da IA
O mesmo vale para os seus processos de restauração mais amplos. Depender da combinação de um “humano no controle” e restaurações que abrangem todo o sistema simplesmente não é algo sustentável na era da IA agente. Essas reversões generalizadas custam caro e frequentemente causam danos colaterais que excedem o custo do erro original. Por quê? Porque elas carecem de precisão.
De modo geral, à medida que os agentes de IA se tornam cada vez mais integrados às operações de negócios, as organizações precisam mudar para um processo de restauração orientado a mudanças. Usando a atribuição vinculada a objetos rastreados ou alterações em nível de registro com o contexto de dependências, é possível identificar exatamente em que o agente tocou e reverter apenas essas ações. Você continua revertendo as alterações (rollback), mas com precisão, desfazendo apenas o que de fato precisa ser alterado. Como todos sabem muito bem, esses erros continuarão acontecendo enquanto os agentes de IA aprendem. Se uma organização ainda não precisou lidar com uma reversão em grande escala devido a um passo em falso de um agente, é apenas uma questão de quando precisará cruzar essa ponte, e não de se precisará.
As organizações precisam se antecipar a isso antes que o erro ocorra, não depois. Porque, como já vimos em incidentes que ganharam as manchetes, os agentes não cometem erros como os humanos, eles não enviam apenas um e-mail para a pessoa errada; eles podem derrubar as operações de uma organização inteira. Isso não quer dizer que precisemos abandonar totalmente a governança com humanos no controle. Os humanos devem, sim, manter a supervisão, mas, para corrigir os problemas dos agentes com eficácia, eles precisam ter o respaldo de uma recuperação de precisão. Não apenas para minimizar os custos operacionais, mas para dar a eles a confiança de que precisam para usar com sucesso a IA baseada em agentes. Com a recuperação de precisão implementada, um erro de IA não precisa significar um desastre generalizado na empresa; pode ser apenas uma simples correção de rota para voltar aos trilhos.
*Por Rick Vanover, Vice-Presidente de Estratégia de Produtos da Veeam Software.





