Os quatro vetores de ataque para os quais sua estrutura de segurança de IA não está preparada | Blog

Pontos principais

A IA agentiva traz novos riscos à segurança, pois planeja, memoriza e age em diversos sistemas, em vez de se limitar a um único ciclo de solicitação-resposta.
Dados de treinamento contaminados podem influenciar discretamente o comportamento do modelo em grande escala, mesmo quando o modelo ainda parece apresentar um desempenho normal em testes padrão.
Bancos de dados de vetores comprometidos podem influenciar as decisões dos agentes ao corromper o contexto no qual o modelo se baseia, fazendo com que comportamentos inadequados pareçam legítimos.
A identidade de agentes não controlados gera um problema de controle de acesso na velocidade das máquinas que os sistemas tradicionais de identidade, centrados no ser humano, não foram projetados para lidar.
Decisões em cascata baseadas em um estado incorreto podem espalhar a corrupção por vários agentes e fluxos de trabalho, tornando a reversão e a recuperação muito mais difíceis.

As ferramentas, os controles e as políticas de governança que a maioria das empresas possui foram projetados para sistemas que respondem a perguntas – ferramentas de recuperação, copilotos, assistentes generativos. Sistemas que respondem a um prompt e param. Quando algo dava errado, a falha era isolada. Corrigia-se o prompt, ajustava-se a configuração e seguia-se em frente.

A IA agentiva não funciona dessa maneira. Esses sistemas planejam, memorizam e executam em toda a empresa sem instruções humanas passo a passo. Eles mantêm o estado. Eles se coordenam com outros agentes. Eles atuam em sistemas de produção – gravando em bancos de dados, acionando fluxos de trabalho, tomando decisões na velocidade das máquinas. Essa mudança arquitetônica introduz quatro vetores de ameaça que as estruturas de segurança existentes nunca foram projetadas para lidar. Se sua estratégia de governança de IA não levar isso em conta, é provável que você tenha vulnerabilidades que talvez nem consiga identificar.

1. Dados de treinamento contaminados

Um sistema de IA é tão confiável quanto os dados com os quais foi treinado. Essa afirmação sempre foi verdadeira. O que mudou foi a superfície de ataque.

Em implantações de IA com agentes, os pipelines de treinamento são maiores, mais complexos e frequentemente montados a partir de múltiplas fontes – dados internos, feeds de terceiros, conjuntos de dados fornecidos por fornecedores. Cada dependência nessa cadeia é um ponto potencial de injeção. Um agente mal-intencionado capaz de influenciar os dados de treinamento — por meio do comprometimento da cadeia de suprimentos, acesso privilegiado ou contaminação de uma fonte de dados compartilhada — pode moldar o comportamento do modelo em grande escala. O que torna isso particularmente perigoso é que os modelos contaminados costumam apresentar desempenho normal em testes de benchmark padrão. A manipulação pode ser cirúrgica: projetada para produzir resultados específicos em contextos específicos, ao mesmo tempo em que se comporta corretamente em todas as outras situações.

Quando o efeito se manifesta em produção, o modelo já está em uso há semanas ou meses, e rastrear a contaminação até sua origem exige exatamente o tipo de rastreabilidade de dados relacionais que a maioria das organizações não possui. A pergunta a se fazer é: você consegue apresentar um registro completo e verificável dos dados com os quais seus modelos foram treinados — em um momento específico?

2. Bancos de dados vetoriais comprometidos

Os bancos de dados vetoriais constituem a camada de memória dos sistemas baseados em agentes. Antes de um agente agir, ele consulta um repositório vetorial para recuperar o contexto relevante — interações anteriores, conhecimento do domínio, dados de referência — que determina o que ele fará a seguir. A maioria das equipes de segurança não encara os bancos de dados vetoriais da mesma forma que encara outros repositórios de dados confidenciais. Mas deveria. Um banco de dados vetorial comprometido não retorna apenas respostas erradas. Ele molda as decisões que se seguem. Injeções — conteúdo malicioso inserido no armazenamento de vetores — podem redirecionar o comportamento do agente de maneiras que parecem completamente legítimas do ponto de vista externo.

Um agente solicitado a aprovar uma transação recupera um contexto que reestrutura sutilmente os critérios de aprovação. Um agente que gerencia as comunicações com os clientes extrai um contexto que direciona as respostas na direção preferida do invasor. A ação parece correta. O raciocínio parece sólido. Mas o contexto subjacente foi manipulado.

Esse vetor de ataque é particularmente difícil de detectar porque opera abaixo da camada do modelo. O monitoramento padrão do modelo não o detectará. O modelo está se comportando exatamente como foi treinado — é o contexto a partir do qual ele raciocina que foi corrompido. A pergunta a se fazer é: seu banco de dados vetorial é tratado como um ativo de dados sensível e regulamentado — com controles de acesso, monitoramento de integridade e registros de auditoria comparáveis aos de seus bancos de dados de produção mais críticos?

3. Identidade do agente não regulamentado

Em uma arquitetura multiagente, os agentes não interagem apenas com dados — eles interagem uns com os outros. Eles geram subagentes, delegam tarefas, solicitam resultados e sintetizam resultados de agentes aos quais nunca estiveram explicitamente conectados. Para isso, eles se autenticam, apresentam credenciais e estabelecem confiança.

A identidade do agente é a camada de controle de acesso para a empresa autônoma — e é uma lacuna que os fornecedores de segurança de identidade e os provedores de identidade (IDPs) não conseguem preencher. Suas estruturas de governança são projetadas para a identidade humana.

As identidades dos agentes criadas de acordo com essas mesmas regras parecem totalmente legítimas: foram provisionadas corretamente e seguiram a política. O IDP não está falhando — ele simplesmente não possui uma estrutura para determinar se um agente está agindo fora do contexto para o qual foi criado, se teve seus privilégios ampliados sem que se percebesse ou se está coordenando ações onde não deveria.

Essa exposição é qualitativamente diferente do comprometimento tradicional de credenciais. Quando as credenciais de um usuário humano são roubadas, o invasor age dentro das permissões desse usuário, na velocidade humana. Quando a identidade de um agente é comprometida, o invasor obtém acesso à camada de tomada de decisão autônoma — a capacidade de acionar fluxos de trabalho, aprovar ações, coordenar-se com outros agentes e extrair dados na velocidade de uma máquina, em grande escala, por meio de canais que parecem totalmente normais.

Falhas na camada de identidade também estão entre as mais difíceis de detectar após o fato. As ações do agente realizadas sob uma identidade comprometida não parecem anômalas — parecem um comportamento legítimo do agente. E, como são geradas por um sistema em vez de por um ser humano, o volume pode ser enorme antes que alguém perceba.

Recovery agrava o problema. A maioria dos manuais de Recovery de IA concentra-se na restauração de dados: conjuntos de treinamento, pesos de modelos, configurações de pipeline. A identidade raramente está na lista. Um sistema recuperado com dados limpos, mas com configurações de identidade desalinhadas, não está, na verdade, recuperado. É um sistema limpo com uma camada de acesso comprometida. A pergunta a ser feita é: a identidade dos agentes é gerenciada com o mesmo rigor que a identidade humana — com gerenciamento do ciclo de vida, acesso com privilégios mínimos e inclusão nos planos de recuperação?

4. Decisões em cascata baseadas em informações incorretas

Os três primeiros vetores de ataque são pontuais. Este, por sua vez, é sistêmico — e, em muitos aspectos, pode ser o mais difícil de conter. Arquiteturas multiagentes são projetadas para coordenação. Os agentes compartilham contexto, transmitem resultados uns aos outros e se baseiam no trabalho uns dos outros. Essa coordenação é o que os torna poderosos. É também o que faz com que as falhas se propaguem.

Um agente operando com memória corrompida não falha de forma isolada. Ele produz resultados — decisões, ações, dados — que outros agentes utilizam. Esses agentes, por sua vez, produzem seus próprios resultados. Quando a corrupção original se torna observável, a condição anômala já pode ter afetado dezenas de processos a jusante, envolvendo vários agentes, sem um caminho claro para reversão.

É isso que torna a lacuna de contexto tão significativa. A qualquer momento, seu sistema de IA consiste em uma versão do modelo, um conjunto de dados de treinamento, um repositório de artefatos, uma configuração de pipeline e um conjunto de interações de agentes ativos — todos os quais precisam refletir o mesmo estado operacional para constituir um sistema confiável e recuperável. Quando isso não acontece, você não enfrenta apenas um erro. Cada ferramenta isolada pode confirmar sua própria parte. Nenhuma delas consegue confirmar se as partes se encaixam. Esse não é um problema de monitoramento que se resolve simplesmente adicionando outra ferramenta. Trata-se de uma lacuna estrutural — e a única maneira de preenchê-la é com um sistema que capture o estado da IA de forma relacional: o que estava em execução, com quais dados, com qual configuração e em que momento.

A pergunta a se fazer é: se sua infraestrutura de IA fosse comprometida hoje, você seria capaz de identificar exatamente em que estado cada componente se encontrava antes do incidente — e comprovar isso?

O que isso significa para sua estratégia de segurança

Cada um desses quatro vetores exige uma resposta defensiva diferente. Mas todos compartilham uma implicação comum: os marcos de governança e resiliência concebidos para a era anterior da IA não abrangem os modos de falha da era dos agentes. Para garantir uma IA agênica, é necessário ampliar sua estrutura em três direções:

Mais profundamente, nas camadas de dados e identidade que se encontram abaixo do modelo.
De forma mais abrangente, para cobrir as interações entre agentes que o monitoramento atual não detecta.
Do ponto de vista relacional, para capturar não apenas o estado de cada componente, mas também como eles se articulam entre si a qualquer momento.

Esse último requisito é aquele que a maioria das organizações ainda não enfrentou. E é ele que determinará se, quando algo der errado, você terá um sistema recuperável ou um conjunto de relatórios que parecem precisos, mas que descrevem algo que já não existe mais. Leia “O ponto cego agênico: por que a resiliência da IA exige um sistema de registro” para descobrir por que você precisa de um SOR para ajudar a proteger a consistência e a precisão dos seus dados de IA.

Perguntas frequentes

P: Por que os sistemas de IA com capacidade de ação são mais arriscados do que as ferramentas tradicionais de IA generativa?

R: Os sistemas baseados em agentes fazem mais do que apenas responder a comandos. Eles mantêm o estado, coordenam-se com outros agentes e realizam ações em ambientes de produção, o que amplia a superfície de ataque muito além da simples manipulação de comandos.

P: O que torna os dados de treinamento contaminados tão difíceis de detectar?

R: A manipulação pode ser altamente direcionada, afetando apenas situações específicas e deixando os benchmarks normais intactos. Isso significa que um modelo pode parecer estável até que o comportamento malicioso se manifeste no uso real.

P: Como um banco de dados vetorial pode se tornar um problema de segurança?

R: Um banco de dados vetorial define o contexto que um agente utiliza antes de agir. Se esse contexto for alterado, o agente pode tomar decisões que, à primeira vista, pareçam razoáveis, mas que, na verdade, estejam sendo guiadas por dados maliciosos.

P: Por que a identidade do agente é diferente da identidade humana?

R: A identidade do agente está ligada a ações autônomas, delegação e execução na velocidade de uma máquina. A governança de identidade tradicional foi projetada para pessoas; por isso, muitas vezes não percebe se um agente está agindo fora do contexto pretendido.

P: Por que a propagação de estados indesejáveis é um problema tão grave em sistemas multiagentes?

R: Quando um agente processa uma saída corrompida, esse erro pode se espalhar para os agentes e fluxos de trabalho a jusante. O resultado não é apenas uma decisão errada, mas uma cadeia de falhas interligadas.

P: Como as organizações podem melhorar a segurança da IA?

R: Ampliar a governança para as camadas de dados e identidade, monitorar as interações entre agentes e acompanhar o estado da IA de forma relacional, a fim de permitir a reconstrução do que ocorreu durante um incidente.

Michael Thelander é diretor sênior de marketing de produto na Commvault.