O debate em torno da IA está mudando rapidamente. É por isso que estou tão animado em compartilhar nossa série de podcasts “Ready. Or Not”. Reunimos o comediante Nathan Macintosh com convidados especialistas para falar sobre agentes de IA, resiliência cibernética, confiança, gestão de dados e muito mais.
Em nosso primeiro episódio, Nathan conversa com o Dr. Reid Blackman, fundador e CEO da Virtue Consultants, para abordar um dos temas mais importantes da IA atualmente: a IA agênica. De desafios éticos a riscos de segurança, a conversa entre eles explora o que acontece quando a IA vai além da criação de conteúdo e passa a tomar decisões – e a agir.
Uma coisa é certa: a IA agênica não é apenas mais uma tendência tecnológica. Ela está mudando a forma como pensamos sobre a tomada de decisões e o papel que a IA desempenhará em nossas organizações. Se você está se perguntando o que a IA agênica significa para o seu negócio, este podcast é um ótimo ponto de partida. Assista ao episódio completo no Readiverse.
Principais conclusões do blog
- A maioria das falhas da IA é causada por consequências indesejadas, e não por má-fé.
- A IA agênica pode acessar sistemas, ferramentas e dados para realizar tarefas, o que a torna, ao mesmo tempo, incrivelmente útil e inerentemente arriscada.
- Os agentes de IA podem criar novos desafios de segurança, desde ataques por prompt até o aumento das superfícies de ataque.
- Os sistemas multiagentes podem aumentar a eficiência, mas também podem ampliar os erros quando os sistemas estão conectados.
- As organizações precisam de estruturas práticas para gerenciar os riscos da IA antes que eles se transformem em problemas no mundo real.
Em primeiro lugar, não causar danos
Uma lição que podemos tirar desse episódio é que a maioria das falhas de IA não tem origem em más intenções. Muitas delas começam com organizações que tentam resolver problemas comerciais legítimos. O Dr. Blackman usa como exemplo uma ferramenta de recrutamento com IA da Amazon que falhou. O algoritmo foi treinado com currículos e dados de contratação anteriores para orientar futuras decisões de contratação. A IA acabou aprendendo padrões que favoreciam candidatos do sexo masculino porque esses padrões existiam nos dados.
O resultado não foi o que a Amazon pretendia, mas é exatamente essa a questão. Os sistemas de IA podem aprender lições que nunca tivemos a intenção de ensinar a eles. O que aconteceu em seguida foi encorajador: a Amazon testou o sistema, identificou o problema, tentou corrigi-lo e, por fim, encerrou o projeto quando não foi possível resolver o problema.
Temos a tendência de tratar as falhas da IA como prova de que não se pode confiar na tecnologia, mas o Dr. Blackman apresenta um ponto de vista diferente. Uma IA responsável não significa fingir que erros não vão acontecer. Significa testar, aprender e estar disposto a parar quando algo não está funcionando da maneira que você pretendia.
Quando a IA se torna sua colega de trabalho
O exemplo da Amazon também destaca algo mais amplo. A IA é capaz de agregar valor, mas também pode produzir resultados indesejados quando não compreendemos totalmente como ela está aprendendo ou tomando decisões. A IA generativa nos mostrou o que a IA pode criar. A IA agentiva está nos mostrando o que a IA pode realmente fazer quando está conectada a sistemas empresariais.
Uma comparação que me chamou a atenção foi que os sistemas agentivos estão, de certa forma, começando a se parecer com funcionários. Para serem úteis, eles precisam de acesso às mesmas ferramentas, bancos de dados e softwares que as pessoas usam. Dê a um agente de IA acesso a um sistema, e ele poderá realizar uma tarefa. Dê-lhe acesso a dezenas de sistemas, e ele se tornará mais poderoso.
“Mais acesso significa mais capacidade, mas também aumenta drasticamente o risco.” – Dr. Reid Blackman
Prévia: Mantendo a IA sob controle
O que acontece quando seu agente de IA começa a interagir com os agentes de outras pessoas? Neste vídeo, o Dr. Blackman explica por que o monitoramento de sistemas multiagentes se tornará um dos nossos maiores desafios.
Um novo tipo de desafio à segurança
A IA agênica muda mais do que apenas a forma como o trabalho é realizado. Ela também muda a maneira como pensamos sobre segurança. Em vez de seguir fluxos de trabalho predefinidos, os usuários interagem com a IA por meio da linguagem natural. Isso torna esses sistemas mais intuitivos — mas também cria novos desafios que o software tradicional não apresenta.
Conforme explicou o Dr. Blackman, os invasores não precisam necessariamente invadir um sistema de IA da mesma forma que fariam com um software tradicional. Em vez disso, eles podem tentar manipulá-la por meio de comandos cuidadosamente elaborados que influenciam seu comportamento, contornam as medidas de segurança ou expõem informações às quais ela não deveria ter acesso. Isso nos lembra que, à medida que a IA se torna mais capaz, a segurança precisa evoluir paralelamente.
“Precisamos de uma IA para monitorar outra IA?” – Nathan Macintosh
Os riscos dos sistemas multiagentes
Se um agente de IA pode cometer um erro, imagine o que acontece quando vários agentes de IA começam a trabalhar juntos. Embora possa ser mais eficiente que os sistemas estejam conectados, isso também gera mais possibilidades de falha.
Se um agente cometer um erro, isso pode criar um efeito cascata. Um pequeno problema pode se tornar muito maior se as organizações não compreenderem como essas interações funcionam. Isso não significa que os sistemas multiagentes sejam inerentemente arriscados. Significa simplesmente que eles exigem o mesmo nível de planejamento e supervisão que as organizações aplicariam a qualquer processo de negócios complexo.
“Hoje aprendi sobre IA agente e já estou com medo. Agora você está me dizendo que os agentes de IA conversam com outros agentes de IA?” – Nathan Macintosh
Você sabe com quem sua IA está conversando?
Se gerenciar seus próprios agentes de IA já parece um desafio, imagine o que acontece quando eles começam a interagir com a IA de outra pessoa. Você pode conhecer suas próprias barreiras de segurança e políticas, mas os sistemas externos de IA podem ser diferentes. Talvez você não saiba como eles foram treinados, a que têm acesso e se possuem as mesmas medidas de segurança em vigor.
Prepare-se
A IA agentiva está avançando rapidamente, e a tecnologia continuará evoluindo. As organizações que terão sucesso podem não ser necessariamente aquelas que adotarem a IA primeiro. Serão aquelas que entenderem como governá-la, testá-la e construir confiança em torno dela.
Um dos objetivos do “Ready. Or Not.” é ir além do sensacionalismo e analisar como é, na prática, a adoção responsável da tecnologia. A perspectiva do Dr. Blackman nos lembra que a adoção bem-sucedida da IA não se resume a escolher entre inovação e cautela. Trata-se de encontrar o equilíbrio entre ambas. Esse é exatamente o tipo de conversa que estamos ansiosos para continuar ao longo de nossa série. Assista ao episódio completo no Readiverse.
Perguntas frequentes
P: O que é IA agênica?
R: A IA agênica refere-se a sistemas de IA capazes de realizar ações, acessar ferramentas, interagir com aplicativos e concluir tarefas com várias etapas, com diferentes níveis de autonomia. Em vez de simplesmente gerar respostas, eles podem realizar ativamente tarefas em sistemas conectados.
P: Por que a IA com capacidade de ação traz novos riscos?
R: A IA agênica geralmente requer acesso a vários sistemas, aplicativos e fontes de dados. Embora esse acesso aumente a utilidade, ele também pode ampliar o impacto potencial de erros, uso indevido ou violações de segurança.
P: O que são ataques de prompt?
R: Os ataques de prompt envolvem o uso de entradas cuidadosamente elaboradas para manipular o comportamento de um sistema de IA, contornar medidas de segurança ou expor informações que deveriam permanecer protegidas.
P: Por que o monitoramento está se tornando cada vez mais importante?
R: À medida que os agentes de IA se tornam mais autônomos e se conectam a mais sistemas, eles também se tornam menos previsíveis. O monitoramento ajuda as organizações a identificar comportamentos inesperados desde o início e a compreender como os sistemas de IA estão interagindo com pessoas, dados e outros agentes de IA.
P: O que são sistemas multiagentes?
R: Os sistemas multiagentes consistem em vários agentes de IA que se comunicam e colaboram entre si para realizar tarefas. Embora possam aumentar a eficiência, eles também podem introduzir uma complexidade adicional que as organizações devem gerenciar com cuidado.
P: Qual é a principal lição deste episódio?
R: O risco da IA não se resume apenas ao que a tecnologia é capaz de fazer. Trata-se de compreender como os sistemas se comportam ao interagir com pessoas, dados, aplicativos e entre si — e de implementar as medidas de proteção adequadas antes que os problemas surjam.
Katherine Demacopoulos é diretora sênior de Estratégia e Programas de Conteúdo Global da Commvault.
