El debate en torno a la IA está cambiando rápidamente. Por eso me hace tanta ilusión compartir nuestra serie de podcasts «Ready. Or Not». Hemos reunido al cómico Nathan Macintosh con invitados expertos para hablar sobre agentes de IA, ciberresiliencia, confianza, gestión de datos y mucho más.
En nuestro primer episodio, Nathan habla con el Dr. Reid Blackman, fundador y director ejecutivo de Virtue Consultants, para abordar uno de los temas más importantes de la IA en la actualidad: la IA con capacidad de agencia. Desde los retos éticos hasta los riesgos de seguridad, su conversación explora qué ocurre cuando la IA va más allá de la creación de contenido para pasar a tomar decisiones… y a actuar.
Una cosa está clara: la IA con capacidad de agencia no es solo otra moda tecnológica más. Está cambiando nuestra forma de ver la toma de decisiones y el papel que desempeñará la IA en nuestras organizaciones. Si te preguntas qué significa la IA con capacidad de agencia para tu negocio, este podcast es un buen punto de partida. Mira el episodio completo en Readiverse.
Puntos clave del blog
- La mayoría de los fallos de la IA se deben a consecuencias no deseadas, no a una intención maliciosa.
- La IA con capacidad de agencia puede acceder a sistemas, herramientas y datos para realizar tareas, lo que la hace increíblemente útil, pero también intrínsecamente arriesgada.
- Los agentes de IA pueden plantear nuevos retos de seguridad, desde ataques a través de comandos de línea de comandos hasta una mayor superficie de ataque.
- Los sistemas multiagente pueden aumentar la eficiencia, pero también pueden agravar los errores cuando los sistemas están conectados entre sí.
- Las organizaciones necesitan marcos prácticos para gestionar los riesgos de la IA antes de que se conviertan en problemas reales.
Lo primero es no causar daño
Una de las conclusiones que se pueden extraer del episodio es que la mayoría de los fallos de la IA no parten de malas intenciones. Muchos se originan porque las empresas intentan resolver problemas empresariales legítimos. El Dr. Blackman pone como ejemplo una herramienta de selección de personal basada en IA de Amazon que fracasó. El algoritmo se entrenó con currículos y datos de contratación anteriores para orientar futuras decisiones de contratación. La IA acabó aprendiendo patrones que favorecían a los candidatos masculinos porque esos patrones existían en los datos.
El resultado no fue el que Amazon esperaba, pero ahí radica precisamente la clave. Los sistemas de IA pueden aprender cosas que nunca tuvimos la intención de enseñarles. Lo que ocurrió después fue alentador: Amazon probó el sistema, identificó el problema, intentó solucionarlo y, al final, abandonó el proyecto al ver que no se podía resolver.
Tendemos a considerar los fallos de la IA como una prueba de que no se puede confiar en la tecnología, pero el Dr. Blackman plantea un punto de vista diferente. Una IA responsable no consiste en fingir que no se van a cometer errores. Se trata de probar, aprender y estar dispuesto a detenerse cuando algo no funciona como se pretendía.
Cuando la IA se convierte en tu compañero de trabajo
El ejemplo de Amazon también pone de relieve algo más amplio. La IA es capaz de aportar valor, pero también puede producir resultados no deseados cuando no comprendemos del todo cómo aprende o toma decisiones. La IA generativa nos mostró lo que la IA puede crear. La IA agentiva nos está mostrando lo que la IA puede hacer realmente cuando está conectada a los sistemas empresariales.
Una comparación que me llamó la atención fue que los sistemas «agentes» están, en cierto modo, empezando a parecerse a los empleados. Para ser útiles, necesitan acceso a las mismas herramientas, bases de datos y software que utilizan las personas. Si se le da a un agente de IA acceso a un sistema, puede realizar una tarea. Si se le da acceso a docenas de sistemas, se vuelve más potente.
«Un mayor acceso significa más posibilidades, pero también aumenta el riesgo de forma espectacular». – Dr. Reid Blackman
Avance: Cómo mantener a raya a la IA
¿Qué ocurre cuando tu agente de IA empieza a interactuar con los agentes de otras personas? En este vídeo, el Dr. Blackman explica por qué la supervisión de los sistemas multiagente se convertirá en uno de nuestros mayores retos.
Un nuevo tipo de reto en materia de seguridad
La IA agencial no solo cambia la forma de trabajar, sino también nuestra forma de ver la seguridad. En lugar de seguir flujos de trabajo predefinidos, los usuarios interactúan con la IA mediante lenguaje natural. Eso hace que estos sistemas sean más intuitivos, pero también plantea nuevos retos que el software tradicional no tiene.
Como explicó el Dr. Blackman, los atacantes no tienen por qué irrumpir en un sistema de IA como lo harían con un software tradicional. En cambio, pueden intentar manipularlo mediante indicaciones cuidadosamente elaboradas que influyan en su comportamiento, eludan las medidas de seguridad o revelen información a la que no debería tener acceso. Esto nos recuerda que, a medida que la IA se vuelve más capaz, la seguridad tiene que evolucionar al mismo ritmo.
«¿Necesitamos que la IA supervise a la IA?» – Nathan Macintosh
Los riesgos de los sistemas multiagente
Si un agente de IA puede cometer un error, imagínate lo que ocurre cuando varios agentes de IA empiezan a trabajar juntos. Aunque puede que sea más eficiente que los sistemas estén conectados, también aumenta la probabilidad de que se produzcan fallos.
Si un agente comete un error, puede provocar un efecto dominó. Un pequeño problema puede convertirse en uno mucho mayor si las organizaciones no comprenden cómo funcionan esas interacciones. Esto no significa que los sistemas multiagente sean intrínsecamente arriesgados. Simplemente significa que requieren el mismo nivel de planificación y supervisión que las organizaciones aplicarían a cualquier proceso empresarial complejo.
«Hoy me he enterado de lo de la IA agente y ya me da miedo. ¿Y ahora me dices que los agentes de IA hablan con otros agentes de IA?» – Nathan Macintosh
¿Sabes con quién está hablando tu IA?
Si gestionar tus propios agentes de IA te parece un reto, imagina lo que ocurre cuando empiezan a interactuar con la IA de otra persona. Puede que conozcas tus propias medidas de seguridad y políticas, pero los sistemas de IA externos pueden ser diferentes. Es posible que no sepas cómo se han entrenado, a qué tienen acceso ni si cuentan con las mismas medidas de seguridad.
Prepárate
La IA agentiva avanza rápidamente y la tecnología seguirá evolucionando. Las organizaciones que tengan éxito no serán necesariamente las que adopten la IA primero. Serán aquellas que sepan cómo gestionarla, probarla y generar confianza en torno a ella.
Uno de los objetivos de «Ready. Or Not.» es ir más allá de las modas pasajeras y analizar cómo es realmente la adopción responsable de la tecnología. La perspectiva del Dr. Blackman nos recuerda que el éxito en la adopción de la IA no consiste en elegir entre innovación y precaución, sino en encontrar el equilibrio entre ambas. Ese es precisamente el tipo de debate que nos entusiasma seguir abordando a lo largo de nuestra serie. Mira el episodio completo en Readiverse.
Preguntas frecuentes
P: ¿Qué es la IA «agencial»?
R: La IA «agencial» se refiere a los sistemas de IA que pueden realizar acciones, acceder a herramientas, interactuar con aplicaciones y llevar a cabo tareas de varios pasos con distintos niveles de autonomía. En lugar de limitarse a generar respuestas, pueden realizar tareas de forma activa en distintos sistemas conectados.
P: ¿Por qué la IA con capacidad de acción plantea nuevos riesgos?
R: La IA agencial suele necesitar acceso a varios sistemas, aplicaciones y fuentes de datos. Aunque ese acceso aumenta su utilidad, también puede ampliar el impacto potencial de los errores, el uso indebido o las brechas de seguridad.
P: ¿Qué son los ataques de «prompt»?
R: Los ataques de tipo «prompt» consisten en utilizar entradas cuidadosamente elaboradas para manipular el comportamiento de un sistema de IA, eludir las medidas de seguridad o revelar información que debería permanecer protegida.
P: ¿Por qué cada vez es más importante la supervisión?
R: A medida que los agentes de IA se vuelven más autónomos y se conectan a más sistemas, también se vuelven menos predecibles. La supervisión ayuda a las organizaciones a detectar a tiempo comportamientos inesperados y a comprender cómo interactúan los sistemas de IA con las personas, los datos y otros agentes de IA.
P: ¿Qué son los sistemas multiagente?
R: Los sistemas multiagente están formados por varios agentes de IA que se comunican y colaboran entre sí para realizar tareas. Aunque pueden mejorar la eficiencia, también pueden añadir una complejidad adicional que las organizaciones deben gestionar con cuidado.
P: ¿Cuál es la idea principal de este episodio?
R: El riesgo de la IA no se limita a lo que la tecnología es capaz de hacer. Se trata de entender cómo se comportan los sistemas cuando interactúan con las personas, los datos, las aplicaciones y entre sí, y de establecer las medidas de seguridad adecuadas antes de que surjan problemas.
Katherine Demacopoulos es directora sénior de Estrategia y Programas de Contenidos Globales en Commvault.
