Le débat autour de l’IA évolue rapidement. C’est pourquoi je suis ravi de vous présenter notre série de podcasts « Ready. Or Not. ». Nous avons réuni l’humoriste Nathan Macintosh et des experts invités pour discuter des agents d’IA, de la cyber-résilience, de la confiance, de la gestion des données et de bien d’autres sujets encore.
Dans notre premier épisode, Nathan s’entretient avec le Dr Reid Blackman, fondateur et PDG de Virtue Consultants, pour aborder l’un des sujets les plus importants du moment en matière d’IA : l’IA agentique. Des défis éthiques aux risques de sécurité, leur conversation explore ce qui se passe lorsque l’IA va au-delà de la simple création de contenu pour prendre des décisions – et passer à l’action.
Une chose est sûre : l’IA agentique n’est pas simplement une tendance technologique de plus. Elle bouleverse notre conception de la prise de décision et du rôle que l’IA est appelée à jouer au sein de nos organisations. Si vous vous demandez ce que l’IA agentique peut apporter à votre entreprise, ce podcast est un excellent point de départ. Regardez l’épisode dans son intégralité sur Readiverse.
Points clés à retenir de l’article
- La plupart des défaillances de l’IA sont dues à des conséquences imprévues, et non à une intention malveillante.
- L’IA agentique peut accéder à des systèmes, des outils et des données pour accomplir des tâches, ce qui la rend à la fois extrêmement utile et intrinsèquement risquée.
- Les agents IA peuvent engendrer de nouveaux défis en matière de sécurité, allant des attaques par invite à l’élargissement des surfaces d’attaque.
- Les systèmes multi-agents peuvent améliorer l’efficacité, mais ils peuvent également amplifier les erreurs lorsque les systèmes sont interconnectés.
- Les organisations ont besoin de cadres concrets pour gérer les risques liés à l’IA avant que ceux-ci ne se transforment en problèmes concrets.
D’abord, ne pas nuire
L’un des enseignements à tirer de cet épisode est que la plupart des échecs liés à l’IA ne résultent pas d’intentions malveillantes. Beaucoup trouvent leur origine dans la volonté des entreprises de résoudre des problèmes commerciaux légitimes. Le Dr Blackman cite l’exemple d’un outil de recrutement basé sur l’IA d’Amazon qui a échoué. L’algorithme avait été entraîné à partir de CV et de données de recrutement antérieurs afin d’orienter les futures décisions d’embauche. L’IA a finalement appris des schémas qui favorisaient les candidats masculins, car ces schémas existaient dans les données.
Le résultat n’était pas celui escompté par Amazon, mais c’est précisément là que réside tout l’intérêt. Les systèmes d’IA peuvent tirer des leçons que nous n’avons jamais eu l’intention de leur enseigner. La suite des événements s’est avérée encourageante : Amazon a testé le système, identifié le problème, tenté de le résoudre, puis a finalement mis fin au projet lorsqu’il s’est avéré impossible de le résoudre.
Nous avons tendance à considérer les échecs de l’IA comme la preuve qu’on ne peut pas faire confiance à la technologie, mais le Dr Blackman avance un argument différent. Une IA responsable ne consiste pas à faire comme si les erreurs n’existaient pas. Il s’agit de tester, d’apprendre et d’être prêt à s’arrêter lorsque quelque chose ne fonctionne pas comme prévu.
Quand l’IA devient votre collègue
L’exemple d’Amazon met également en lumière un enjeu plus large. L’IA est capable d’apporter de la valeur, mais elle peut aussi produire des résultats imprévus lorsque nous ne comprenons pas pleinement comment elle apprend ou prend des décisions. L’IA générative nous a montré ce que l’IA peut créer. L’IA agentique nous montre ce que l’IA peut réellement faire lorsqu’elle est connectée à des systèmes d’entreprise.
Une comparaison qui m’a particulièrement marqué est que les systèmes agents commencent, d’une certaine manière, à ressembler à des employés. Pour être utiles, ils doivent avoir accès aux mêmes outils, bases de données et logiciels que ceux utilisés par les humains. Donnez à un agent IA l’accès à un seul système, et il ne pourra effectuer qu’une seule tâche. Donnez-lui accès à des dizaines de systèmes, et il devient plus performant.
« Un accès plus large implique davantage de possibilités, mais il augmente aussi considérablement les risques. » – Dr Reid Blackman
Aperçu : Maîtriser l’IA
Que se passe-t-il lorsque votre agent IA commence à interagir avec les agents d’autres personnes ? Dans cette vidéo, le Dr Blackman explique pourquoi la surveillance des systèmes multi-agents deviendra l’un de nos plus grands défis.
Un nouveau type de défi en matière de sécurité
L’IA agentique ne se contente pas de transformer la manière dont le travail est effectué. Elle bouleverse également notre conception de la sécurité. Au lieu de suivre des flux de travail prédéfinis, les utilisateurs interagissent avec l’IA en utilisant le langage naturel. Cela rend ces systèmes plus intuitifs, mais cela engendre également de nouveaux défis auxquels les logiciels traditionnels ne sont pas confrontés.
Comme l’a expliqué le Dr Blackman, les pirates n’ont pas nécessairement besoin de s’introduire dans un système d’IA comme ils le feraient avec un logiciel traditionnel. Ils peuvent au contraire tenter de le manipuler à l’aide de consignes soigneusement élaborées, destinées à influencer son comportement, à contourner les mesures de sécurité ou à exposer des informations auxquelles il ne devrait pas avoir accès. Cela nous rappelle que, à mesure que l’IA gagne en capacités, la sécurité doit évoluer en parallèle.
« A-t-on besoin d’une IA pour surveiller l’IA ? » – Nathan Macintosh
Les risques liés aux systèmes multi-agents
Si un agent IA peut commettre une erreur, imaginez ce qui se passe lorsque plusieurs agents IA commencent à travailler ensemble. Même si l’interconnexion des systèmes peut s’avérer plus efficace, elle multiplie également les risques de défaillance.
Si un agent commet une erreur, cela peut créer un effet domino. Un petit problème peut prendre des proportions bien plus importantes si les organisations ne comprennent pas comment fonctionnent ces interactions. Cela ne signifie pas que les systèmes multi-agents soient intrinsèquement risqués. Cela signifie simplement qu’ils nécessitent le même niveau de planification et de supervision que celui que les organisations appliqueraient à n’importe quel processus métier complexe.
« J’ai découvert aujourd’hui ce qu’était l’IA agentique et ça me fait déjà peur. Et maintenant, tu me dis que les agents IA communiquent entre eux ? » – Nathan Macintosh
Savez-vous à qui s’adresse votre IA ?
Si la gestion de vos propres agents IA vous semble déjà difficile, imaginez ce qui se passe lorsqu’ils commencent à interagir avec l’IA d’un tiers. Vous connaissez peut-être vos propres mesures de sécurité et politiques, mais les systèmes d’IA externes peuvent être différents. Vous ne savez peut-être pas comment ils ont été entraînés, à quoi ils ont accès, ni s’ils disposent des mêmes mesures de sécurité.
Préparez-vous
L’IA agentique évolue rapidement, et la technologie ne cessera de progresser. Les organisations qui réussiront ne seront pas nécessairement celles qui adopteront l’IA en premier. Ce seront celles qui sauront la gouverner, la tester et instaurer la confiance autour d’elle.
L’un des objectifs de « Ready. Or Not. » est d’aller au-delà du battage médiatique et d’examiner à quoi ressemble réellement une adoption responsable de la technologie. Le point de vue du Dr Blackman nous rappelle que la réussite de l’adoption de l’IA ne consiste pas à choisir entre innovation et prudence. Il s’agit de trouver un équilibre entre les deux. C’est exactement le genre de discussion que nous avons hâte de poursuivre tout au long de notre série. Regardez l’épisode dans son intégralité sur Readiverse.
FAQ
Q : Qu’est-ce que l’IA agentique ?
R : L’IA agentique désigne les systèmes d’IA capables d’effectuer des actions, d’accéder à des outils, d’interagir avec des applications et d’accomplir des tâches en plusieurs étapes avec différents niveaux d’autonomie. Plutôt que de se contenter de générer des réponses, ils peuvent mener activement des tâches au sein de systèmes interconnectés.
Q : Pourquoi l’IA agentique engendre-t-elle de nouveaux risques ?
R : L’IA agentique nécessite souvent d’accéder à plusieurs systèmes, applications et sources de données. Si cet accès renforce son utilité, il peut également accroître l’impact potentiel des erreurs, des utilisations abusives ou des failles de sécurité.
Q : Qu’est-ce qu’une attaque de type « prompt » ?
R : Les attaques par « prompt » consistent à utiliser des entrées soigneusement élaborées pour manipuler le comportement d’un système d’IA, contourner les mesures de sécurité ou divulguer des informations qui devraient rester protégées.
Q : Pourquoi la surveillance prend-elle de plus en plus d’importance ?
R : À mesure que les agents IA gagnent en autonomie et se connectent à davantage de systèmes, ils deviennent également moins prévisibles. La surveillance aide les organisations à détecter rapidement les comportements inattendus et à comprendre comment les systèmes d’IA interagissent avec les personnes, les données et d’autres agents IA.
Q : Qu’est-ce qu’un système multi-agents ?
R : Les systèmes multi-agents sont constitués de plusieurs agents d’intelligence artificielle qui communiquent et collaborent entre eux pour accomplir des tâches. S’ils permettent d’améliorer l’efficacité, ils peuvent également introduire une complexité supplémentaire que les organisations doivent gérer avec soin.
Q : Quel est le principal enseignement à retenir de cet épisode ?
R : Le risque lié à l’IA ne se résume pas à ce que la technologie est capable de faire. Il s’agit de comprendre comment les systèmes se comportent lorsqu’ils interagissent avec les personnes, les données, les applications et entre eux – et de mettre en place les mesures de protection adéquates avant que des problèmes ne surviennent.
Katherine Demacopoulos est directrice principale de la stratégie et des programmes de contenu mondiaux chez Commvault.
