Conférence plénière
Resilience Starts with Us: Ethical Pathways to Innovation & Trust in AI
AI is reshaping the foundations of business, government, and society – bringing unprecedented opportunity and responsibility. In this SHIFT 2025 keynote, Dr. Rumman Chowdhury explores why ethical AI, human judgment, and accountable design are essential to building trust and resilience in the age of automation.
Points clés à retenir
- Human Judgment Is Irreplaceable
Even as AI systems grow more powerful, human reasoning, ethics, and context remain essential. - Automation Needs Context
The Stanislav Petrov incident shows why automated systems must be complemented by human critical thinking. - AI Anxiety Is Not New
Concerns about automation replacing human expertise have existed long before generative AI. - Responsible AI Requires Governance
Ethical oversight, transparency, and accountability are foundational – not optional. - Human-in-the-Loop Is a Safeguard
Human-in-the-loop design is a core control that enables trustworthy innovation. - Balance Enables Trust
Ethical AI depends on balancing automation with uniquely human capabilities.
entreprises clientes font état d’une réduction des risques, d’une baisse des coûts et d’une amélioration de l’efficacité opérationnelle.
Explore why ethical innovation requires strong human judgment alongside advanced AI systems, guided by insights from Dr. Rumman Chowdhury, CEO of Humane Intelligence and former U.S. Science Envoy for AI. The session shows how critical thinking strengthens decision-making
Ethics and Human Judgment
Dr. Rumman Chowdhury explains why ethical innovation requires strong human judgment alongside advanced AI systems. Automated decision-making alone cannot account for nuance, values, and contextual understanding.
Examine the Stanislav Petrov incident as a defining example of human-in-the-loop decision-making, demonstrating how contextual reasoning and situational analysis prevent catastrophic outcomes when automated warnings misfire.
Lessons from History
The Stanislav Petrov incident serves as a defining example of human-in-the-loop decision-making, where contextual reasoning prevented catastrophic consequences despite automated warnings.
Uncover long-standing societal concerns about AI replacing human expertise, revealing how automation anxiety and misconceptions about AI capabilities shape public expectations, even before the rise of generative AI.
Understanding AI Anxiety
Long-standing societal fears about automation replacing human expertise shape expectations around AI today. These concerns predate generative AI and reveal common misconceptions about AI capabilities.
Principes d’une IA responsable
The session outlines responsible AI principles and governance frameworks that emphasize ethical oversight, transparency, and accountability across the AI lifecycle.
Why Human-in-the-Loop Matters
Human-in-the-loop design anchors trustworthy AI by confirming that ethical reasoning, situational awareness, and judgment remain integral to decision-making.
Protection des données grâce à l’IA conversationnelle MCP
Découvrez comment Commvault utilise l’IA conversationnelle et MCP pour transformer la protection des données.
Principes directeurs pour une intelligence artificielle responsable
Découvrez comment les pratiques responsables en matière d’IA favorisent la confiance, l’innovation et la gouvernance.
L’IA chez Commvault : Secure Innovaation, Intelligent Resilience
How Commvault delivers resilience for the AI era through secure, responsible innovation.
Questions fréquemment posées:
What is the main challenge of implementing responsible AI?
Responsible AI requires more than technical controls. It demands ethical frameworks, transparent governance, and embedding human judgment at critical decision points to manage risk and accountability.
Why is human-in-the-loop design essential for AI trustworthiness?
Humans provide ethics, context, and reasoning that machines cannot replicate. Human oversight enables safer, more reliable, and more trustworthy AI deployment.
What defines a responsible AI governance framework?
Effective frameworks include data governance, model validation, bias detection, explainability, continuous monitoring, human-in-the-loop checkpoints, and risk-based escalation procedures.
Can AI systems operate safely without human oversight?
Fully autonomous systems increase risk in complex or high-stakes scenarios. Human oversight restent essential to help prevent errors, misuse, or unintended consequences.
How does ethical AI support long-term innovation?
Ethical AI builds trust with users, regulators, and society – enabling sustainable innovation rather than short-term gains that create long-term risk.
Transcription
Voir la Transcription
Veuillez visionner la vidéoicipour obtenir une transcription horodatée
00:12 – 00:15
Notre invité a un parcours exceptionnel.
00:15 – 00:19
Euh… Elle est PDG de Humane Intelligence.
00:19 – 00:26
Elle a également été envoyée spéciale des États-Unis pour l’intelligence artificielle, nommée par le président Biden.
00:26 – 00:30
Et j’ai hâte de vous la présenter et de l’accueillir parmi nous, le Dr…
00:30 – 00:32
Ruman Chowdhary.
00:42 – 00:44
Bonjour, bonne journée.
00:44 – 00:45
It’s so good to see you all.
00:45 – 00:47
J’espère que vous avez apprécié vos bretzels.
00:47 – 00:48
Je m’appelle Dr.
00:48 – 00:56
Aman Chowdhury, et c’était formidable d’écouter toutes ces interventions et toutes ces conversations, et de voir quelques visages familiers dans le public.
00:56 – 00:57
Bonjour.
00:58 – 01:03
So I’m ici to talk to you today about ethical pathways to innovation and trust.
01:04 – 01:08
Combien d’entre vous savent qui est cet homme ?
01:09 – 01:18
I usually find that an audience, maybe one person does, but often I met with a lot of very confused looks when I say that he’s the reason we’re all alive today.
01:21 – 01:22
That’s right.
01:22 – 01:23
OK, so I’m going to explain.
01:23 – 01:25
Je m’appelle Stanislav Petrov.
01:25 – 01:31
Et en 1983, il était ce qu’on appellerait aujourd’hui « l’humain dans la boucle ».
01:31 – 01:38
Il était aux commandes d’un système technique chargé de déterminer si les États-Unis avaient ou non lancé une arme nucléaire.
01:38 – 01:39
Il se trouvait du côté russe.
01:39 – 01:51
Et his job was to, in his bunker, receive the output that a missile had launched and then push the button for what, if you remember your world history or social studies, what’s
01:51 – 01:51
appelée « riposte mutuelle »
01:51 – 01:52
destruction mutuelle assurée.
01:52 – 01:56
Et we’re all very, very fortunate that he didn’t.
01:56 – 02:02
Et I love this story because when we think about human in the loop in technology, we don’t think about it very deeply.
02:02 – 02:05
We just think, tici’s a person at the end and they’re just going to dot, dot, dot do something.
02:05 – 02:07
Eh bien, lui, c’était un « humain dans la boucle ».
02:07 – 02:10
Et it’s a good thing that he didn’t just go ahead and push the button.
02:10 – 02:17
Et il a eu recours à quelque chose de tout à fait unique chez les êtres humains : les indices contextuels et l’esprit critique.
02:17 – 02:20
Et he sat tici and thought, well, the Cold War has been going on for decades.
02:20 – 02:21
Et tici hasn’t been much
02:21 – 02:25
d’escalade, pourquoi les États-Unis feraient-ils exploser une arme nucléaire ?
02:25 – 02:27
Et il a choisi de ne pas appuyer sur le bouton.
02:27 – 02:31
Et c’est la raison pour laquelle nous n’avons finalement pas basculé dans une guerre nucléaire.
02:31 – 02:32
It’s incredibly important.
02:32 – 02:37
Et what’s absolutely wild is really very few people know who this man is.
02:37 – 02:48
Et j’adore cette histoire, encore une fois, car elle montre vraiment à quel point la pensée critique humaine ne peut être remplacée, même par la technologie la plus avancée.
02:49 – 02:52
Alors, quand on parle d’intelligence artificielle, qu’entend-on exactement ?
02:52 – 02:53
À son époque, M.
02:53 – 02:59
Petrov a donc eu accès à certaines des technologies les plus avancées de l’époque.
02:59 – 03:08
Et peut-être que cela semblait intimidant, voire effrayant, qu’un être humain puisse se dresser et défier les résultats d’un outil technologique aussi sophistiqué.
03:08 – 03:11
Et that’s sometimes how we think about artificial intelligence.
03:11 – 03:16
Et voici le genre de titres que vous avez peut-être vus aujourd’hui en ouvrant votre application d’actualités.
03:16 – 03:19
La solution à notre crise de l’éducation pourrait être…
03:19 – 03:31
l’IA. Les enseignants seront-ils les prochains à voir leur métier pris en charge par des robots ? Les avocats seront-ils la prochaine profession remplacée par des ordinateurs ? Et l’IA omniprésente est-elle aussi efficace que n’importe qui pour diagnostiquer la maladie X ?
03:31 – 03:33
un être humain ou un médecin.
03:33 – 03:36
Et tici’s a couple of things I want to note about these headlines.
03:36 – 03:37
Premièrement.
03:37 – 03:42
These probably sound like they’ve come from the last three years, a generative AI revolution.
03:42 – 03:45
En réalité, ils datent tous de la période 2018-2020.
03:45 – 03:49
I’ve been in this field for almost a decade at this point, well, specifically in responsible IA.
03:49 – 03:52
I’ve been in tech for over 15 years.
03:52 – 03:56
Et on dirait qu’à chaque nouvelle itération, on voit ces gros titres revenir sans cesse.
03:56 – 04:00
Et bien sûr, à chaque nouvelle version, la technologie devient de plus en plus sophistiquée.
04:00 – 04:04
But tici’s a couple of things ici that I find quite problematic.
04:04 – 04:07
Number one, tici is this anthropomorphizing of the technologie.
04:07 – 04:20
If you read these sentences, it sounds like tici is some AI person in a machine that really wants to be a doctor or a teacher or a lawyer, and it goes and it drags your kid’s
04:20 – 04:21
professeur de votre enfant de force, alors qu’il se débat et hurle.
04:21 – 04:24
Je veux dire, une prise de pouvoir par les robots, mon Dieu.
04:24 – 04:25
Tu exagères un peu, non ?
04:25 – 04:29
But importantly, wici is the person in this sentence?
04:29 – 04:37
Dans tous ces titres – et encore une fois, ce sont des titres très courants que vous voyez probablement tous les jours –, l’être humain n’est qu’un élément passif
04:37 – 04:41
destinataire de ce que la technologie a choisi de faire.
04:41 – 04:44
Et cela ne pourrait pas être plus éloigné de la vérité.
04:44 – 04:50
Ce qui s’est donc passé, c’est que les gens pensent que l’IA est une sorte de horde de robots.
04:50 – 04:51
Et instead, it’s not.
04:51 – 04:55
It’s something that looks fine.
04:55 – 04:56
Je peux revenir en arrière, s’il vous plaît ?
04:56 – 04:56
Désolé.
04:58 – 04:59
Voyons si ça marche.
04:59 – 05:00
Tici you go, thank you.
05:00 – 05:11
What people think AI is these hordes of robots coming in to change our lives and take our jobs and maybe teach our kids, but the reality is if you’re a developer like I am, it
05:11 – 05:13
ça ressemble un peu plus à ça.
05:13 – 05:22
Et actually the reality is those hyperbolic headlines don’t reflect the truth, which is that a lot of human effort and labor for everything from data collection, data curation,
05:22 – 05:29
au nettoyage, à la sécurité, euh, à la programmation, au débogage, puis au lancement, à la mise à l’échelle et à la livraison du produit,
05:30 – 05:49
et le déploiement : tout cela nécessite en réalité des personnes.
05:49 – 05:50
So we just don’t go into educators in line for robot takeover.
05:50 – 05:52
tici’s a lot of human steps that happened in the meantime.
05:52 – 05:58
On discute, et quand on discute, quand on aborde des sujets humains,
05:58 – 06:04
nous interagissons directement avec cette technologie qui semble si futuriste et si performante.
06:04 – 06:11
Well, what happens is that we start to push technology forward that’s not actually thinking about what human beings might need.
06:11 – 06:22
Et puis, plus précisément, lorsque la technologie ne tient pas réellement les promesses fantastiques qui ont pu être faites lors d’une présentation, ce qui se passe alors, c’est que nous…
06:22 – 06:28
partons du principe que ce sont les êtres humains et la société qui doivent s’adapter aux limites de la technologie,
06:28 – 06:34
plutôt que de réfléchir à la manière dont nous pouvons développer la technologie pour qu’elle s’adapte aux besoins de la société.
06:34 – 06:37
Et that’s something I call the retrofit human.
06:37 – 06:44
Donc, quand on réfléchit à cet « humain réadapté », l’une des façons dont on aborde la technologie de l’IA est de se demander : « En quoi est-elle douée ? »
06:44 – 06:46
De quoi est-elle capable ?
06:46 – 06:50
Et tici’s a few things that machine learning and AI is actually quite good at.
06:50 – 06:55
So all of this preamble is not to say AI is not capable or machine learning can’t do things.
06:55 – 06:57
En réalité, ils peuvent accomplir des choses tout à fait étonnantes.
06:57 – 07:02
But what’s important ici is parsing out what people are really good at versus what technology is really good at.
07:02 – 07:03
So what’s technology really good at?
07:03 – 07:06
It’s good at identifying overarching patterns.
07:06 – 07:08
It’s good at parsing through
07:08 – 07:10
et d’identifier les éléments qui se ressemblent.
07:10 – 07:13
That’s basically most of the basis of computer vision.
07:13 – 07:17
Et it’s generally consistent, depending on the error rate.
07:17 – 07:27
So when we build AI, and again, I’ve been doing this for quite some time, one kind of shorthand is to say that we collect a lot of data to build for the average person of a
07:27 – 07:29
type particulier.
07:29 – 07:32
Et nous pouvons collecter des données extrêmement spécifiques.
07:32 – 07:35
Et it’s not to say we’re doing it for the average person overall.
07:35 – 07:37
Mais nous définissons qui vous êtes, qui je suis et qui sont les
07:37 – 07:41
personne assise à côté de vous comme faisant partie d’un profil client ou d’une communauté.
07:41 – 07:45
Et maybe it’s based on 10, 20, 100 different data points.
07:45 – 07:50
Et then you kind of assume that tici are some assumptions made about the data that’s missing.
07:50 – 07:50
Très bien.
07:50 – 07:55
Well, I’m going to tell you a story about what it means to build for the average person.
07:55 – 08:04
Et qu’entend-on exactement par « personne lambda », même si l’on se base sur un sous-ensemble ultra-spécifique de personnes que l’on pourrait croire très, très prévisibles ?
08:04 – 08:07
D’ailleurs, j’adore partager des anecdotes, des histoires et animer des discussions.
08:07 – 08:07
sur ce sujet.
08:07 – 08:07
sur ce sujet.
08:07 – 08:07
sur ce sujet.
08:07 – 08:11
l’intelligence artificielle, alors ça n’a rien à voir avec l’intelligence artificielle.
08:11 – 08:19
One of the biggest mistakes we do is we think that this technology is new and that all the problems we face are things that we’re never going to see, that we’ve never seen before.
08:19 – 08:21
We’ve never asked these questions.
08:21 – 08:31
Et bien que l’IA introduise de nouveaux paradigmes, de nouvelles questions et de nouveaux enjeux, les problèmes que nous cherchons à résoudre ne sont pas des questions fondamentalement nouvelles.
08:31 – 08:32
C’est donc l’une de mes anecdotes préférées.
08:32 – 08:37
Dans les années 1940, les accidents d’avions de ligne atteignaient un niveau record.
08:53 – 09:07
L’armée de l’air américaine s’est donc tournée vers les fabricants de sièges d’avion et leur a dit : « Écoutez, nous avons besoin que vous repensiez la conception de ces sièges, car le profil moyen des… »
09:07 – 09:08
de nos pilotes a changé.
09:08 – 09:13
Of course, if we think about who these pilots are, they’re actually a pretty narrow subset of people.
09:13 – 09:17
They’re young men between probably 18 to maximum 30.
09:19 – 09:20
They’re quite healthy.
09:20 – 09:22
They’re able-bodied, et cetera.
09:22 – 09:24
Et in that time, tici would be no women pilots.
09:24 – 09:26
Ce serait assez standardisé.
09:26 – 09:33
Ils ont donc fait dans les années 1940 ce qu’ils avaient fait dans les années 1920, à savoir recruter plus de 4 000 de ces pilotes.
09:33 – 09:36
Ils les ont évalués selon 10 critères différents.
09:36 – 09:37
Cela vous dit quelque chose ?
09:37 – 09:43
If you’re a data scientist in the room, this sounds like a pretty reasonable way to design a good seat.
09:43 – 09:48
Donc, plus de 4 000 hommes, 10 points de données différents, et ils ont calculé la moyenne pour créer un siège.
09:49 – 09:59
Et cela n’a convenu à personne : pas un seul de ces quelque 4 000 pilotes ne s’est assis dans ce siège en disant : « Oui, je le trouve confortable. »
09:59 – 10:04
Et la raison, c’est que cette notion de moyenne correspond à la personne du 50e centile.
10:04 – 10:07
If you know a bell curve, it’s the biggest part of the bell curve.
10:07 – 10:11
courbe, euh… mais ce n’est pas forcément une personne qui existe réellement.
10:11 – 10:20
It’s a fantastical person that is an amalgamation of all the other data points you’ve collected about the people like them.
10:20 – 10:22
Ils ont donc réduit cela à trois dimensions.
10:22 – 10:26
Et si on se contentait de prendre trois données, pour avoir davantage de données sur le parcours, n’est-ce pas ?
10:26 – 10:29
Cela ne correspondait qu’à environ 13 % des pilotes.
10:29 – 10:34
Eh bien, l’Armée de l’air est alors revenue vers les constructeurs aéronautiques en leur disant : « Bon, ça ne fonctionne pas pour nous. »
10:34 – 10:36
Car bien sûr, c’est une question de vie ou de mort.
10:36 – 10:41
Ces sièges doivent être réellement fonctionnels et utiles, et les pilotes se retrouvent dans des situations très extrêmes.
10:41 – 10:43
Ce n’est donc pas une réflexion après coup.
10:43 – 10:50
Ils sont donc revenus vers nous et nous ont dit : « En fait, plutôt que de concevoir un siège adapté à la personne du 50e centile, c’est-à-dire la personne moyenne, ce que je veux que vous fassiez, c’est de créer
10:50 – 10:53
que les sièges conviennent à 95 % de tous les pilotes.
10:54 – 10:57
Ce qui représente un changement radical dans la façon dont on mesure le succès, n’est-ce pas ?
10:57 – 11:02
Because so much of what you’re making is how you’re defining what success is and what good looks like.
11:02 – 11:09
So they redefined good to say, rather than making a seat for the average pilot, why don’t we make the seat that fits 95 % of all pilots?
11:09 – 11:13
Et encore une fois, il s’agit là d’un petit sous-ensemble de personnes présentant peu de variations.
11:13 – 11:19
So all the airplane manufacturers came back and said, impossible, can’t do it, never done it before, we’re going to go broke.
11:19 – 11:21
C’est une idée complètement farfelue.
11:21 – 11:24
Et of course, it’s the Air Force, so they can do what they want.
11:24 – 11:27
like, all right, fine, we’ll go find somebody else who’ll do celle-ci.
11:27 – 11:28
Et c’est ce qu’ils ont facelle-ci.
11:29 – 11:31
C’est qu’ils ont simplement fabriqué des sièges réglables.
11:31 – 11:42
So whenever you get in your car or a bus or an airplane and you can do things like move the armrest and lift the headrest and tilt the seat differently, it’s a reason why someone
11:42 – 11:49
who’s 5’3 like me and the average 5’10 guy can actually get into the same car and drive celle-ci.
11:49 – 11:56
It’s because the military pushed back and actually said, we want you to rethink how you design.
11:56 – 11:59
We want you to rethink how you’re making this technological tool.
11:59 – 12:06
again, rather than saying we’re building for an average, we’re going to say we want this to embrace a wider range of people.
12:06 – 12:12
Un changement radical qui, encore une fois, a conduit à des produits mieux conçus et de meilleure qualité.
12:12 – 12:13
Quels sont donc vos principaux enseignements ?
12:13 – 12:22
Tout d’abord, pour que l’IA fonctionne, nous devons adopter une réflexion radicale et sortir des sentiers battus quant à la manière de personnaliser et de concevoir nos solutions pour nos utilisateurs.
12:22 – 12:26
Le deuxième point concerne un changement clair en matière de responsabilité et d’obligation de rendre des comptes.
12:26 – 12:29
J’ai inventé le terme « externalisation morale », qui est lié à…
12:29 – 12:38
à cette anthropomorphisation de l’intelligence artificielle, à la façon dont nous utilisons des expressions qui donnent l’impression que l’IA a une intention, que l’IA a une raison, alors qu’en réalité, elle n’a rien de tout cela.
12:38 – 12:41
It’s human beings that build and deploy technologie.
12:41 – 12:49
Rather than saying we’re building AI to replace lawyers, what’s actually happening is somebody is making a company that is legal tech.
12:49 – 12:56
Et you can choose to make legal tech in a way that is augmenting a human, or you can choose to make legal tech in a way that’s intentionally trying to replace them.
12:56 – 12:59
Et it’s a human-driven decision, a human-driven decision on how
12:59 – 13:00
la manière dont la technologie est utilisée.
13:00 – 13:08
Enfin, pour tirer pleinement parti des avantages de l’intelligence artificielle, il faut investir autant dans le volet humain que dans le volet technique.
13:08 – 13:18
So rather than seeing the fact that all of our bodies are different sizes and shapes and heights as a failing, it’s actually an opportunity to design better and to design more
13:18 – 13:19
général.
13:20 – 13:22
Quel sera donc l’impact de l’IA sur notre société ?
13:22 – 13:33
So I will say the number one talk I’m asked to give, and this started this year, and I’ve done so many speaking engagements, I’ve talked a lot about ethical responsible AI, but the
13:33 – 13:37
avenir du travail en 2025 est vraiment devenu le sujet qui m’est le plus souvent demandé.
13:37 – 13:47
ah Et what I’m glad to report is that actually tici’s a lot of empirical evidence, tici’s a lot of really great work that’s happening wici people are talking about, know,
13:47 – 13:50
quantitatively they’re measuring and studying the impact of
13:50 – 13:51
IA sur le monde du travail.
13:51 – 13:59
So in one hand, again, what you may see in the news when you open your news reader is something like people calling for universal basic income, people saying that tici will be
13:59 – 14:01
plus d’emplois pour personne.
14:01 – 14:07
Et what we’re finding instead is that it’s actually quite, it’s more granular conversation.
14:07 – 14:10
So I’m going to talk to you about three different papers that I really love.
14:10 – 14:13
Tici’s actually quite a few papers out tici, but tici’s three papers that I love.
14:13 – 14:18
Je voudrais commencer par une vue d’ensemble, notamment l’impact macroéconomique à l’échelle mondiale au cours des dix prochaines années.
14:18 – 14:20
Une vue d’ensemble à moyenne échelle, qui est verticale
14:20 – 14:30
par secteur d’activité, ainsi que l’étude la plus détaillée et la plus expérimentale menée au sein d’une entreprise spécifique pour observer comment les employés ont réagi et comment ils se sont adaptés au fait de travailler avec l’IA, et comment
14:30 – 14:31
cela les a affectés.
14:31 – 14:40
I will also start by actually saying that I speak at a lot of universities and actually tici is a lot of very justified concern amongst young people.
14:40 – 14:50
Et what we’re finding, and again this is the first year we’re really seeing it, that Gen Z entering the market to get jobs, entry-level jobs are having a harder time because
14:50 – 14:53
l’intelligence artificielle est en effet capable d’effectuer certaines tâches de base.
14:53 – 14:56
Et cela ne se limite pas à la recherche et à la rédaction.
14:56 – 14:58
It’s actually primarily in programming.
14:58 – 15:02
Ce pour quoi l’IA est vraiment, vraiment douée, c’est la programmation de niveau débutant.
15:02 – 15:07
Now, you still need senior developers to ensure that the code is robust, it’s functional, et cetera.
15:07 – 15:11
Mais bon nombre de postes de débutants ne sont tout simplement pas remplacés.
15:11 – 15:17
So as people are aging up and they’re getting promoted, their junior roles are just not getting replaced.
15:17 – 15:20
Et it’s worrisome about the future.
15:20 – 15:27
Le premier article dont je souhaite parler a été rédigé par un économiste du travail, euh, le professeur Dara Nesemoglu du MIT.
15:27 – 15:32
he studied, and again, he’s somebody who’s been doing econ for very, long time.
15:32 – 15:37
Et he’s really entered the AI space thinking about the impact on work and productivity.
15:37 – 15:45
So he looked at what’s called total factor productivity, which is pretty much if you summed up the GDP of every country, that would be sort of the TFP.
15:45 – 15:50
ah Et what he’s calculated is that over the next 10 years, it’s going to be what he calls
15:50 – 16:01
Donc, un impact non négligeable mais modeste, c’est-à-dire inférieur à 1 %, ce qui peut sembler peu, mais qui représente tout de même moins de 1 % du PIB mondial total, ce qui est donc assez significatif.
16:01 – 16:03
So, that’s a pretty significant amount of automation.
16:03 – 16:06
Mais il est allé encore plus loin en se demandant : qu’est-ce qui est automatisé ?
16:06 – 16:13
Et he points out that what a lot of people have is that it’s actually more white-collar jobs than blue-collar jobs getting automated.
16:13 – 16:14
Et c’est intéressant.
16:14 – 16:19
This really points out one of the things that’s particularly radical about generative IA.
16:32 – 16:33
Et voilà.
16:33 – 16:36
Et Et Et I think that’s important point.
16:36 – 16:36
Et voilà.
16:36 – 16:38
Et c’est un point vraiment important.
16:38 – 16:50
Et I important Et c’est un point vraiment important.
16:50 – 16:50
Et
16:50 – 16:54
really knowledge labor, rudimentary knowledge labor that’s being automated.
16:54 – 16:56
We haven’t really thought about that before.
16:56 – 16:59
We’ve not had to deal with the impact of sur ce sujet.
16:59 – 17:08
Et by the way, going back to Gen Z, some of you, if you have kids of that age, might know that your kids or their friends might actually be thinking about getting blue collar jobs.
17:08 – 17:14
Because increasingly, young people don’t know what the value is of college education if AI is actually able to do that work.
17:14 – 17:20
Mais une IA ne sera jamais capable de tondre votre pelouse, de réparer votre plomberie ou d’aménager un
17:20 – 17:21
toiture.
17:21 – 17:32
Et what they’re seeing is that, for many reasons, a blue collar job to a lot of them seems a lot more, you know, predictable and reliable than trying to aim really high for
17:32 – 17:40
some sort of a senior level VP role that may or may not manifest itself because you can’t get your first job, you’re never going to get promoted.
17:40 – 17:48
So, you know, he noted that AI is predicted to widen the gap between capital and labor income, but also that tici’s going to be this negative societal value that we really have
17:48 – 17:50
prendre en compte.
17:50 – 18:02
most interesting things I’m seeing is as we continue to measure the value of AI, people are increasingly bringing in the negative externality on society as a factor to consider.
18:02 – 18:09
Car à quoi bon créer une machine à productivité si, au final, nous en devenons tous complètement incapables ?
18:09 – 18:14
Tici is serious concern about things like over-reliance, about people use this phrase, AI psychosis.
18:14 – 18:20
uh we’re seeing tici’s education tech coming out, and tici’s concern
18:20 – 18:22
que les jeunes en deviennent trop dépendants.
18:22 – 18:28
Comment pouvons-nous prendre en compte et répondre à ces préoccupations tout en développant des technologies qui restent globalement bénéfiques ?
18:29 – 18:37
So the second paper I like to talk about is actually from 2023, and it’s actually by a team at OpenAI that worked with another group of economists.
18:37 – 18:41
It’s called GPTs or GPTs, and it looks at different verticals.
18:41 – 18:49
Et rather than kind of saying blanket, all of these jobs are going to get automated away, it said, well, sector by sector, what is more likely to be automated away?
18:49 – 18:59
Et the shorthand to take away is that about 80 % of the workforce would have about 10 % of your tasks automated, and roughly 19 % would have about half of tasks impacted.
18:59 – 19:04
Et that pretty much tracks, that was a few years ago, and it kind of tracks the trends that we’re seeing.
19:04 – 19:13
Je pense que nous sommes nombreux à utiliser des outils d’IA pour des tâches de productivité très basiques, comme vous aider à relire vos notes ou peut-être rédiger des comptes-rendus de réunion à votre place.
19:13 – 19:18
It’s not taking over your job, and in fact, it’s probably giving you a little bit of extra time back.
19:18 – 19:22
La plupart d’entre nous dans cette salle font probablement partie de ces 80 %.
19:22 – 19:29
Ces 19 % de travailleurs dont 50 % des tâches sont automatisées concernent des professions telles que le journalisme ou les assistants juridiques.
19:29 – 19:35
Il s’agit plutôt de postes de recherche et de connaissances qui ne nécessitent peut-être pas une expertise approfondie.
19:36 – 19:37
Passons maintenant au troisième article.
19:37 – 19:46
Et again, one of the biggest topics that people want to understand is what does artificial intelligence mean in my workforce if I use it, if my employees use it, if my
19:46 – 19:47
entreprise l’adopte ?
19:47 – 19:56
Eh bien, dans leur grande majorité, ils vous diront que la réponse est la suivante : l’association de l’humain et de l’IA est plus efficace que l’humain sans l’IA ou que l’IA seule.
19:56 – 19:58
Et I love this study because, first of it has a fabulous name.
19:58 – 20:00
It’s called The Cybernetic Teammate.
20:00 – 20:04
Et it was a case study done at Harvard Business School working with Procter & Gamble.
20:04 – 20:06
Et they set up a randomized controlled experiment.
20:06 – 20:17
experiment, about 800 P &G employees, they had a multi-day hackathon, and they basically put people into groups, it’s either teams or individuals, some got AI and some didn’t.
20:17 – 20:24
Et what I like about this paper, often a lot of the papers about uh AI in the workplace is about productivity.
20:24 – 20:30
Et I really, really, really hate that measurement, because uh tici’s one thing AI can do, it’s just produce.
20:30 – 20:31
That’s all it does.
20:31 – 20:34
Et actually, it’s often confidently incorrect.
20:35 – 20:36
Il faut un être humain pour être
20:36 – 20:38
pour comprendre si ce résultat…
20:38 – 20:43
Je veux dire, on a un mot pour ça maintenant : on appelle ça la « main-d’œuvre de seconde zone », l’IA de seconde zone, n’est-ce pas ?
20:43 – 20:45
C’est littéralement le terme qu’on utilise désormais.
20:45 – 20:50
Donc, se contenter de mesurer la production brute ne vous apporte pas vraiment de réponses.
20:50 – 20:57
Mais ce qu’ils ont évalué, ce sont des éléments tels que la qualité du travail, le temps nécessaire à sa réalisation et, surtout, la capacité à aider les travailleurs non experts.
20:57 – 21:05
Because on the other end the concern for more senior people or at least one of the narratives is that well maybe in the future you won’t need expertise.
21:05 – 21:06
Il suffira simplement de…
21:06 – 21:11
an inexperienced human, you slap on some AI, and then they’re the same as a senior developer.
21:11 – 21:13
So they wanted to test all of sur ce sujet.
21:14 – 21:20
So how do they do it so you don’t have to read a lot of complicated uh bar charts?
21:20 – 21:22
La première chose qu’ils ont examinée, c’était la qualité moyenne des solutions.
21:22 – 21:25
Rappelons donc qu’ils ont pris comme référence la personne n’utilisant pas d’IA.
21:25 – 21:27
Ils ont des équipes sans IA.
21:27 – 21:29
Ils ont des individus avec IA et des équipes avec IA.
21:29 – 21:33
So you’ll see that adding AI was somewhat of a benefcelle-ci.
21:33 – 21:38
Ainsi, le groupe individuel sans IA n’a clairement pas obtenu d’aussi bons résultats que les autres sous-groupes.
21:38 – 21:41
Et if they were given AI, they tended to do better.
21:41 – 21:44
But tici’s actually not much of a discernible difference between
21:44 – 21:46
un individu assisté par l’IA et une équipe assistée par l’IA.
21:46 – 21:50
Et remember, I’m going to get little statsy with you for a second.
21:50 – 21:53
The bar, like don’t worry about wici the bar actually is.
21:53 – 22:00
It’s actually the error term, that line that’s telling you the upper, that is the expected area wici the value is going to fall.
22:00 – 22:09
So all of that is to say if the bars are overlapping significantly, which they are, the black lines, they’re likely to be fairly, fairly similar numbers.
22:09 – 22:15
La deuxième chose qu’ils ont examinée, c’est de savoir si le fait qu’il s’agisse d’un emploi « de base » avait une importance ou non.
22:15 – 22:19
Et si l’on prenait une personne totalement inexpérimentée et qu’on lui confiait une tâche d’IA ?
22:19 – 22:23
uh Well, the reality is that doesn’t quite work.
22:23 – 22:25
Et I think intuitively we all know this.
22:25 – 22:27
Encore une fois, je viens de parler de « slop » en IA.
22:27 – 22:29
L’IA se trompe de manière très convaincante.
22:29 – 22:30
Ça a l’air plus ou moins intelligent.
22:30 – 22:39
On dirait un peu que vous avez donné à un enfant – si vous connaissez le syndrome de Dunning-Kruger – qui souffre vraiment du syndrome de Dunning-Kruger à son paroxysme.
22:39 – 22:47
It’s synthesizing a bunch of information without context and it’s sort putting it out tici, but it’s not necessarily good.
22:47 – 22:49
It’s just volumetric.
22:49 – 22:59
Et overwhelmingly what they found was that individuals and teams with no expertise or limited expertise got somewhat of a boost, but really you still needed people in the room
22:59 – 23:05
qui comprenaient les résultats et les besoins pour tirer pleinement parti de cette technologie.
23:05 – 23:07
Et then finally, of course, time saved.
23:07 – 23:09
C’est donc extrêmement intéressant, à savoir que
23:09 – 23:11
Et we know this intuitively.
23:11 – 23:15
Les équipes sont peut-être moins efficaces pour faire avancer les choses rapidement.
23:15 – 23:19
is better, but they’re not as good.
23:19 – 23:22
You have to do lot of consensus building, getting people’s inputs and opinions.
23:22 – 23:28
Et AI did save some time, but of course, if they were working by themselves with AI, they work the fastest.
23:28 – 23:32
Et the most important part, who did the best?
23:32 – 23:39
Eh bien, il s’avère que les équipes utilisant l’IA, même si elles n’étaient pas nécessairement les plus rapides à produire quelque chose, en réalité…
23:39 – 23:43
ont eu tendance à produire le plus grand nombre de solutions se classant dans les 10 % les plus performantes.
23:43 – 23:44
C’est donc une découverte vraiment fascinante.
23:44 – 23:45
Encore une fois, c’est très, très précoce.
23:45 – 23:49
Tici’s another really great paper that I don’t have ici by Microsoft.
23:49 – 23:54
Et this is actually about the use of Copilot, which is great because that was actually a much bigger study.
23:54 – 23:58
Je crois qu’elle portait sur 20 ou 30 secteurs d’activité différents, et qu’elle l’a examiné de manière beaucoup plus approfondie.
23:58 – 24:00
So tici’s a lot of great research coming out of Stanford.
24:00 – 24:04
If tici’s something that interests you, tici is a significant amount of research happening.
24:04 – 24:08
Eric Ben-Yolson, à Stanford, mène une grande partie de ces travaux.
24:08 – 24:09
Et again, lot of the companies are coming
24:09 – 24:12
out with as well, because it is something that we’re all quite curious about.
24:12 – 24:14
Comment intégrer cette technologie ?
24:15 – 24:21
Eh bien, l’une des choses dont nous parlons depuis un certain temps, c’est ce terme, vous savez, la culture numérique.
24:21 – 24:23
Que signifie « maîtriser l’IA » ?
24:23 – 24:28
Et I think the earlier, more naive version of it was something like, oh, everyone needs to know how to program.
24:28 – 24:30
Tout le monde doit simplement savoir coder.
24:30 – 24:31
But tici was no context for celle-ci.
24:31 – 24:33
Genre, qu’est-ce que ça veut dire ?
24:33 – 24:39
Qu’est-ce que ça veut dire qu’un PDG, un vice-président senior ou un chef de produit
24:40 – 24:42
It’s not really relevant, right?
24:42 – 24:49
L’un de mes livres préférés sur la notion de culture numérique, ou le concept de culture numérique, a en fait été écrit par un professeur d’anglais.
24:49 – 24:52
Et as you probably know by now, I like using older examples.
24:52 – 25:01
Son livre a été écrit en 2003, à l’intention de ses étudiants en anglais qui devaient alors se familiariser avec la recherche sur cette nouvelle chose un peu folle qu’est Internet.
25:01 – 25:09
Quelles étaient les implications pour la recherche et la crédibilité de votre travail si vous n’alliez plus à la bibliothèque, n’interrogiez plus de personnes et disposiez d’une microfiche ?
25:09 – 25:19
and these primary sources, what happens now that you’re using a computer to do this work, or the internet, or this new unreliable thing called Wikipedia to help you with your
25:19 – 25:19
recherches ?
25:19 – 25:22
So tici’s three levels of literacy that he talks about.
25:22 – 25:24
Et it’s so relevant to IA.
25:24 – 25:32
Et I really like this rubric because it really helps you get your head around how you should be thinking about being AI literate, no matter wici you are in your usage of the
25:32 – 25:33
technologie.
25:33 – 25:34
Le niveau 1 correspond donc à la maîtrise fonctionnelle.
25:34 – 25:37
This is for people who are just on the receiving end of a technologie.
25:37 – 25:39
Et this is your average customer.
25:39 – 25:42
La personne qui interagit avec le chatbot, c’est ça ?
25:42 – 25:46
The person who’s trying to use the AI agent to do shopping for them.
25:46 – 25:48
Et really, your job is effective employment.
25:48 – 25:54
Critical literacy are for people who are not the programmers, but they’re the ones who are making the project happen.
25:54 – 25:55
So they’re maybe the product owners.
25:55 – 25:58
Leur rôle consiste à formuler une critique éclairée.
25:58 – 26:03
Et then third, rhetorical literacy, which is necessary for people who are the developers.
26:03 – 26:09
What’s really fascinating about this is that it gets less and less technical the closer and closer to the code that you are.
26:09 – 26:13
Ainsi, lorsque vous êtes programmeur ou développeur, votre travail consiste à adopter une pratique réflexive.
26:13 – 26:15
So we’ll talk a little bit about what that means.
26:15 – 26:17
So let’s say you are just the recipient.
26:17 – 26:19
You’re the person just interacting with the chatbot.
26:19 – 26:21
Vous souhaitez connaître le solde de votre compte bancaire.
26:21 – 26:22
Vous souhaitez effectuer un virement.
26:22 – 26:25
Et tici’s this AI agent that’s going to do that for you.
26:25 – 26:29
Well, how should you think about being literate in that world, and if that’s your role?
26:29 – 26:37
The most important thing is that part on the bottom is learning to engage with the technology versus as a result of the technologie.
26:37 – 26:38
That’s really, really important.
26:39 – 26:47
Vous voulez que vos utilisateurs et vos clients aient l’esprit critique pour comprendre les résultats et savoir comment ils peuvent agir, ou si la technologie devrait ou non prendre
26:47 – 26:48
agir à leur place.
26:48 – 26:54
So rather than blindly accepting, they should actually be able to engage with the technologie.
26:54 – 27:03
Et then that’s actually a much better experience as somebody using anything if you’re engaging with it and you’re actually seeing and understanding the benefits of working with
27:03 – 27:03
celle-ci.
27:05 – 27:14
Et for the second level of people, the product managers, the people managers, the product owners, the most important thing is to be able to understand when things are going wrong,
27:14 – 27:15
quand les choses ne fonctionnent pas bien.
27:15 – 27:18
C’est d’autant plus important à l’ère de l’IA générative.
27:18 – 27:20
Remember, it’s confidently incorrect.
27:20 – 27:21
Elle affichera le résultat.
27:21 – 27:28
Je crois que la grande polémique de la semaine dernière concernait le nombre d’avocats qui utilisent désormais ChatGPT pour les aider à rédiger leurs mémoires juridiques.
27:28 – 27:30
Et guess what ChatGPT does?
27:30 – 27:31
Il délire.
27:31 – 27:35
So it’s absolutely fabricating cases that don’t exist.
27:35 – 27:40
So again, this is about being smart enough to interrogate the technologie.
27:40 – 27:42
Look at the sources it’s giving you.
27:42 – 27:43
Double check celle-ci.
27:43 – 27:46
uh Et being able to challenge the system.
27:47 – 27:52
Et then when you’re the developer, the builder, the programmer, the person sticking their hands in the code.
27:52 – 27:54
Ce sont les questions les plus rhétoriques.
27:54 – 27:57
Wici does the power lie in the system?
27:57 – 28:05
If tici was a human in the loop and Stanislav Petrov had to decide whether or not to set off a nuclear weapon, would he be able to actually say no?
28:05 – 28:08
Ou devrait-il simplement se plier à ce que lui dit l’IA ?
28:08 – 28:16
So how do you design a system so that tici is the reality of the human in the loop, that people can actually be engaged?
28:16 – 28:22
Ma façon d’aborder cette question – et je sais qu’Anna en a fait la présentation – est la suivante : je dirige une organisation appelée Humane Intelligence.
28:22 – 28:34
I’m a statistician by background, a social scientist, and what interests me about Gen AI is the fact that every single person gets to have this technology in their hands.
28:34 – 28:42
Et during my time at Accenture, really, I thought about this question of what does it mean to have human in the loop, and what does it mean to have AI assurance?
28:42 – 28:50
La garantie de l’IA, c’est simplement la capacité à affirmer que ce produit ou cette technologie va se comporter, va faire ce que je pense, ce que j’ai promis qu’elle ferait.
28:50 – 28:51
Et with Gen.
28:51 – 28:52
AI, that’s actually really, really difficult.
28:52 – 28:55
Alors, comment s’y prendre au sein d’une organisation ?
28:55 – 28:58
This is a paper that we wrote in 2020 about celle-ci.
28:58 – 29:09
Really it’s about having clear and accountable processes, diffuse accountability, and also being transparent and actually more responsible with what the system can and can’t do.
29:10 – 29:16
Lorsque je travaillais chez Twitter, j’ai en fait pris une mesure assez radicale : j’ai ouvert notre code source à l’examen du public.
29:16 – 29:19
Now, the concept of a bug bounty ici in cybersecurity is nothing new.
29:19 – 29:23
Mais un programme de prime aux bogues algorithmiques, c’était du jamais vu.
29:23 – 29:27
So we opened up our code to the entire world, and we said, find problems, and we’ll give you money.
29:27 – 29:31
I actually ended up making a nonprofit, that’s Human Intelligence, to actually do that work.
29:31 – 29:40
So we’ve worked with a wide range of organizations, governments, uh civil society groups, et cetera, to do these kind of bias bounty programs.
29:41 – 29:44
Et the new thing I’m known for is red teaming.
29:44 – 29:48
So again, if you’re from cybersecurity, red teaming is not a new concept.
29:48 – 29:58
Mais il s’agit de comprendre l’utilité du « red teaming », non seulement pour cerner les acteurs malveillants, mais aussi pour anticiper les conséquences imprévues lorsque votre système présente des dysfonctionnements, même si ceux-ci ne sont pas intentionnels.
29:58 – 30:00
de la part de vos utilisateurs, est en réalité assez difficile à mettre en œuvre.
30:00 – 30:04
Et the way I tackled it is what I called structured public feedback.
30:04 – 30:10
The thing I’m the most known for is this event wici we had over 3,000 people at DEF CON, which is the largest cybersecurity
30:10 – 30:18
au monde, ont piraté et analysé, euh, huit modèles d’IA différents, en collaboration avec les propriétaires de ces modèles et les entreprises concernées.
30:18 – 30:20
Et this is against the AI Bill of Rights.
30:20 – 30:26
Que ces modèles révèlent ou non des données personnelles, qu’ils puissent ou non présenter des hallucinations.
30:26 – 30:30
Et we worked with the US government and the Biden administration to perform this work.
30:30 – 30:32
Et we continue to do that today.
30:33 – 30:40
Et what’s fascinating is that the average person, while you can have this technology in your hand, we’re more and more removed from
30:40 – 30:43
the ability to give feedback on whether or not it’s working.
30:43 – 30:46
L’un des projets sur lesquels nous avons travaillé consistait donc à collaborer avec les Instituts nationaux des normes et de la technologie.
30:46 – 30:50
Et we opened up this concept of red teaming to anybody in America.
30:50 – 30:52
Et this actually happened last year.
30:52 – 31:00
Ainsi, n’importe qui aux États-Unis pouvait tester des modèles d’IA en mode « red teaming » et faire part de ses commentaires au NIST afin de définir de meilleures normes concernant le fonctionnement de cette technologie.
31:01 – 31:05
Et really what I work for, had a TED Talk last year on this concept of a right to repair.
31:05 – 31:12
Et red teaming is a starting point, this idea of just building that knowledge base and that reflex for people to say, hey, something’s wrong ici.
31:12 – 31:13
Je veux lever la main.
31:13 – 31:15
Je veux pouvoir le signaler.
31:15 – 31:20
That’s actually not something we’ve thought about building into the technology that we have.
31:20 – 31:27
Alors, comment peut-on utiliser l’IA pour résoudre des problèmes de manière positive et productive ?
31:28 – 31:30
Et so what’s next?
31:30 – 31:31
L’IA est donc un outil de productivité, n’est-ce pas ?
31:31 – 31:32
So it’s not magic.
31:32 – 31:33
Elle n’a pas d’intention.
31:33 – 31:36
It’s not dragging your kid’s teacher out of the classroom.
31:36 – 31:41
So when you’re thinking about building and deploying AI, how can you think about it being user first, right?
31:41 – 31:49
Comment envisagez-vous les points sensibles liés à ce que l’IA sait bien faire et, surtout, à ce que les humains savent bien faire, et comment concilier les deux ?
31:49 – 31:53
Et then finally, how can you utilize this system to solve problems?
31:53 – 31:57
Et again, when we think about this idea of the human in the loop, it’s not just a phrase.
31:57 – 31:58
It’s not just a term.
31:58 – 32:00
It’s what people are asking for today.
32:01 – 32:05
you know, we’re at an all-time low with trust as it pertains to AI systems.
32:05 – 32:10
Au cours de mon mandat au sein de l’administration Biden en tant qu’envoyé scientifique, j’ai eu le privilège de parcourir le monde entier.
32:10 – 32:20
Et you’d be amazed at everybody from, you know, tribal elders in Fiji to the most sophisticated young person working with Gen.
32:20 – 32:20
IA.
32:20 – 32:22
Ils se posent tous les mêmes questions.
32:22 – 32:28
Tici’s questions about data privacy, security, whether or not algorithms are being, whether or not they’re being manipulated by algorithms.
32:28 – 32:31
whether or it’s being used maliciously against them.
32:31 – 32:33
Tout le monde se pose les mêmes questions.
32:33 – 32:39
Donc, si vous voulez instaurer la confiance dans les systèmes que vous créez, pensez d’abord à l’utilisateur, et non à la technologie.
32:39 – 32:41
Merci beaucoup de nous avoir accordé votre temps.
32:46 – 32:47
Merci, Docteur.
32:47 – 32:49
Chaldry, c’était absolument fantastique.
32:49 – 32:50
We appreciate you being ici today.
32:50 – 32:51
Merci beaucoup.