Sessão principal
Resilience Starts with Us: Ethical Pathways to Innovation & Trust in AI
AI is reshaping the foundations of business, government, and society – bringing unprecedented opportunity and responsibility. In this SHIFT 2025 keynote, Dr. Rumman Chowdhury explores why ethical AI, human judgment, and accountable design are essential to building trust and resilience in the age of automation.
Pontos principais
- Human Judgment Is Irreplaceable
Even as AI systems grow more powerful, human reasoning, ethics, and context remain essential. - Automation Needs Context
The Stanislav Petrov incident shows why automated systems must be complemented by human critical thinking. - AI Anxiety Is Not New
Concerns about automation replacing human expertise have existed long before generative AI. - Responsible AI Requires Governance
Ethical oversight, transparency, and accountability are foundational – not optional. - Human-in-the-Loop Is a Safeguard
Human-in-the-loop design is a core control that enables trustworthy innovation. - Balance Enables Trust
Ethical AI depends on balancing automation with uniquely human capabilities.
About This Session
Explore why ethical innovation requires strong human judgment alongside advanced AI systems, guided by insights from Dr. Rumman Chowdhury, CEO of Humane Intelligence and former U.S. Science Envoy for AI. The session shows how critical thinking strengthens decision-making
Ethics and Human Judgment
Dr. Rumman Chowdhury explains why ethical innovation requires strong human judgment alongside advanced AI systems. Automated decision-making alone cannot account for nuance, values, and contextual understanding.
Examine the Stanislav Petrov incident as a defining example of human-in-the-loop decision-making, demonstrating how contextual reasoning and situational analysis prevent catastrophic outcomes when automated warnings misfire.
Lessons from History
The Stanislav Petrov incident serves as a defining example of human-in-the-loop decision-making, where contextual reasoning prevented catastrophic consequences despite automated warnings.
Uncover long-standing societal concerns about AI replacing human expertise, revealing how automation anxiety and misconceptions about AI capabilities shape public expectations, even before the rise of generative AI.
Understanding AI Anxiety
Long-standing societal fears about automation replacing human expertise shape expectations around AI today. These concerns predate generative AI and reveal common misconceptions about AI capabilities.
Princípios de IA Responsável
The session outlines responsible AI principles and governance frameworks that emphasize ethical oversight, transparency, and accountability across the AI lifecycle.
Why Human-in-the-Loop Matters
Human-in-the-loop design anchors trustworthy AI by confirming that ethical reasoning, situational awareness, and judgment remain integral to decision-making.
Proteção de dados com IA conversacional do MCP
Veja como a Commvault utiliza IA conversacional e o MCP para transformar a proteção de dados.
Princípios Orientadores para uma Inteligência Artificial Responsável
Explora como práticas responsáveis de IA moldam a confiança, a inovação e a governança.
IA na Commvault: Inovação segura, resiliência inteligente
How Commvault delivers resilience for the AI era through secure, responsible innovation.
Perguntas frequentes
What is the main challenge of implementing responsible AI?
Responsible AI requires more than technical controls. It demands ethical frameworks, transparent governance, and embedding human judgment at critical decision points to manage risk and accountability.
Why is human-in-the-loop design essential for AI trustworthiness?
Humans provide ethics, context, and reasoning that machines cannot replicate. Human oversight A automação integrada de políticas safer, more reliable, and more trustworthy AI deployment.
What defines a responsible AI governance framework?
Effective frameworks include data governance, model validation, bias detection, explainability, continuous monitoring, human-in-the-loop checkpoints, and risk-based escalation procedures.
Can AI systems operate safely without human oversight?
Fully autonomous systems increase risk in complex or high-stakes scenarios. Human oversight continua sendo essential to help prevent errors, misuse, or unintended consequences.
How does ethical AI support long-term innovation?
Ethical AI builds trust with users, regulators, and society – enabling sustainable innovation rather than short-term gains that create long-term risk.
Transcrição
Ver Transcrição
Assista ao vídeoSaiba mais no SHIFT 2025para ver a transcrição com marcação de tempo
00:12 – 00:15
Nosso convidado tem um currículo extraordinário.
00:15 – 00:19
Ela é a CEO da Humane Intelligence.
00:19 – 00:26
Ela também foi a Enviada Científica dos Estados Unidos para Inteligência Artificial, nomeada pelo presidente Biden.
00:26 – 00:30
E mal posso esperar para apresentá-la e recebê-la entre nós, Dra.
00:30 – 00:32
Ruman Chowdhary.
00:42 – 00:44
Oi, bom dia.
00:44 – 00:45
It’s so good to see you all.
00:45 – 00:47
Espero que tenham gostado dos pretzels.
00:47 – 00:48
Meu nome é Dr.
00:48 – 00:56
Aman Chowdhury, e foi incrível ouvir todas as palestras e conversas e, de fato, ver alguns rostos conhecidos na plateia.
00:56 – 00:57
Olá.
00:58 – 01:03
So I’m Saiba mais no SHIFT 2025 to talk to you today about ethical pathways to innovation and trust.
01:04 – 01:08
Então, quantas pessoas sabem quem é esse homem?
01:09 – 01:18
I usually find that an audience, maybe one person does, but often I met with a lot of very confused looks when I say that he’s the reason we’re all alive today.
01:21 – 01:22
That’s right.
01:22 – 01:23
OK, so I’m going to explain.
01:23 – 01:25
Meu nome é Stanislav Petrov.
01:25 – 01:31
E, em 1983, ele era o que hoje chamaríamos de “o ser humano no circuito”.
01:31 – 01:38
Ele era o responsável por receber os sinais de um sistema técnico que indicava se os Estados Unidos haviam ou não lançado uma arma nuclear.
01:38 – 01:39
Ele estava do lado russo.
01:39 – 01:51
E his job was to, in his bunker, receive the output that a missile had launched and then push the button for what, if you remember your world history or social studies, what’s
01:51 – 01:51
conhecido como
01:51 – 01:52
destruição garantida.
01:52 – 01:56
E we’re all very, very fortunate that he didn’t.
01:56 – 02:02
E I love this story because when we think about human in the loop in technology, we don’t think about it very deeply.
02:02 – 02:05
We just think, tSaiba mais no SHIFT 2025’s a person at the end and they’re just going to dot, dot, dot do something.
02:05 – 02:07
Bem, ele era um ser humano no ciclo.
02:07 – 02:10
E it’s a good thing that he didn’t just go ahead and push the button.
02:10 – 02:17
E ele usou algo muito, muito exclusivo dos seres humanos: as pistas contextuais e o pensamento crítico.
02:17 – 02:20
E he sat tSaiba mais no SHIFT 2025 and thought, well, the Cold War has been going on for decades.
02:20 – 02:21
E tSaiba mais no SHIFT 2025 hasn’t been much
02:21 – 02:25
escalada; por que os Estados Unidos detonariam uma arma nuclear?
02:25 – 02:27
E ele optou por não apertar o botão.
02:27 – 02:31
E essa é a razão pela qual, na verdade, não acabamos entrando em uma guerra nuclear.
02:31 – 02:32
It’s incredibly important.
02:32 – 02:37
E what’s absolutely wild is really very few people know who this man is.
02:37 – 02:48
E eu adoro essa história mais uma vez porque ela realmente demonstra como o pensamento crítico humano não pode ser substituído nem mesmo pela tecnologia mais avançada.
02:49 – 02:52
Então, quando falamos de inteligência artificial, o que queremos dizer?
02:52 – 02:53
Então, naquela época, o Sr.
02:53 – 02:59
Petrov teve acesso a algumas das tecnologias mais avançadas.
02:59 – 03:08
E talvez parecesse intimidante ou assustador que um ser humano pudesse se levantar e desafiar o resultado de uma ferramenta tecnológica tão sofisticada.
03:08 – 03:11
E that’s sometimes how we think about artificial intelligence.
03:11 – 03:16
E esses são os tipos de manchetes que você talvez tenha aberto e visto no seu aplicativo de notícias hoje.
03:16 – 03:19
A solução para nossa crise na educação pode ser
03:19 – 03:31
IA: será que os educadores são os próximos na fila para serem substituídos por robôs? Os advogados, a próxima profissão a ser substituída por computadores? E a onipresente IA é tão boa quanto qualquer outra no diagnóstico da doença X?
03:31 – 03:33
ser humano ou médico.
03:33 – 03:36
E tSaiba mais no SHIFT 2025’s a couple of things I want to note about these headlines.
03:36 – 03:37
Então, número um.
03:37 – 03:42
These probably sound like they’ve come from the last three years, a generative AI revolution.
03:42 – 03:45
Na verdade, todas elas são de 2018 a 2020.
03:45 – 03:49
I’ve been in this field for almost a decade at this point, well, specifically in responsible IA.
03:49 – 03:52
I’ve been in tech for over 15 years.
03:52 – 03:56
E parece que, a cada nova iteração, vemos essas manchetes se repetirem sem parar.
03:56 – 04:00
E, claro, a cada nova versão, a tecnologia fica cada vez mais sofisticada.
04:00 – 04:04
But tSaiba mais no SHIFT 2025’s a couple of things Saiba mais no SHIFT 2025 that I find quite problematic.
04:04 – 04:07
Number one, tSaiba mais no SHIFT 2025 is this anthropomorphizing of the tecnologia.
04:07 – 04:20
If you read these sentences, it sounds like tSaiba mais no SHIFT 2025 is some AI person in a machine that really wants to be a doctor or a teacher or a lawyer, and it goes and it drags your kid’s
04:20 – 04:21
professor, que se debate e grita.
04:21 – 04:24
Quer dizer, uma revolta dos robôs, meu Deus.
04:24 – 04:25
Que drama, né?
04:25 – 04:29
But importantly, wSaiba mais no SHIFT 2025 is the person in this sentence?
04:29 – 04:37
Em todas essas manchetes — e, repito, são manchetes muito comuns que você provavelmente vê todos os dias —, o ser humano é apenas um elemento passivo
04:37 – 04:41
destinatário do que a tecnologia decidiu fazer.
04:41 – 04:44
E isso não poderia estar mais longe da verdade.
04:44 – 04:50
Então, o que aconteceu é que as pessoas acham que a IA é uma espécie de horda de robôs.
04:50 – 04:51
E instead, it’s not.
04:51 – 04:55
It’s something that looks fine.
04:55 – 04:56
Posso voltar, por favor?
04:56 – 04:56
Desculpe.
04:58 – 04:59
vamos ver se isso acontece.
04:59 – 05:00
TSaiba mais no SHIFT 2025 you go, thank you.
05:00 – 05:11
What people think AI is these hordes of robots coming in to change our lives and take our jobs and maybe teach our kids, but the reality is if you’re a developer like I am, it
05:11 – 05:13
parece um pouco mais com isso.
05:13 – 05:22
E actually the reality is those hyperbolic headlines don’t reflect the truth, which is that a lot of human effort and labor for everything from data collection, data curation,
05:22 – 05:29
limpeza, segurança, programação, depuração e, depois, o lançamento, a expansão e a entrega do produto,
05:30 – 05:49
e implantação — tudo isso, na verdade, requer pessoas.
05:49 – 05:50
So we just don’t go into educators in line for robot takeover.
05:50 – 05:52
tSaiba mais no SHIFT 2025’s a lot of human steps that happened in the meantime.
05:52 – 05:58
Nós conversamos sobre as coisas, e quando conversamos, quando lidamos com questões humanas,
05:58 – 06:04
estamos interagindo diretamente com essa tecnologia que parece tão futurística e tão capaz.
06:04 – 06:11
Well, what happens is that we start to push technology forward that’s not actually thinking about what human beings might need.
06:11 – 06:22
E então, especificamente quando a tecnologia não está realmente cumprindo as narrativas fantásticas, hum, que podem ter sido prometidas em uma apresentação, o que acontece é que nós, na verdade,
06:22 – 06:28
presumimos que os seres humanos e a sociedade precisam se adaptar às limitações da tecnologia,
06:28 – 06:34
em vez de pensar em como podemos desenvolver a tecnologia para que ela se adapte às necessidades da sociedade.
06:34 – 06:37
E that’s something I call the retrofit human.
06:37 – 06:44
Então, quando pensamos nesse “ser humano adaptado”, uma das maneiras de enxergarmos a tecnologia de IA é: em que ela é boa?
06:44 – 06:46
Do que ela é capaz?
06:46 – 06:50
E tSaiba mais no SHIFT 2025’s a few things that machine learning and AI is actually quite good at.
06:50 – 06:55
So all of this preamble is not to say AI is not capable or machine learning can’t do things.
06:55 – 06:57
Na verdade, eles podem fazer coisas realmente incríveis.
06:57 – 07:02
But what’s important Saiba mais no SHIFT 2025 is parsing out what people are really good at versus what technology is really good at.
07:02 – 07:03
So what’s technology really good at?
07:03 – 07:06
It’s good at identifying overarching patterns.
07:06 – 07:08
It’s good at parsing through
07:08 – 07:10
e identificar coisas que são semelhantes entre si.
07:10 – 07:13
That’s basically most of the basis of computer vision.
07:13 – 07:17
E it’s generally consistent, depending on the error rate.
07:17 – 07:27
So when we build AI, and again, I’ve been doing this for quite some time, one kind of shorthand is to say that we collect a lot of data to build for the average person of a
07:27 – 07:29
tipo específico.
07:29 – 07:32
E podemos coletar dados extremamente específicos.
07:32 – 07:35
E it’s not to say we’re doing it for the average person overall.
07:35 – 07:37
Mas definimos você, eu e o
07:37 – 07:41
pessoa sentada ao seu lado como parte de um perfil de cliente ou de uma comunidade.
07:41 – 07:45
E maybe it’s based on 10, 20, 100 different data points.
07:45 – 07:50
E then you kind of assume that tSaiba mais no SHIFT 2025 are some assumptions made about the data that’s missing.
07:50 – 07:50
Tudo bem.
07:50 – 07:55
Well, I’m going to tell you a story about what it means to build for the average person.
07:55 – 08:04
E o que significa, afinal, “pessoa comum”, mesmo que se trate de um subconjunto hiperespecífico de pessoas que, poderia-se pensar, seria muito, muito previsível?
08:04 – 08:07
Aliás, uma coisa que adoro é contar anedotas, histórias e dar palestras
08:07 – 08:07
.
08:07 – 08:07
.
08:07 – 08:07
.
08:07 – 08:11
inteligência artificial, então nada a ver com inteligência artificial.
08:11 – 08:19
One of the biggest mistakes we do is we think that this technology is new and that all the problems we face are things that we’re never going to see, that we’ve never seen before.
08:19 – 08:21
We’ve never asked these questions.
08:21 – 08:31
E, embora a IA esteja introduzindo novos paradigmas, novas perguntas e novas questões, os problemas que estamos resolvendo não são, na verdade, questões totalmente novas.
08:31 – 08:32
Então, essa é uma das minhas histórias favoritas de se contar.
08:32 – 08:37
Então, na década de 1940, os acidentes com aviões de linha estavam em um nível recorde.
08:53 – 09:07
Então, a Força Aérea dos EUA procurou os fabricantes de assentos de avião e disse: “Olhem, precisamos que vocês redesenhem esses assentos, porque o perfil médio dos
09:07 – 09:08
nossos pilotos mudou.”
09:08 – 09:13
Of course, if we think about who these pilots are, they’re actually a pretty narrow subset of people.
09:13 – 09:17
They’re young men between probably 18 to maximum 30.
09:19 – 09:20
They’re quite healthy.
09:20 – 09:22
They’re able-bodied, et cetera.
09:22 – 09:24
E in that time, tSaiba mais no SHIFT 2025 would be no women pilots.
09:24 – 09:26
Seria bastante padronizado.
09:26 – 09:33
Então, na década de 1940, eles fizeram o que já haviam feito na década de 1920, ou seja, recrutaram mais de 4.000 desses pilotos.
09:33 – 09:36
Eles os avaliaram em 10 critérios diferentes.
09:36 – 09:37
Isso soa familiar?
09:37 – 09:43
If you’re a data scientist in the room, this sounds like a pretty reasonable way to design a good seat.
09:43 – 09:48
Então, com mais de 4.000 homens e 10 pontos de dados diferentes, eles calcularam a média e criaram um assento.
09:49 – 09:59
E ele não serviu a ninguém; nem um único desses cerca de 4.000 pilotos se sentou naquele assento e disse: “Sim, isso é confortável para mim”.
09:59 – 10:04
E a razão é que essa ideia de média se refere à pessoa que está no 50º percentil.
10:04 – 10:07
If you know a bell curve, it’s the biggest part of the bell curve.
10:07 – 10:11
curva, mas isso não é necessariamente uma pessoa real que exista.
10:11 – 10:20
It’s a fantastical person that is an amalgamation of all the other data points you’ve collected about the people like them.
10:20 – 10:22
Então, eles reduziram isso a três dimensões.
10:22 – 10:26
E se a gente simplesmente pegar três pontos de dados e tiver mais dados gerais, certo?
10:26 – 10:29
Isso se encaixava em apenas cerca de 13% dos pilotos.
10:29 – 10:34
Bem, então a Força Aérea voltou atrás e disse: “Ok, fabricantes de aviões, isso não está funcionando para nós”.
10:34 – 10:36
Porque, é claro, trata-se de uma situação de vida ou morte.
10:36 – 10:41
Esses assentos precisam ser realmente funcionais e úteis, e os pilotos se encontram em situações muito extremas.
10:41 – 10:43
Portanto, isso não é algo pensado depois.
10:43 – 10:50
Então, eles voltaram e disseram: na verdade, em vez de projetar para a pessoa do 50º percentil, a pessoa média, o que eu quero que vocês façam é, na verdade, criar
10:50 – 10:53
os assentos se adaptem a 95% de todos os pilotos.
10:54 – 10:57
o que representa uma mudança radical na forma de medir o sucesso, certo?
10:57 – 11:02
Because so much of what you’re making is how you’re defining what success is and what good looks like.
11:02 – 11:09
So they redefined good to say, rather than making a seat for the average pilot, why don’t we make the seat that fits 95 % of all pilots?
11:09 – 11:13
E, mais uma vez, trata-se ainda de um pequeno subconjunto de pessoas, sem muita variação.
11:13 – 11:19
So all the airplane manufacturers came back and said, impossible, can’t do it, never done it before, we’re going to go broke.
11:19 – 11:21
Essa é uma ideia absolutamente maluca.
11:21 – 11:24
E of course, it’s the Air Force, so they can do what they want.
11:24 – 11:27
like, all right, fine, we’ll go find somebody else who’ll do ela.
11:27 – 11:28
E foi o que eles fizeram.
11:29 – 11:31
foi simplesmente criar assentos ajustáveis.
11:31 – 11:42
So whenever you get in your car or a bus or an airplane and you can do things like move the armrest and lift the headrest and tilt the seat differently, it’s a reason why someone
11:42 – 11:49
who’s 5’3 like me and the average 5’10 guy can actually get into the same car and drive ela.
11:49 – 11:56
It’s because the military pushed back and actually said, we want you to rethink how you design.
11:56 – 11:59
We want you to rethink how you’re making this technological tool.
11:59 – 12:06
again, rather than saying we’re building for an average, we’re going to say we want this to embrace a wider range of people.
12:06 – 12:12
Uma mudança radical que, na verdade, mais uma vez, levou a produtos com melhor design e melhor resultado.
12:12 – 12:13
Então, quais são suas principais conclusões?
12:13 – 12:22
A primeira é que, para que a IA funcione, precisamos pensar de forma radical e diferente sobre como personalizar e desenvolver soluções para os usuários que temos.
12:22 – 12:26
A segunda é uma clara mudança na prestação de contas e na responsabilidade.
12:26 – 12:29
Eu cunhei o termo “terceirização moral”, e ele está ligado
12:29 – 12:38
a essa antropomorfização da inteligência artificial, à forma como usamos expressões que dão a impressão de que a IA tem intenção, que a IA tem razão, quando, na verdade, ela não tem nada disso.
12:38 – 12:41
It’s human beings that build and deploy tecnologia.
12:41 – 12:49
Rather than saying we’re building AI to replace lawyers, what’s actually happening is somebody is making a company that is legal tech.
12:49 – 12:56
E you can choose to make legal tech in a way that is augmenting a human, or you can choose to make legal tech in a way that’s intentionally trying to replace them.
12:56 – 12:59
E it’s a human-driven decision, a human-driven decision on how
12:59 – 13:00
como a tecnologia está sendo utilizada.
13:00 – 13:08
E, finalmente, para colher os benefícios da inteligência artificial, é necessário investir tanto no lado humano quanto no lado técnico.
13:08 – 13:18
So rather than seeing the fact that all of our bodies are different sizes and shapes and heights as a failing, it’s actually an opportunity to design better and to design more
13:18 – 13:19
abrangente.
13:20 – 13:22
Então, como a IA afetará nossa sociedade?
13:22 – 13:33
So I will say the number one talk I’m asked to give, and this started this year, and I’ve done so many speaking engagements, I’ve talked a lot about ethical responsible AI, but the
13:33 – 13:37
futuro do trabalho em 2025 se tornou, de fato, o tema mais solicitado.
13:37 – 13:47
ah E what I’m glad to report is that actually tSaiba mais no SHIFT 2025’s a lot of empirical evidence, tSaiba mais no SHIFT 2025’s a lot of really great work that’s happening wSaiba mais no SHIFT 2025 people are talking about, know,
13:47 – 13:50
quantitatively they’re measuring and studying the impact of
13:50 – 13:51
IA na força de trabalho.
13:51 – 13:59
So in one hand, again, what you may see in the news when you open your news reader is something like people calling for universal basic income, people saying that tSaiba mais no SHIFT 2025 will be
13:59 – 14:01
não haverá mais empregos para ninguém.
14:01 – 14:07
E what we’re finding instead is that it’s actually quite, it’s more granular conversation.
14:07 – 14:10
So I’m going to talk to you about three different papers that I really love.
14:10 – 14:13
TSaiba mais no SHIFT 2025’s actually quite a few papers out tSaiba mais no SHIFT 2025, but tSaiba mais no SHIFT 2025’s three papers that I love.
14:13 – 14:18
Quero começar com uma visão geral, como o impacto macroeconômico em todo o mundo nos próximos 10 anos.
14:18 – 14:20
Visão de médio prazo, que é vertical
14:20 – 14:30
por setor e o estudo mais detalhado e experimental realizado em uma empresa específica para observar como os funcionários reagiram e como responderam ao trabalho com IA e como
14:30 – 14:31
isso os afetou.
14:31 – 14:40
I will also start by actually saying that I speak at a lot of universities and actually tSaiba mais no SHIFT 2025 is a lot of very justified concern amongst young people.
14:40 – 14:50
E what we’re finding, and again this is the first year we’re really seeing it, that Gen Z entering the market to get jobs, entry-level jobs are having a harder time because
14:50 – 14:53
a inteligência artificial é, de fato, capaz de realizar algumas das tarefas de nível básico.
14:53 – 14:56
E isso não se limita apenas à pesquisa e à redação.
14:56 – 14:58
It’s actually primarily in programming.
14:58 – 15:02
Então, o que a IA realmente faz muito bem é programação de nível básico.
15:02 – 15:07
Now, you still need senior developers to ensure that the code is robust, it’s functional, et cetera.
15:07 – 15:11
Mas muitos dos cargos de nível júnior simplesmente não estão sendo substituídos.
15:11 – 15:17
So as people are aging up and they’re getting promoted, their junior roles are just not getting replaced.
15:17 – 15:20
E it’s worrisome about the future.
15:20 – 15:27
Então, o primeiro artigo sobre o qual quero falar é de uma economista do trabalho, a professora Dara Nesemoglu, do MIT.
15:27 – 15:32
he studied, and again, he’s somebody who’s been doing econ for very, long time.
15:32 – 15:37
E he’s really entered the AI space thinking about the impact on work and productivity.
15:37 – 15:45
So he looked at what’s called total factor productivity, which is pretty much if you summed up the GDP of every country, that would be sort of the TFP.
15:45 – 15:50
ah E what he’s calculated is that over the next 10 years, it’s going to be what he calls
15:50 – 16:01
Então, um impacto não insignificante, mas modesto, algo em torno de menos de 1%, o que pode não parecer muito, mas, aliás, é menos de 1% do PIB total do mundo inteiro, o que é bastante significativo.
16:01 – 16:03
So, that’s a pretty significant amount of automation.
16:03 – 16:06
Mas ele aprofundou ainda mais a análise para perguntar: o que está sendo automatizado?
16:06 – 16:13
E he points out that what a lot of people have is that it’s actually more white-collar jobs than blue-collar jobs getting automated.
16:13 – 16:14
E isso é interessante.
16:14 – 16:19
This really points out one of the things that’s particularly radical about generative IA.
16:32 – 16:33
E ponto.
16:33 – 16:36
E E E I think that’s important point.
16:36 – 16:36
E ponto.
16:36 – 16:38
E um ponto realmente importante.
16:38 – 16:50
E I important E um ponto realmente importante.
16:50 – 16:50
E
16:50 – 16:54
really knowledge labor, rudimentary knowledge labor that’s being automated.
16:54 – 16:56
We haven’t really thought about that before.
16:56 – 16:59
We’ve not had to deal with the impact of .
16:59 – 17:08
E by the way, going back to Gen Z, some of you, if you have kids of that age, might know that your kids or their friends might actually be thinking about getting blue collar jobs.
17:08 – 17:14
Because increasingly, young people don’t know what the value is of college education if AI is actually able to do that work.
17:14 – 17:20
Mas uma IA nunca será capaz de cortar seu gramado, consertar seu encanamento ou projetar um
17:20 – 17:21
telhado.
17:21 – 17:32
E what they’re seeing is that, for many reasons, a blue collar job to a lot of them seems a lot more, you know, predictable and reliable than trying to aim really high for
17:32 – 17:40
some sort of a senior level VP role that may or may not manifest itself because you can’t get your first job, you’re never going to get promoted.
17:40 – 17:48
So, you know, he noted that AI is predicted to widen the gap between capital and labor income, but also that tSaiba mais no SHIFT 2025’s going to be this negative societal value that we really have
17:48 – 17:50
levar em consideração.
17:50 – 18:02
most interesting things I’m seeing is as we continue to measure the value of AI, people are increasingly bringing in the negative externality on society as a factor to consider.
18:02 – 18:09
Afinal, de que adianta criar uma máquina de produtividade se, no fim das contas, ficarmos todos completamente incapacitados?
18:09 – 18:14
TSaiba mais no SHIFT 2025 is serious concern about things like over-reliance, about people use this phrase, AI psychosis.
18:14 – 18:20
uh we’re seeing tSaiba mais no SHIFT 2025’s education tech coming out, and tSaiba mais no SHIFT 2025’s concern
18:20 – 18:22
de que os jovens possam se tornar excessivamente dependentes da tecnologia.
18:22 – 18:28
Como podemos refletir sobre essas questões e lidar com elas ao desenvolver tecnologias que ainda tragam benefícios líquidos?
18:29 – 18:37
So the second paper I like to talk about is actually from 2023, and it’s actually by a team at OpenAI that worked with another group of economists.
18:37 – 18:41
It’s called GPTs or GPTs, and it looks at different verticals.
18:41 – 18:49
E rather than kind of saying blanket, all of these jobs are going to get automated away, it said, well, sector by sector, what is more likely to be automated away?
18:49 – 18:59
E the shorthand to take away is that about 80 % of the workforce would have about 10 % of your tasks automated, and roughly 19 % would have about half of tasks impacted.
18:59 – 19:04
E that pretty much tracks, that was a few years ago, and it kind of tracks the trends that we’re seeing.
19:04 – 19:13
Acho que muitos de nós usamos ferramentas de IA para tarefas básicas de produtividade, como ajudar a revisar suas anotações ou talvez fazer resumos de reuniões para você.
19:13 – 19:18
It’s not taking over your job, and in fact, it’s probably giving you a little bit of extra time back.
19:18 – 19:22
A maioria de nós nesta sala provavelmente faz parte desses 80%.
19:22 – 19:29
Esses 19% dos trabalhadores que estão vendo 50% de suas tarefas serem automatizadas apontaram profissões como jornalismo e assistente jurídico.
19:29 – 19:35
funções mais voltadas para pesquisa e conhecimento, que talvez não exijam especialização profunda.
19:36 – 19:37
Então, agora, o terceiro artigo.
19:37 – 19:46
E again, one of the biggest topics that people want to understand is what does artificial intelligence mean in my workforce if I use it, if my employees use it, if my
19:46 – 19:47
empresa a adotar?
19:47 – 19:56
Bem, de forma esmagadora, posso afirmar que a resposta é: o ser humano aliado à IA é superior ao ser humano sem a IA ou à IA por si só.
19:56 – 19:58
E I love this study because, first of it has a fabulous name.
19:58 – 20:00
It’s called The Cybernetic Teammate.
20:00 – 20:04
E it was a case study done at Harvard Business School working with Procter & Gamble.
20:04 – 20:06
E they set up a randomized controlled experiment.
20:06 – 20:17
experiment, about 800 P &G employees, they had a multi-day hackathon, and they basically put people into groups, it’s either teams or individuals, some got AI and some didn’t.
20:17 – 20:24
E what I like about this paper, often a lot of the papers about uh AI in the workplace is about productivity.
20:24 – 20:30
E I really, really, really hate that measurement, because uh tSaiba mais no SHIFT 2025’s one thing AI can do, it’s just produce.
20:30 – 20:31
That’s all it does.
20:31 – 20:34
E actually, it’s often confidently incorrect.
20:35 – 20:36
É preciso ser humano para ser
20:36 – 20:38
para entender se esse resultado…
20:38 – 20:43
Quero dizer, temos uma palavra para isso agora: chamamos de “slop” — “slop” de força de trabalho, “slop” de IA, certo?
20:43 – 20:45
É literalmente o termo usado para isso agora.
20:45 – 20:50
Então, apenas medir a produção pura não está realmente trazendo nenhuma resposta.
20:50 – 20:57
Mas o que eles testaram foram aspectos como a qualidade do trabalho, o tempo até a conclusão e, principalmente, a capacidade de auxiliar trabalhadores não especializados.
20:57 – 21:05
Because on the other end the concern for more senior people or at least one of the narratives is that well maybe in the future you won’t need expertise.
21:05 – 21:06
Você só precisa de…
21:06 – 21:11
an inexperienced human, you slap on some AI, and then they’re the same as a senior developer.
21:11 – 21:13
So they wanted to test all of .
21:14 – 21:20
So how do they do it so you don’t have to read a lot of complicated uh bar charts?
21:20 – 21:22
A primeira coisa que analisaram foi a qualidade média das soluções.
21:22 – 21:25
Lembre-se: eles usaram o indivíduo sem IA como referência.
21:25 – 21:27
Eles têm as equipes sem IA.
21:27 – 21:29
Eles têm o indivíduo mais IA e a equipe mais IA.
21:29 – 21:33
So you’ll see that adding AI was somewhat of a benefela.
21:33 – 21:38
Portanto, o grupo individual sem IA claramente não se saiu tão bem quanto qualquer um dos outros subgrupos.
21:38 – 21:41
E if they were given AI, they tended to do better.
21:41 – 21:44
But tSaiba mais no SHIFT 2025’s actually not much of a discernible difference between
21:44 – 21:46
o indivíduo com IA e a equipe com IA.
21:46 – 21:50
E remember, I’m going to get little statsy with you for a second.
21:50 – 21:53
The bar, like don’t worry about wSaiba mais no SHIFT 2025 the bar actually is.
21:53 – 22:00
It’s actually the error term, that line that’s telling you the upper, that is the expected area wSaiba mais no SHIFT 2025 the value is going to fall.
22:00 – 22:09
So all of that is to say if the bars are overlapping significantly, which they are, the black lines, they’re likely to be fairly, fairly similar numbers.
22:09 – 22:15
Então, a segunda coisa que eles analisaram foi se o fato de ser ou não o emprego principal fazia diferença.
22:15 – 22:19
E se você pegasse uma pessoa completamente inexperiente e lhe desse IA?
22:19 – 22:23
uh Well, the reality is that doesn’t quite work.
22:23 – 22:25
E I think intuitively we all know this.
22:25 – 22:27
Mais uma vez, acabei de me referir à “desleixada IA”.
22:27 – 22:29
A IA está de forma muito convincente errada.
22:29 – 22:30
Parece meio inteligente.
22:30 – 22:39
Parece que você deu a uma criança — se você já ouviu falar do termo “síndrome de Dunning-Kruger” — que realmente sofre da síndrome de Dunning-Kruger em sua forma mais grave.
22:39 – 22:47
It’s synthesizing a bunch of information without context and it’s sort putting it out tSaiba mais no SHIFT 2025, but it’s not necessarily good.
22:47 – 22:49
It’s just volumetric.
22:49 – 22:59
E overwhelmingly what they found was that individuals and teams with no expertise or limited expertise got somewhat of a boost, but really you still needed people in the room
22:59 – 23:05
que compreendessem o resultado e o que era necessário para realmente obter os benefícios dessa tecnologia.
23:05 – 23:07
E then finally, of course, time saved.
23:07 – 23:09
Então, isso é superinteressante, que é o fato de que
23:09 – 23:11
E we know this intuitively.
23:11 – 23:15
As equipes talvez não sejam tão boas em realizar as tarefas rapidamente.
23:15 – 23:19
is better, but they’re not as good.
23:19 – 23:22
You have to do lot of consensus building, getting people’s inputs and opinions.
23:22 – 23:28
E AI did save some time, but of course, if they were working by themselves with AI, they work the fastest.
23:28 – 23:32
E the most important part, who did the best?
23:32 – 23:39
Bem, acontece que as equipes que usaram IA, mesmo que não tenham sido necessariamente as mais rápidas na produção de algo, na verdade
23:39 – 23:43
tenderam a apresentar o maior número de soluções entre os 10% melhores.
23:43 – 23:44
Portanto, essa é uma descoberta realmente fascinante.
23:44 – 23:45
Mais uma vez, é muito, muito precoce.
23:45 – 23:49
TSaiba mais no SHIFT 2025’s another really great paper that I don’t have Saiba mais no SHIFT 2025 by Microsoft.
23:49 – 23:54
E this is actually about the use of Copilot, which is great because that was actually a much bigger study.
23:54 – 23:58
Acho que foram 20, 30 setores diferentes, analisando o assunto de forma bem mais aprofundada.
23:58 – 24:00
So tSaiba mais no SHIFT 2025’s a lot of great research coming out of Stanford.
24:00 – 24:04
If tSaiba mais no SHIFT 2025’s something that interests you, tSaiba mais no SHIFT 2025 is a significant amount of research happening.
24:04 – 24:08
Eric Ben-Yolson, da Universidade de Stanford, está conduzindo grande parte desse trabalho.
24:08 – 24:09
E again, lot of the companies are coming
24:09 – 24:12
out with as well, because it is something that we’re all quite curious about.
24:12 – 24:14
Como podemos integrar essa tecnologia?
24:15 – 24:21
Bem, e uma das coisas sobre as quais já conversamos há algum tempo é esse termo, sabe, alfabetização digital.
24:21 – 24:23
O que significa ter alfabetização em IA?
24:23 – 24:28
E I think the earlier, more naive version of it was something like, oh, everyone needs to know how to program.
24:28 – 24:30
Todo mundo simplesmente precisa programar.
24:30 – 24:31
But tSaiba mais no SHIFT 2025 was no context for ela.
24:31 – 24:33
Tipo, o que isso significa?
24:33 – 24:39
O que significa um CEO, um vice-presidente sênior ou um gerente de produto
24:40 – 24:42
It’s not really relevant, right?
24:42 – 24:49
Então, um dos meus livros favoritos sobre o que é alfabetização digital, ou o conceito de alfabetização digital, foi escrito, na verdade, por um professor de inglês.
24:49 – 24:52
E as you probably know by now, I like using older examples.
24:52 – 25:01
O livro dele foi escrito em 2003 e foi destinado aos seus alunos de inglês, que agora estão se aventurando a fazer pesquisas nessa novidade maluca chamada internet.
25:01 – 25:09
O que isso significava para a pesquisa e a credibilidade do seu trabalho se você não fosse mais à biblioteca, não entrevistasse mais pessoas e não tivesse mais microfichas?
25:09 – 25:19
and these primary sources, what happens now that you’re using a computer to do this work, or the internet, or this new unreliable thing called Wikipedia to help you with your
25:19 – 25:19
pesquisa?
25:19 – 25:22
So tSaiba mais no SHIFT 2025’s three levels of literacy that he talks about.
25:22 – 25:24
E it’s so relevant to IA.
25:24 – 25:32
E I really like this rubric because it really helps you get your head around how you should be thinking about being AI literate, no matter wSaiba mais no SHIFT 2025 you are in your usage of the
25:32 – 25:33
tecnologia.
25:33 – 25:34
Então, o nível um é o de alfabetização funcional.
25:34 – 25:37
This is for people who are just on the receiving end of a tecnologia.
25:37 – 25:39
E this is your average customer.
25:39 – 25:42
A pessoa que interage com o chatbot, certo?
25:42 – 25:46
The person who’s trying to use the AI agent to do shopping for them.
25:46 – 25:48
E really, your job is effective employment.
25:48 – 25:54
Critical literacy are for people who are not the programmers, but they’re the ones who are making the project happen.
25:54 – 25:55
So they’re maybe the product owners.
25:55 – 25:58
O trabalho deles é fazer uma crítica fundamentada.
25:58 – 26:03
E then third, rhetorical literacy, which is necessary for people who are the developers.
26:03 – 26:09
What’s really fascinating about this is that it gets less and less technical the closer and closer to the code that you are.
26:09 – 26:13
Portanto, quando você é programador, desenvolvedor, sua função é ter uma prática reflexiva.
26:13 – 26:15
So we’ll talk a little bit about what that means.
26:15 – 26:17
So let’s say you are just the recipient.
26:17 – 26:19
You’re the person just interacting with the chatbot.
26:19 – 26:21
Você quer saber qual é o seu saldo bancário.
26:21 – 26:22
Você quer transferir uma quantia.
26:22 – 26:25
E tSaiba mais no SHIFT 2025’s this AI agent that’s going to do that for you.
26:25 – 26:29
Well, how should you think about being literate in that world, and if that’s your role?
26:29 – 26:37
The most important thing is that part on the bottom is learning to engage with the technology versus as a result of the tecnologia.
26:37 – 26:38
That’s really, really important.
26:39 – 26:47
você quer que seus usuários e clientes tenham uma compreensão crítica dos resultados e saibam como agir ou se a tecnologia deve ou não assumir
26:47 – 26:48
uma ação por eles.
26:48 – 26:54
So rather than blindly accepting, they should actually be able to engage with the tecnologia.
26:54 – 27:03
E then that’s actually a much better experience as somebody using anything if you’re engaging with it and you’re actually seeing and understanding the benefits of working with
27:03 – 27:03
ela.
27:05 – 27:14
E for the second level of people, the product managers, the people managers, the product owners, the most important thing is to be able to understand when things are going wrong,
27:14 – 27:15
quando as coisas não estão funcionando bem.
27:15 – 27:18
Isso é ainda mais importante na era da IA generativa.
27:18 – 27:20
Remember, it’s confidently incorrect.
27:20 – 27:21
Ela vai dizer “saída”.
27:21 – 27:28
Acho que, na semana passada, o grande escândalo foi o número de advogados que agora estão usando o ChatGPT para ajudá-los a redigir suas petições judiciais.
27:28 – 27:30
E guess what ChatGPT does?
27:30 – 27:31
Ele tem alucinações.
27:31 – 27:35
So it’s absolutely fabricating cases that don’t exist.
27:35 – 27:40
So again, this is about being smart enough to interrogate the tecnologia.
27:40 – 27:42
Look at the sources it’s giving you.
27:42 – 27:43
Double check ela.
27:43 – 27:46
uh E being able to challenge the system.
27:47 – 27:52
E then when you’re the developer, the builder, the programmer, the person sticking their hands in the code.
27:52 – 27:54
as perguntas são as mais retóricas.
27:54 – 27:57
WSaiba mais no SHIFT 2025 does the power lie in the system?
27:57 – 28:05
If tSaiba mais no SHIFT 2025 was a human in the loop and Stanislav Petrov had to decide whether or not to set off a nuclear weapon, would he be able to actually say no?
28:05 – 28:08
Ou ele teria simplesmente que seguir o que a IA dissesse?
28:08 – 28:16
So how do you design a system so that tSaiba mais no SHIFT 2025 is the reality of the human in the loop, that people can actually be engaged?
28:16 – 28:22
Minha maneira de abordar isso — e sei que a Anna fez a introdução — é que eu dirijo uma organização chamada Humane Intelligence.
28:22 – 28:34
I’m a statistician by background, a social scientist, and what interests me about Gen AI is the fact that every single person gets to have this technology in their hands.
28:34 – 28:42
E during my time at Accenture, really, I thought about this question of what does it mean to have human in the loop, and what does it mean to have AI assurance?
28:42 – 28:50
A garantia de IA é simplesmente a capacidade de afirmar que este produto ou esta tecnologia vai agir, vai fazer o que eu imagino, o que prometi que ela faria.
28:50 – 28:51
E with Gen.
28:51 – 28:52
AI, that’s actually really, really difficult.
28:52 – 28:55
Então, como você faz isso dentro de uma organização?
28:55 – 28:58
This is a paper that we wrote in 2020 about ela.
28:58 – 29:09
Really it’s about having clear and accountable processes, diffuse accountability, and also being transparent and actually more responsible with what the system can and can’t do.
29:10 – 29:16
Durante meu tempo no Twitter, eu fiz algo bastante radical: abri nosso código para análise pública.
29:16 – 29:19
Now, the concept of a bug bounty Saiba mais no SHIFT 2025 in cybersecurity is nothing new.
29:19 – 29:23
Mas um programa de recompensa por bugs algorítmicos era algo que nunca havia acontecido antes.
29:23 – 29:27
So we opened up our code to the entire world, and we said, find problems, and we’ll give you money.
29:27 – 29:31
I actually ended up making a nonprofit, that’s Human Intelligence, to actually do that work.
29:31 – 29:40
So we’ve worked with a wide range of organizations, governments, uh civil society groups, et cetera, to do these kind of bias bounty programs.
29:41 – 29:44
E the new thing I’m known for is red teaming.
29:44 – 29:48
So again, if you’re from cybersecurity, red teaming is not a new concept.
29:48 – 29:58
Mas a compreensão do uso do “red teaming” não se limita apenas a entender agentes mal-intencionados, mas também as consequências indesejadas quando seu sistema apresenta mau funcionamento, mesmo que não tenha sido intencional
29:58 – 30:00
ação intencional do usuário, é, na verdade, bastante difícil de se fazer.
30:00 – 30:04
E the way I tackled it is what I called structured public feedback.
30:04 – 30:10
The thing I’m the most known for is this event wSaiba mais no SHIFT 2025 we had over 3,000 people at DEF CON, which is the largest cybersecurity
30:10 – 30:18
do mundo, na qual, de fato, hackearam e analisaram, hum, oito modelos diferentes de IA, trabalhando em conjunto com os proprietários dos modelos e as empresas.
30:18 – 30:20
E this is against the AI Bill of Rights.
30:20 – 30:26
Portanto, independentemente de esses modelos revelarem ou não dados pessoais, ou de apresentarem alucinações.
30:26 – 30:30
E we worked with the US government and the Biden administration to perform this work.
30:30 – 30:32
E we continue to do that today.
30:33 – 30:40
E what’s fascinating is that the average person, while you can have this technology in your hand, we’re more and more removed from
30:40 – 30:43
the ability to give feedback on whether or not it’s working.
30:43 – 30:46
Então, um dos projetos que realizamos foi em parceria com o Instituto Nacional de Padrões e Tecnologia.
30:46 – 30:50
E we opened up this concept of red teaming to anybody in America.
30:50 – 30:52
E this actually happened last year.
30:52 – 31:00
Assim, qualquer pessoa nos Estados Unidos poderia, de fato, realizar testes de red teaming em modelos de IA e enviar feedback ao NIST para ajudar a criar padrões melhores sobre como essa tecnologia deve funcionar.
31:01 – 31:05
E really what I work for, had a TED Talk last year on this concept of a right to repair.
31:05 – 31:12
E red teaming is a starting point, this idea of just building that knowledge base and that reflex for people to say, hey, something’s wrong Saiba mais no SHIFT 2025.
31:12 – 31:13
Quero levantar a mão.
31:13 – 31:15
Quero poder apontar isso.
31:15 – 31:20
That’s actually not something we’ve thought about building into the technology that we have.
31:20 – 31:27
Então, como você pode utilizar a IA para resolver problemas de forma positiva e produtiva?
31:28 – 31:30
E so what’s next?
31:30 – 31:31
Então, a IA é uma ferramenta de produtividade, certo?
31:31 – 31:32
So it’s not magic.
31:32 – 31:33
Ela não tem intenção.
31:33 – 31:36
It’s not dragging your kid’s teacher out of the classroom.
31:36 – 31:41
So when you’re thinking about building and deploying AI, how can you think about it being user first, right?
31:41 – 31:49
Então, como você avalia os pontos críticos do que a IA faz bem e, o que é igualmente importante, do que as pessoas fazem bem, e como unir esses dois aspectos?
31:49 – 31:53
E then finally, how can you utilize this system to solve problems?
31:53 – 31:57
E again, when we think about this idea of the human in the loop, it’s not just a phrase.
31:57 – 31:58
It’s not just a term.
31:58 – 32:00
It’s what people are asking for today.
32:01 – 32:05
you know, we’re at an all-time low with trust as it pertains to AI systems.
32:05 – 32:10
Durante meu período no governo Biden como enviado científico, tive o privilégio de viajar pelo mundo inteiro.
32:10 – 32:20
E you’d be amazed at everybody from, you know, tribal elders in Fiji to the most sophisticated young person working with Gen.
32:20 – 32:20
IA.
32:20 – 32:22
Todos têm as mesmas perguntas.
32:22 – 32:28
TSaiba mais no SHIFT 2025’s questions about data privacy, security, whether or not algorithms are being, whether or not they’re being manipulated by algorithms.
32:28 – 32:31
whether or it’s being used maliciously against them.
32:31 – 32:33
Todo mundo tem as mesmas dúvidas.
32:33 – 32:39
Portanto, se você quer construir confiança nos sistemas que está criando, pense primeiro no usuário, não na tecnologia.
32:39 – 32:41
Muito obrigado pelo seu tempo.
32:46 – 32:47
Obrigado, doutor.
32:47 – 32:49
Chaldry, foi absolutamente fantástico.
32:49 – 32:50
We appreciate you being Saiba mais no SHIFT 2025 today.
32:50 – 32:51
Muito obrigado.