Die Debatte rund um KI entwickelt sich rasant weiter. Deshalb freue ich mich besonders, Ihnen unsere Podcast-Reihe „Ready. Or Not.“ vorstellen zu dürfen. Wir haben den Komiker Nathan Macintosh mit Fachgästen zusammengebracht, um über KI-Agenten, Cyber-Resilienz, Vertrauen, Datenmanagement und vieles mehr zu sprechen.
In unserer ersten Folge unterhält sich Nathan mit Dr. Reid Blackman, dem Gründer und CEO von Virtue Consultants, über eines der derzeit wichtigsten Themen im Bereich der KI: die agentenbasierte KI. Von ethischen Herausforderungen bis hin zu Sicherheitsrisiken – in ihrem Gespräch geht es darum, was passiert, wenn KI nicht mehr nur Inhalte erstellt, sondern auch Entscheidungen trifft – und Maßnahmen ergreift.
Eines ist klar: Agentenbasierte KI ist nicht nur ein weiterer Technologietrend. Sie verändert unsere Sichtweise auf Entscheidungsprozesse und die Rolle, die KI in unseren Unternehmen spielen wird. Wenn Sie sich fragen, was agentenbasierte KI für Ihr Unternehmen bedeutet, ist dieser Podcast ein guter Einstieg. Sehen Sie sich die gesamte Folge auf Readiverse an.
Die wichtigsten Erkenntnisse aus dem Blog
- Die meisten KI-Fehler sind auf unbeabsichtigte Folgen zurückzuführen, nicht auf böswillige Absichten.
- Agentenbasierte KI kann auf Systeme, Tools und Daten zugreifen, um Aufgaben zu erledigen, was sie sowohl unglaublich nützlich als auch von Natur aus riskant macht.
- KI-Agenten können neue Sicherheitsherausforderungen mit sich bringen, von Prompt-Angriffen bis hin zu erweiterten Angriffsflächen.
- Multi-Agenten-Systeme können die Effizienz steigern, aber sie können auch Fehler verstärken, wenn die Systeme miteinander vernetzt sind.
- Unternehmen benötigen praktische Rahmenkonzepte für den Umgang mit KI-Risiken, bevor diese zu konkreten Problemen werden.
Zuallererst: Füge keinen Schaden zu
Eine Erkenntnis aus dieser Folge ist, dass die meisten KI-Fehlschläge nicht auf böswilligen Absichten beruhen. Viele entstehen dadurch, dass Unternehmen versuchen, berechtigte geschäftliche Probleme zu lösen. Dr. Blackman nennt als Beispiel ein fehlgeschlagenes KI-Rekrutierungstool von Amazon. Der Algorithmus wurde anhand früherer Lebensläufe und Einstellungsdaten trainiert, um zukünftige Einstellungsentscheidungen zu unterstützen. Die KI lernte letztendlich Muster, die männliche Bewerber begünstigten, da diese Muster in den Daten vorhanden waren.
Das Ergebnis entsprach zwar nicht den Absichten von Amazon, aber genau darum geht es ja. KI-Systeme können Dinge lernen, die wir ihnen gar nicht beibringen wollten. Was dann geschah, war ermutigend: Amazon testete das System, identifizierte das Problem, versuchte, es zu beheben, und stellte das Projekt schließlich ein, als sich das Problem nicht lösen ließ.
Wir neigen dazu, KI-Fehler als Beweis dafür zu betrachten, dass man der Technologie nicht trauen kann, doch Dr. Blackman vertritt eine andere Sichtweise. Bei verantwortungsvoller KI geht es nicht darum, so zu tun, als würden keine Fehler passieren. Es geht darum, zu testen, zu lernen und bereit zu sein, aufzuhören, wenn etwas nicht so funktioniert, wie man es beabsichtigt hat.
Wenn KI zu Ihrem Kollegen wird
Das Amazon-Beispiel verdeutlicht zudem einen größeren Zusammenhang. KI ist in der Lage, einen Mehrwert zu schaffen, kann aber auch unbeabsichtigte Ergebnisse hervorbringen, wenn wir nicht vollständig verstehen, wie sie lernt oder Entscheidungen trifft. Generative KI hat uns gezeigt, was KI erschaffen kann. Agentenbasierte KI zeigt uns, was KI tatsächlich leisten kann, wenn sie mit Geschäftssystemen verbunden ist.
Ein Vergleich, der mir besonders aufgefallen ist, war, dass agentenbasierte Systeme in gewisser Weise langsam wie Mitarbeiter wirken. Um nützlich zu sein, benötigen sie Zugriff auf dieselben Tools, Datenbanken und Software, die auch Menschen nutzen. Gewährt man einem KI-Agenten Zugriff auf ein System, kann er eine Aufgabe erledigen. Gewährt man ihm Zugriff auf Dutzende von Systemen, wird er leistungsfähiger.
„Mehr Zugriff bedeutet mehr Möglichkeiten, erhöht aber auch das Risiko erheblich.“ – Dr. Reid Blackman
Vorschau: KI im Griff behalten
Was passiert, wenn Ihr KI-Agent beginnt, mit den Agenten anderer Menschen zu interagieren? In diesem Clip erklärt Dr. Blackman, warum die Überwachung von Multi-Agenten-Systemen zu einer unserer größten Herausforderungen werden wird.
Eine neue Art von Sicherheitsherausforderung
Agentenbasierte KI verändert nicht nur die Art und Weise, wie Arbeit erledigt wird. Sie verändert auch unsere Sichtweise auf Sicherheit. Anstatt vordefinierten Arbeitsabläufen zu folgen, interagieren Nutzer mit der KI über natürliche Sprache. Das macht diese Systeme intuitiver – bringt aber auch neue Herausforderungen mit sich, die bei herkömmlicher Software nicht auftreten.
Wie Dr. Blackman erklärte, müssen Angreifer nicht unbedingt in ein KI-System eindringen, wie sie es bei herkömmlicher Software tun würden. Stattdessen können sie versuchen, es durch sorgfältig ausgearbeitete Eingabeaufforderungen zu manipulieren, die sein Verhalten beeinflussen, Sicherheitsvorkehrungen umgehen oder Informationen offenlegen, auf die es keinen Zugriff haben sollte. Dies macht deutlich, dass mit zunehmender Leistungsfähigkeit der KI auch die Sicherheit entsprechend weiterentwickelt werden muss.
„Brauchen wir KI, die die KI überwacht?“ – Nathan Macintosh
Die Risiken von Multi-Agenten-Systemen
Wenn schon ein einzelner KI-Agent einen Fehler machen kann, stellen Sie sich vor, was passiert, wenn mehrere KI-Agenten zusammenarbeiten. Auch wenn vernetzte Systeme zwar effizienter sein mögen, bieten sie doch auch mehr Möglichkeiten für Fehler.
Wenn ein Agent einen Fehler macht, kann dies einen Dominoeffekt auslösen. Ein kleines Problem kann zu einem viel größeren werden, wenn Unternehmen nicht verstehen, wie diese Interaktionen funktionieren. Das bedeutet nicht, dass Multi-Agenten-Systeme von Natur aus riskant sind. Es bedeutet lediglich, dass sie denselben Grad an Planung und Überwachung erfordern, den Unternehmen auch bei jedem komplexen Geschäftsprozess anwenden würden.
„Ich habe heute etwas über agentenbasierte KI gelernt und habe jetzt schon Angst. Und jetzt sagst du mir auch noch, dass KI-Agenten mit anderen KI-Agenten kommunizieren?“ – Nathan Macintosh
Wissen Sie, mit wem Ihre KI kommuniziert?
Wenn Ihnen schon die Verwaltung Ihrer eigenen KI-Agenten als Herausforderung erscheint, stellen Sie sich vor, was passiert, wenn diese mit der KI eines anderen interagieren. Sie kennen vielleicht Ihre eigenen Sicherheitsvorkehrungen und Richtlinien, aber externe KI-Systeme können davon abweichen. Möglicherweise wissen Sie nicht, wie diese trainiert wurden, auf welche Daten sie zugreifen können und ob sie über die gleichen Sicherheitsvorkehrungen verfügen.
Machen Sie sich bereit
Agentenbasierte KI entwickelt sich rasant weiter, und die Technologie wird sich ständig weiterentwickeln. Die Organisationen, die Erfolg haben, sind nicht unbedingt diejenigen, die KI als Erste einführen. Es werden diejenigen sein, die verstehen, wie man sie steuert, testet und Vertrauen in sie aufbaut.
Eines der Ziele von „Ready. Or Not.“ ist es, über den Hype hinauszugehen und zu untersuchen, wie eine verantwortungsvolle Einführung von Technologien tatsächlich aussieht. Dr. Blackmans Sichtweise erinnert daran, dass es bei einer erfolgreichen KI-Einführung nicht darum geht, zwischen Innovation und Vorsicht zu wählen. Es geht darum, beides in Einklang zu bringen. Genau diese Art von Diskussion möchten wir im Laufe unserer Serie gerne fortsetzen. Sehen Sie sich die gesamte Folge auf Readiverse an.
FAQs
F: Was ist agentische KI?
A: Unter „Agentic AI“ versteht man KI-Systeme, die Maßnahmen ergreifen, auf Tools zugreifen, mit Anwendungen interagieren und mehrstufige Aufgaben mit unterschiedlichem Autonomiegrad ausführen können. Anstatt lediglich Antworten zu generieren, können sie aktiv Aufgaben in vernetzten Systemen ausführen.
F: Warum birgt agentische KI neue Risiken?
A: Agentische KI erfordert häufig den Zugriff auf mehrere Systeme, Anwendungen und Datenquellen. Dieser Zugriff erhöht zwar den Nutzen, kann aber auch die potenziellen Auswirkungen von Fehlern, Missbrauch oder Sicherheitsverletzungen vergrößern.
F: Was sind Prompt-Angriffe?
A: Bei Prompt-Angriffen werden sorgfältig gestaltete Eingaben verwendet, um das Verhalten eines KI-Systems zu manipulieren, Sicherheitsvorkehrungen zu umgehen oder Informationen offenzulegen, die eigentlich geschützt bleiben sollten.
F: Warum gewinnt die Überwachung zunehmend an Bedeutung?
A: Je autonomer KI-Agenten werden und je mehr Systeme sie miteinander vernetzen, desto weniger vorhersehbar werden sie auch. Durch Überwachung können Unternehmen unerwartetes Verhalten frühzeitig erkennen und nachvollziehen, wie KI-Systeme mit Menschen, Daten und anderen KI-Agenten interagieren.
F: Was sind Multi-Agenten-Systeme?
A: Multi-Agenten-Systeme bestehen aus mehreren KI-Agenten, die miteinander kommunizieren und zusammenarbeiten, um Aufgaben zu erledigen. Sie können zwar die Effizienz steigern, bringen aber auch zusätzliche Komplexität mit sich, die Unternehmen sorgfältig bewältigen müssen.
F: Was ist die wichtigste Erkenntnis aus dieser Folge?
A: Bei KI-Risiken geht es nicht nur darum, wozu die Technologie fähig ist. Es geht darum, zu verstehen, wie sich Systeme verhalten, wenn sie mit Menschen, Daten, Anwendungen und untereinander interagieren – und die richtigen Sicherheitsvorkehrungen zu treffen, bevor Probleme auftreten.
Katherine Demacopoulos ist Senior Director für globale Inhaltsstrategie und Programme bei Commvault.
