Vier Werkzeuge, keine Wahrheit: Das verborgene Problem der Recovery in agentenbasierter KI

Die wichtigsten Erkenntnisse

• Agentenbasierte KI-Systeme sind zustandsbehaftet und arbeiten kontinuierlich, weshalb herkömmliche Wiederherstellungsmodelle nicht ausreichen.
• Die Speicherebene (Vektordatenbanken und Kontextspeicher) ist eine kritische, jedoch nur unzureichend überwachte Angriffsfläche.
• Workflows zur Entscheidungsfindung zur Laufzeit können angepasst werden, ohne dass dabei herkömmliche Sicherheitswarnungen ausgelöst werden.
• Aufgrund von Lücken in der Beobachtbarkeit bei Interaktionen zwischen Agenten haben die meisten Unternehmen nur einen unvollständigen Überblick über die Risiken.
• Eine echte Wiederherstellung erfordert eine einheitliche, zeitlich abgestimmte Aufzeichnung aller Systemebenen, um einen vertrauenswürdigen Zustand wiederherzustellen.

Die meisten Unternehmen, die in das Zeitalter der agentenbasierten KI eintreten, gehen bei der Gewährleistung der Ausfallsicherheit von einem falschen Denkmodell aus – und die Daten belegen dies: Nur jedes fünfte Unternehmen verfügt über ein ausgereiftes Modell zur Steuerung autonomer KI-Agenten. Sie betrachten KI so, wie sie Anwendungen betrachten: als diskrete, zustandslose Einheiten, die durch die Wiederherstellung sauberer Daten in einer sauberen Umgebung wieder funktionsfähig gemacht werden können.

Agentenbasierte KI funktioniert so nicht. Diese Systeme sind zustandsbehaftet, arbeiten kontinuierlich und sind architektonisch so geschichtet, dass Fehlermodi entstehen, für deren Bewältigung die meisten Sicherheits- und Resilienz-Frameworks nicht ausgelegt sind. Die Lücke liegt nicht in den Tools. Sie liegt im Verständnis dessen, was tatsächlich abläuft – und was „Recovery“ für Systeme bedeuten muss, die auf diese Weise aufgebaut sind.

Es gibt vier architektonische Schichten, die das Problem definieren. Jede ist eigenständig. Jede ist unzureichend geschützt. Und zusammen erklären sie, warum ein agentenbasiertes KI-System wiederherstellbar erscheinen kann, während es dennoch grundlegend kompromittiert bleibt.

Ebene 1: Agentenspeicher – Die Angriffsfläche, die Sie nicht im Blick haben

Herkömmliche Unternehmensanwendungen behalten zwischen den Sitzungen nichts im Gedächtnis. Agenten-KI hingegen schon. Die Speicherebene – in erster Linie Vektordatenbanken, in denen Embeddings gespeichert werden, aber auch der Sitzungsstatus und der abgerufene Kontext – sorgt dafür, dass Agenten über verschiedene Interaktionen hinweg Kontinuität bewahren. Sie ermöglicht es einem Agenten, dort weiterzumachen, wo er aufgehört hat, auf früheren Kontext zurückzugreifen und im Laufe der Zeit ein kohärentes Bild eines komplexen Arbeitsablaufs zu erstellen.

Sie ist zudem eine der folgenreichsten Angriffsflächen im modernen Unternehmens-Stack – und eine der am wenigsten überwachten. Der Angriffsvektor ist subtil genug, um den meisten herkömmlichen Sicherheitstools zu entgehen. Ein Angreifer, der beeinflussen kann, was in eine Vektordatenbank geschrieben wird, kann damit steuern, was der Agent für wahr hält. Eingeschleuste oder manipulierte Einbettungen müssen nicht bösartig aussehen – sie müssen glaubwürdig wirken.

Ein kompromittierter Speicher kann das Verhalten eines Agenten umleiten, Daten über Agentenaktionen abziehen oder dazu führen, dass ein Agent Entscheidungen trifft, die zwar legitim erscheinen, aber den Zielen eines Angreifers dienen. Dazu ist es nicht erforderlich, das Modell selbst zu verändern. Das Erkennungsproblem wird durch das Volumen und die Geschwindigkeit der Schreibvorgänge in Vektordatenbanken bei aktiven Agenten-Bereitstellungen noch verschärft. Tools zur Anomalieerkennung, die für strukturierte Daten entwickelt wurden, lassen sich nicht gut auf den Einbettungsraum übertragen. Das Signal ist da – aber die meisten Unternehmen sind nicht in der Lage, es zu deuten.

Was hier für die Resilienz erforderlich ist: eine kontinuierliche Integritätsüberwachung von Vektordatenbanken, nicht nur Backups. Versionskontrollierte Einbettungen mit einer nachweisbaren Rückverfolgbarkeitskette. Die Fähigkeit, zu jedem Zeitpunkt genau zu identifizieren, was die Speicherschicht enthielt – und sie in einen verifizierten, sauberen Zustand zurückzusetzen, nicht nur in einen aktuellen.

Ebene 2: Laufzeitsteuerung – Wenn der Workflow die Bedrohung darstellt

Agentenbasierte KI führt keine festgelegten Skripte aus. Sie plant. Zur Laufzeit erhält ein Agent ein Ziel, ermittelt die zur Erreichung dieses Ziels erforderlichen Schritte, wählt die benötigten Werkzeuge aus und führt die Aufgaben aus – wobei häufig Unteragenten erzeugt werden, um parallele Arbeitsabläufe zu bewältigen. Der Arbeitsablauf ist dynamisch, wird im Moment aufgebaut und ist häufig lang andauernd.

Genau das macht agentenbasierte KI wirklich nützlich. Und genau das macht es auch so schwierig, sie zu schützen. In einer herkömmlichen Automatisierungsumgebung ist ein festgelegter Workflow begrenzt. Er führt die ihm zugewiesenen Aufgaben aus und stoppt dann. Ein agentenbasierter Workflow verhält sich anders: Er passt sich an.

Wenn ein Angreifer die Planungsebene beeinflussen kann – sei es durch eine manipulierte Eingabeaufforderung, eine manipulierte Tool-Antwort oder ein beschädigtes Planungsmodell –, wird der Agent das Ziel des Angreifers verfolgen und dabei alle ihm zur Verfügung stehenden legitimen Tools und Zugriffsrechte nutzen. Dies wird wie ein normaler Betriebsablauf aussehen. Die Protokolle, sofern vorhanden, zeigen autorisierte Tool-Aufrufe an. Stellen Sie sich einen Beschaffungsagenten vor, dessen Aufgabe es ist, Lieferantenrechnungen anhand der Vertragsbedingungen zu prüfen. Im Normalbetrieb überprüft er Rechnungsbeträge, gleicht sie mit Genehmigungsschwellen ab und kennzeichnet Ausnahmen zur Überprüfung durch einen Mitarbeiter. Ein Angreifer, der die Planungsebene beeinflussen kann – etwa durch eine manipulierte Tool-Antwort aus der Vertragsdatenbank –, muss nicht direkt auf die Genehmigungslogik zugreifen. Er übermittelt dem Mitarbeiter lediglich einen Vertragsdatensatz mit geänderten Schwellenwerten. Der Agent plant korrekt auf der Grundlage der manipulierten Eingaben. Jeder von ihm ausgeführte Tool-Aufruf ist legitim. Jede Entscheidung, zu der er gelangt, ist falsch. Bis die Anomalie bei einer Finanzabstimmung zutage tritt, hat der Workflow bereits Rechnungen aus mehreren Wochen verarbeitet, und der Prüfpfad zeigt nichts als autorisierte Aktionen.

Das Zeitfenster zwischen Kompromittierung und Erkennung lässt sich in solchen Szenarien nicht in Sekunden messen. Agentenbasierte Workflows laufen kontinuierlich. Bis anomale Ergebnisse sichtbar werden, hat der Workflow möglicherweise Dutzende von Systemen durchlaufen, Hunderte von Entscheidungen getroffen und Änderungen in Produktionsumgebungen hinterlassen, die schwer zu erfassen und noch schwerer rückgängig zu machen sind.

Was hier für die Resilienz erforderlich ist: eine Laufzeitüberwachung, die beobachtet, was Agenten entscheiden, und nicht nur, was sie tun. Interventionsmechanismen, die einen laufenden Workflow sauber anhalten können, ohne dass es zu Kettenausfällen kommt. Recovery-Szenarien, die für lang laufende agentenbasierte Prozesse entwickelt wurden – nicht nur für einzelne Transaktionen.

Ebene 3: Agentenbasierte Beobachtbarkeit – Die Protokollierungslücke bei maschineller Geschwindigkeit

Die Protokollierungsinfrastruktur in Unternehmen wurde für den Betrieb im menschlichen Maßstab entwickelt. Sie erfasst die Aktivitäten der Systeme mit einer Granularität und Latenz, die auf die Überprüfung durch Menschen ausgelegt sind. Agentenbasierte KI arbeitet hingegen mit einer völlig anderen Geschwindigkeit.

In einer aktiven Multi-Agenten-Umgebung erzeugen Agenten Unteragenten, geben Kontextinformationen untereinander weiter, rufen Tools auf und generieren Ausgaben – und zwar kontinuierlich, parallel und schneller, als herkömmliche Protokollierungspipelines dafür ausgelegt sind. Die für die Sicherheit wichtigsten Interaktionen – die Kommunikation zwischen Agenten, Kontextübergaben und Tool-Aufrufe, die Vertrauensgrenzen überschreiten – sind genau jene Interaktionen, die von bestehenden Überwachungsframeworks am wenigsten erfasst werden.

Derzeit überwachen nur 17 % der Unternehmen die Interaktionen zwischen den Agenten kontinuierlich. Die übrigen 83 % steuern agentenbasierte KI auf der Grundlage eines unvollständigen Bildes – eines Bildes, das zwar erfasst, was einzelne Agenten isoliert tun, jedoch die Interaktionsebene außer Acht lässt, auf der die folgenschwersten Sicherheitsvorfälle auftreten.

Diese Lücke lässt sich nicht durch ein höheres Protokollierungsvolumen schließen. Das Problem liegt nicht in der Menge der erfassten Daten, sondern darin, dass die Datenstrukturen und Latenzanforderungen agentischer Interaktionen nicht gut zu Observability-Frameworks passen, die für langsamere, stärker strukturierte Systeme konzipiert wurden. Um diese Lücke zu schließen, sind speziell entwickelte Tools für die agentische Observability oder eine umfassende Anpassung der bestehenden Infrastruktur erforderlich.

Was Resilienz hier erfordert: durchgängige Transparenz der Interaktionen zwischen Agenten, nicht nur der Ausgaben einzelner Agenten. Protokollierungsarchitekturen, die mit der Geschwindigkeit der Agenten arbeiten können, ohne Ereignisse zu verlieren. Die Fähigkeit, im Nachhinein die vollständige Abfolge von Agentenentscheidungen und -interaktionen für jeden beliebigen Workflow zu rekonstruieren.

Ebene 4: Koordination mehrerer Akteure – Wo sich unerwartete Ausfälle verbergen

Das architektonisch innovativste Risiko bei agentenbasierter KI geht nicht von einem einzelnen kompromittierten Agenten aus. Es ergibt sich vielmehr daraus, wie Agenten voneinander abhängig sind – und wie sich Fehler über diese Abhängigkeiten hinweg ausbreiten, bevor jemand bemerkt, dass etwas nicht stimmt. In einer Multi-Agenten-Architektur teilen sich die Agenten den Kontext. Ein Orchestrator-Agent übermittelt einem Unteragenten eine Aufgabenbeschreibung; der Unteragent gibt ein Ergebnis zurück, das der Orchestrator in seine nächste Entscheidung einbezieht.

Ist die Ausgabe des Unteragenten fehlerhaft – sei es aufgrund einer kompromittierten Speicherschicht, einer manipulierten Tool-Antwort oder eines manipulierten Planungsmodells –, verfügt der Orchestrator über keine integrierte Möglichkeit, dies zu erkennen. Er behandelt die Ausgabe als verbindlich. Er bezieht sie ein. Er handelt entsprechend. Und er leitet seine eigene, nun ebenfalls kompromittierte Ausgabe an nachgelagerte Komponenten weiter.

Dies ist das sich abzeichnende Versagensmuster: Eine Kompromittierung, die auf einer Ebene ihren Ursprung hat, sich über Interaktionen zwischen Akteuren ausbreitet und schließlich als anomales Ergebnis in einem System zutage tritt, das mehrere Schritte von der ursprünglichen Kompromittierung entfernt ist. Wenn sie sichtbar wird, ist die Kausalkette bereits lang und der Wirkungsradius beträchtlich.

Stellen Sie sich eine Threat-Intelligence-Pipeline vor, in der ein Datenerfassungsagent Feeds aus externen Quellen erfasst, ein Klassifizierungsagent diese kategorisiert und bewertet und ein Orchestrator die bewerteten Informationen in Empfehlungen zur Sicherheitslage einbindet, die an nachgelagerte Teams weitergeleitet werden. Wenn die Speicherschicht des Datenerfassungsagenten kompromittiert wird – und zwar auf subtile Weise durch eingeschleuste Einbettungen, die dazu führen, dass bestimmte Bedrohungsakteure als risikoarm eingestuft werden –, erhält der Klassifizierungsagent Eingaben, die er ohne Grund anzweifeln müsste. Er klassifiziert genau auf der Grundlage dessen, was ihm vorgelegt wird.

Der Orchestrator integriert die Ergebnisse ohne Bedenken. Nachgelagerte Sicherheitsteams stufen die relevante Bedrohungskategorie aufgrund eines scheinbar kohärenten, aus mehreren Quellen stammenden Konsenses als weniger prioritäre ein. Der Fehler hatte seinen Ursprung in Schicht 1. Er zeigte sich in Schicht 4. Nichts dazwischen signalisierte eine Anomalie, da nichts dazwischen einen Überblick über die gesamte Kette hatte.

Die Governance-Rahmenwerke, die die meisten Unternehmen im Bereich der KI anwenden, wurden für Modellausgaben konzipiert – also dafür, was die KI sagt. Koordinationsfehler zwischen mehreren Akteuren sind keine Fehler der Modellausgabe. Es handelt sich um Systemfehler, die auf der Interaktionsebene zwischen den Modellen entstehen, und sie erfordern eine andere Art der Governance: eine, die nicht nur das Verhalten einzelner Akteure überwacht und steuert, sondern auch die Vertrauensbeziehungen zwischen den Akteuren, die Integrität des Kontexts, der zwischen ihnen weitergegeben wird, sowie die Zugriffsrechte, die regeln, was ein Akteur von einem anderen anfordern darf.

Was hier für die Resilienz erforderlich ist: ein Identitätsmanagement für Agenten, das das Vertrauen zwischen den Agenten als vorrangiges Sicherheitsanliegen behandelt. Integritätsprüfung des Kontexts, während er Agentengrenzen überschreitet. Governance-Richtlinien, die das Verhalten autonomer Agenten abdecken – nicht nur die Ergebnisse einzelner Modelle.

Das Beziehungsproblem, das alle vier miteinander verbindet

Diese vier Schichten unterscheiden sich zwar in ihren Ausfallmodi, weisen jedoch eine gemeinsame Schwachstelle auf: Keine von ihnen verfügt über eine gemeinsame Aufzeichnung darüber, wie sie zu einem bestimmten Zeitpunkt zueinander in Beziehung stehen.

Das Modellregister weiß, welche Version läuft. Die Vektordatenbank weiß, was sich im Speicher befindet. Die Orchestrierungsschicht weiß, welcher Workflow aktiv ist. Das Identitätssystem weiß, welche Agenten welche Zugriffsrechte haben. Jede kann ihren eigenen Ausschnitt des Gesamtbildes bestätigen. Keine kann bestätigen, ob diese Ausschnitte zusammenpassen – ob sie denselben Betriebszustand, denselben Moment, dieselbe vertrauenswürdige Konfiguration widerspiegeln.

Das ist die Kontextlücke. Und genau deshalb ist die Wiederherstellung nach einer Kompromittierung durch eine agentische KI kein Problem der Datenwiederherstellung. Es handelt sich vielmehr um ein Kohärenzproblem – eines, das eine einheitliche Erfassung der Beziehungen zwischen den Schichten erfordert, nicht nur der Komponenten selbst. Schließen Sie diese Lücke, bevor es zu einem Vorfall kommt, oder verbringen Sie einen Vorfall damit, sie zu schließen.

Die hier behandelten architektonischen Herausforderungen sind nur ein Teil dessen, was Führungskräfte im Bereich Sicherheit und Resilienz über die Risiken agentischer KI wissen müssen. „The Agentic Blind Spot: Why AI Resilience Demands a System of Record“ geht noch einen Schritt weiter und untersucht, wo die meisten Unternehmen tatsächlich in Bezug auf ihre KI-Resilienz-Bereitschaft stehen, wie die Governance-Lücken in der Praxis aussehen und was nötig ist, damit die Aussage „Unsere KI ist vertrauenswürdig“ nicht nur eine Behauptung, sondern eine nachweisbare Tatsache wird.

FAQs

F: Warum funktioniert herkömmliches Disaster Recovery bei agentenbasierter KI nicht?

A: Bei der herkömmlichen Wiederherstellung wird davon ausgegangen, dass Systeme zustandslos sind und anhand sauberer Backups wiederhergestellt werden können. Agentische KI-Systeme behalten ihr Gedächtnis, entwickeln sich im Laufe der Zeit weiter und basieren auf vielschichtigen Interaktionen, sodass eine einfache Wiederherstellung nicht ausreicht, um das Vertrauen wiederherzustellen.

F: Was macht die Gedächtnisschicht in der agentenbasierten KI anfällig?

A: Die Speicherschicht speichert Einbettungen und Kontextdaten, die die Entscheidungen des Agenten beeinflussen. Wird diese Schicht kompromittiert, können Angreifer auf subtile Weise manipulieren, was der Agent „glaubt“, was zu falschen, aber scheinbar legitimen Handlungen führt.

F: Wie können Angreifer Laufzeit-Workflows in agentenbasierter KI ausnutzen?

A: Angreifer können Planungsdaten, Eingabeaufforderungen oder Tool-Antworten manipulieren, wodurch Agenten dazu veranlasst werden, mithilfe legitimer Prozesse schädliche Aktionen auszuführen. Diese Aktionen erscheinen in den Protokollen oft als normal, was ihre Erkennung erschwert.

F: Warum stellt die Beobachtbarkeit in Multi-Agenten-Systemen eine Herausforderung dar?

A: Agentenbasierte Systeme arbeiten mit Maschinen-Geschwindigkeit und zeichnen sich durch kontinuierliche Interaktionen zwischen den Agenten aus. Herkömmliche Protokollierungssysteme sind nicht dafür ausgelegt, diese Art von dynamischer, hochfrequenter Aktivität zu erfassen oder zu verarbeiten.

F: Was sind emergente Fehler in Multi-Agenten-Umgebungen?

A: Emergent-Ausfälle treten auf, wenn sich eine kleine Störung in einem Agenten oder einer Schicht auf miteinander verbundene Agenten ausbreitet, was zu großflächigen Problemen führt, deren ursprüngliche Ursache sich nur schwer zurückverfolgen lässt.

F: Wie sieht eine effektive Wiederherstellung bei einer agentenbasierten KI aus?

A: Eine effektive Wiederherstellung erfordert mehr als nur die Wiederherstellung von Daten – sie erfordert eine schlüssige Momentaufnahme aller Systemebenen, einschließlich Speicher, Arbeitsabläufe, Identitäten und Interaktionen, die auf einen verifizierten, vertrauenswürdigen Zustand abgestimmt ist.

Tim Zonca ist Vizepräsident für Portfoliomanagement bei Commvault.