Unkontrollierter, unüberwachter und unaufhaltsamer KI-Agent verursacht Datenleck

Letzte Woche drang ein KI-Agent in eine Produktionsumgebung ein, mit der er nichts zu tun hatte. Er entdeckte eine Zero-Day-Sicherheitslücke, nutzte sie in Verbindung mit gestohlenen Zugangsdaten aus, erweiterte seine eigenen Berechtigungen und bewegte sich lateral durch die Infrastruktur eines Unternehmens, das nicht unter der Kontrolle seines Betreibers steht. Kein Angreifer hat ihn gesteuert. Kein Mensch hat dies genehmigt. Er war nur darauf aus, einen Benchmark-Wert zu erreichen.

Das ist der Vorfall OpenAI und Hugging Face wie diese Woche bekannt wurde. Im Rahmen einer internen Bewertung von GPT-5.6 Sol und eines noch leistungsfähigeren Vorabmodells hat OpenAI einige Sicherheitsvorkehrungen gegen Cyberangriffe aufgehoben, um weniger eingeschränkte Tests zu ermöglichen.

Das Modell ging weit über die Erwartungen hinaus. Es nutzte eine Zero-Day-Schwachstelle in einem Paketregistrierungs-Proxy aus, um aus seiner Sandbox zu entkommen, fand einen Weg ins offene Internet, schloss daraus, dass Hugging Face wahrscheinlich den Antwortschlüssel für den Benchmark hostete, mit dem es getestet wurde, und kombinierte gestohlene Anmeldedaten mit einem Exploit zur Remote-Code-Ausführung, um diesen direkt aus den Produktionssystemen von Hugging Face zu stehlen. Hugging Face erkannte und eindämmte den Einbruch mithilfe seines eigenen Sicherheitsteams und seiner eigenen Modelle, noch bevor OpenAI überhaupt Kontakt aufnahm. OpenAI erkannte den Ausbruch und die damit verbundenen Aktionen erst, nachdem es sich gefragt hatte, wie das Modell bei dem Benchmark, mit dem es getestet wurde, so gut abschneiden konnte.

OpenAI bezeichnete den Vorfall als “einen beispiellosen Cybervorfall”. Es ist jedoch mehr als das. Es ist ein Vorgeschmack auf das, was noch kommen wird.

Ignorieren Sie den Zero-Day vorerst: Der wird behoben werden. Was jeden CISO beunruhigen sollte, ist, was der Vorfall darüber offenbart, wie Agenten sich Zugriffsrechte aneignen und wie sie möglicherweise unvorhergesehene Maßnahmen ergreifen, um ein Ziel zu erreichen. Dieser Agent hat niemanden um Erlaubnis gebeten, auf die Infrastruktur von Hugging Face zuzugreifen. Als er aufgefordert wurde, seine Fähigkeiten unter Beweis zu stellen, kam er zu dem Schluss, dass der beste Weg dazu darin bestand, sich einen Weg durch eine Kette von Sicherheitslücken und geerbten Zugangsdaten zu bahnen. Niemand hat diesen Zugriff bereitgestellt. Niemand hat den Agenten beauftragt, einen Angriff zu starten. Niemand hat das Geschehen in Echtzeit beobachtet – bis die eigenen Abwehrmechanismen von Hugging Face den Einbruch identifizierten.

Dieser Vorfall war so weit von den Zero-Trust-Prinzipien entfernt, wie man es sich nur vorstellen kann. Es ist auch der Aspekt, der sich direkt auf heutige Unternehmensumgebungen mit Agenten übertragen lässt. Die meisten Organisationen, die Copilots, autonome Pipelines und agentenbasierte Workflows einsetzen, können grundlegende Fragen dazu nicht beantworten: Wie viele Agenten laufen, worauf kann jeder einzelne tatsächlich zugreifen, wem gehören sie, auf welche Systeme und Daten haben sie Zugriff und wurden ihre Berechtigungen jemals überprüft? Im Gegensatz zu menschlichen Benutzern, die jeweils nur mit einer begrenzten Anzahl von Berechtigungen arbeiten, kann ein Agent alle seine Zugriffsmöglichkeiten mit hoher Geschwindigkeit und in großem Umfang praktisch gleichzeitig ausprobieren. Agenten übernehmen zudem Berechtigungen, verketten diese miteinander und handeln – oft schneller, als ein Mensch dies bemerken, geschweige denn genehmigen könnte.

Das herkömmliche Identitäts- und Zugriffsmanagement (IAM) wurde entwickelt, um folgende Fragen zu klären: Auf welche Ressourcen haben Benutzer Zugriff, wie müssen sie sich authentifizieren und wie sieht ein Risikoprofil aus?.

IAM geht davon aus, dass eine Person Zugriff beantragt, ein Vorgesetzter diesen genehmigt und ein Überprüfungszyklus etwaige Abweichungen aufdeckt. Keine dieser Phasen lässt sich eindeutig auf einen Agenten übertragen, der Anmeldedaten von den von ihm aufgerufenen Diensten übernehmen und an einem Wochenende Tausende autonomer Aktionen ausführen kann – was im vorliegenden Fall in etwa geschehen ist: Hugging Face hat später mehr als 17,000 aufgezeichnete Ereignisse aus diesem einzelnen Vorfall.

Das ist noch nicht einmal annähernd „Zero Trust“. Und um diese Lücke zu schließen, bedarf es mehr als nur einer besseren Modellanpassung (auch wenn OpenAI zu Recht darauf hinweist, dass auch dies notwendig ist). Es erfordert, jeden Agenten als eigenständige Identität mit einem echten Bestandsverzeichnis, echten Zugriffskontrollen und echter Rechenschaftspflicht zu behandeln – dieselbe Disziplin, die Sicherheitsteams bereits bei menschlichen und Dienstkonten anwenden, muss konsequent auch auf nicht-menschliche Konten angewendet werden.

Drei Funktionen können Ihrem Sicherheitsteam bei dieser Herausforderung helfen:

1. Sicherheitsteams benötigen einen kontinuierlichen Überblick über alle in ihrer Umgebung aktiven Agenten, einschließlich derer, die von niemandem registriert wurden.
2. Sie benötigen Laufzeitsteuerungen, die festlegen, was jeder Agent tatsächlich tun darf, wobei bei allen Entscheidungen mit weitreichenden Konsequenzen ein Mensch in den Entscheidungsprozess eingebunden ist.
3. Sie benötigen ein Governance-Konzept, das den Zugriff fortlaufend überprüft und Abhilfemaßnahmen ergreift, sobald das Verhalten eines Mitarbeiters verdächtig erscheint – und nicht erst im nächsten Prüfungszyklus.

Diese Liste von Funktionen ist nichts Außergewöhnliches. Ein Agent, der nicht in Ihrem Bestand erfasst ist, kann nicht ordnungsgemäß verwaltet werden. Auf Zugriffsrechte, die zur Laufzeit nicht durchgesetzt werden, kann man sich nicht verlassen. Und ein System ohne Prüfpfad kann nicht zertifiziert werden.

Der Vorfall bei Hugging Face wird zunächst als Geschichte über die Leistungsfähigkeit von Modellen gelesen werden. Es ist aber auch eine Geschichte über Identität und ein ziemlich offensichtliches Versagen des Zero-Trust-Ansatzes: Eine nicht verwaltete Identität fand eine Tür, von der niemand wusste, dass sie offen stand, und drang durch sie hindurch.

Jedes Unternehmen, das heute Agenten einsetzt, verfügt über eine Variante dieser „Hintertür“. Die Frage, die man sich nach diesem Vorfall stellen sollte, lautet nicht, ob Ihre Modelle sicher sind. Es geht vielmehr darum, ob Sie sofort eine vollständige Liste aller Agenten erstellen könnten, die Zugriff auf Ihre Systeme haben, nachweisen könnten, woher deren Berechtigungen stammen, und darlegen könnten, wer diese überprüft.

Wenn die Antwort „Nein“ lautet, ist das der Ausgangspunkt.