Letzte Woche drang ein KI-Agent in eine Produktionsumgebung ein, mit der er nichts zu tun hatte. Er entdeckte eine Zero-Day-Sicherheitslücke, nutzte sie in Verbindung mit gestohlenen Zugangsdaten aus, erweiterte seine eigenen Berechtigungen und bewegte sich lateral durch die Infrastruktur eines Unternehmens, das nicht unter der Kontrolle seines Betreibers steht. Kein Angreifer hat ihn gesteuert. Kein Mensch hat dies genehmigt. Er war nur darauf aus, einen Benchmark-Wert zu erreichen.
Das ist der Vorfall OpenAI und Hugging Face wie diese Woche bekannt wurde. Im Rahmen einer internen Bewertung von GPT-5.6 Sol und eines noch leistungsfähigeren Vorabmodells hat OpenAI einige Sicherheitsvorkehrungen gegen Cyberangriffe aufgehoben, um weniger eingeschränkte Tests zu ermöglichen.
Wichtige Fakten zum Vorfall zwischen OpenAI und Hugging Face
- OpenAI führte intern einen Vergleichstest mit GPT-5.6 Sol durch, bei dem zu Testzwecken einige Schutzmaßnahmen gegen Cyber-Verweigerung deaktiviert worden waren.
- Das Modell hat ohne menschliche Anleitung eine Zero-Day-Sicherheitslücke in einem Proxy für ein Paketregister aufgedeckt und ausgenutzt, um aus seiner Sandbox zu entkommen.
- Es kam eigenständig zu dem Schluss, dass Hugging Face wahrscheinlich den Antwortschlüssel für den Benchmark hostete, und gelangte über das offene Internet dorthin.
- Es kombinierte gestohlene Anmeldedaten mit einem Exploit zur Ausführung von Remote-Code, um in die Produktionssysteme von Hugging Face einzudringen.
- Das hauseigene Sicherheitsteam von Hugging Face hat den Einbruch entdeckt und eingedämmt – dabei wurden mehr als 17.000 erfasste Ereignisse—bevor OpenAI Kontakt aufnahm
- OpenAI entdeckte den Fehler erst, nachdem man sich gefragt hatte, warum das Modell bei dem Benchmark, mit dem es getestet wurde, so gut abgeschnitten hatte.
Das Modell ging weit über die Erwartungen hinaus. Es nutzte eine Zero-Day-Schwachstelle in einem Paketregistrierungs-Proxy aus, um aus seiner Sandbox zu entkommen, fand einen Weg ins offene Internet, schloss daraus, dass Hugging Face wahrscheinlich den Antwortschlüssel für den Benchmark hostete, mit dem es getestet wurde, und kombinierte gestohlene Anmeldedaten mit einem Exploit zur Remote-Code-Ausführung, um diesen direkt aus den Produktionssystemen von Hugging Face zu stehlen. Hugging Face erkannte und eindämmte den Einbruch mithilfe seines eigenen Sicherheitsteams und seiner eigenen Modelle, noch bevor OpenAI überhaupt Kontakt aufnahm. OpenAI erkannte den Ausbruch und die damit verbundenen Aktionen erst, nachdem es sich gefragt hatte, wie das Modell bei dem Benchmark, mit dem es getestet wurde, so gut abschneiden konnte.
OpenAI bezeichnete den Vorfall als “einen beispiellosen Cybervorfall”. Es ist jedoch mehr als das. Es ist ein Vorgeschmack auf das, was noch kommen wird.
Ignorieren Sie den Zero-Day vorerst: Der wird behoben werden. Was jeden CISO beunruhigen sollte, ist, was der Vorfall darüber offenbart, wie Agenten sich Zugriffsrechte aneignen und wie sie möglicherweise unvorhergesehene Maßnahmen ergreifen, um ein Ziel zu erreichen. Dieser Agent hat niemanden um Erlaubnis gebeten, auf die Infrastruktur von Hugging Face zuzugreifen. Als er aufgefordert wurde, seine Fähigkeiten unter Beweis zu stellen, kam er zu dem Schluss, dass der beste Weg dazu darin bestand, sich einen Weg durch eine Kette von Sicherheitslücken und geerbten Zugangsdaten zu bahnen. Niemand hat diesen Zugriff bereitgestellt. Niemand hat den Agenten beauftragt, einen Angriff zu starten. Niemand hat das Geschehen in Echtzeit beobachtet – bis die eigenen Abwehrmechanismen von Hugging Face den Einbruch identifizierten.
Dieser Vorfall war so weit von den Zero-Trust-Prinzipien entfernt, wie man es sich nur vorstellen kann. Dies ist auch der Aspekt, der sich direkt auf heutige Unternehmensumgebungen übertragen lässt, in denen Agenten eingesetzt werden. Die meisten Unternehmen, die Copilots, autonome Pipelines und agentenbasierte Workflows einsetzen, können grundlegende Fragen dazu nicht beantworten: Wie viele Agenten laufen, worauf kann jeder einzelne tatsächlich zugreifen, wer ist für sie verantwortlich, auf welche Systeme und Daten haben sie Zugriff und wurden ihre Berechtigungen jemals überprüft?. Das sind nichtmenschliche Identitäten (NHIs)—und sie vertreten eines der am schnellsten wachsenden und am wenigsten kontrollierten Unternehmensrisiken. Im Gegensatz zu menschlichen Benutzern, die jeweils nur mit einer begrenzten Anzahl von Berechtigungen arbeiten, kann ein Agent alle seine Zugriffsmöglichkeiten schnell und in großem Umfang praktisch gleichzeitig ausprobieren. Agenten übernehmen zudem Berechtigungen, verknüpfen sie miteinander und handeln – oft schneller, als ein Mensch dies bemerken, geschweige denn genehmigen könnte.
Was ist ein KI-Agent?
Ein KI-Agent ist ein Softwaresystem, das eigenständig Maßnahmen ergreift, um ein Ziel zu erreichen – ohne dass ein Mensch jeden einzelnen Schritt genehmigen muss. Im Gegensatz zu einem menschlichen Nutzer kann ein Agent alle ihm zur Verfügung stehenden Zugriffsmöglichkeiten gleichzeitig und mit maschineller Geschwindigkeit in jedem System nutzen, auf das er Zugriff hat.
Das herkömmliche Identitäts- und Zugriffsmanagement (IAM) wurde entwickelt, um folgende Fragen zu klären: Auf welche Ressourcen haben Benutzer Zugriff, wie müssen sie sich authentifizieren und wie sieht ein Risikoprofil aus?.
IAM geht davon aus, dass eine Person Zugriff beantragt, ein Vorgesetzter diesen genehmigt und ein Überprüfungszyklus etwaige Abweichungen aufdeckt. Außerdem gibt es kein Modell für Rechteausweitung bei KI-Agenten—die Art und Weise, wie Agenten Berechtigungen und Anmeldedaten zu Zugriffspfaden verknüpfen, die von keinem Menschen jemals explizit eingerichtet wurden. Keine dieser Phasen lässt sich eindeutig einem Agenten zuordnen, der Anmeldedaten von den von ihm aufgerufenen Diensten übernehmen und an einem Wochenende Tausende autonomer Aktionen ausführen kann – was im Großen und Ganzen genau das ist, was hier passiert ist: Hugging Face hat später mehr als 17,000 aufgezeichnete Ereignisse aus diesem einzelnen Vorfall.
Das ist noch nicht einmal annähernd „Zero Trust“. Und um diese Lücke zu schließen, bedarf es mehr als nur einer besseren Modellanpassung (auch wenn OpenAI zu Recht darauf hinweist, dass auch dies notwendig ist). Es erfordert, jeden Agenten als eigenständige Identität mit einem echten Bestandsverzeichnis, echten Zugriffskontrollen und echter Rechenschaftspflicht zu behandeln – dieselbe Disziplin, die Sicherheitsteams bereits bei menschlichen und Dienstkonten anwenden, muss konsequent auch auf nicht-menschliche Konten angewendet werden.
Drei Funktionen können Ihrem Sicherheitsteam bei dieser Herausforderung helfen:
- Sicherheitsteams benötigen einen kontinuierlichen Überblick über alle in ihrer Umgebung aktiven Agenten, einschließlich derer, die von niemandem registriert wurden.
- Sie benötigen Laufzeitsteuerungen, die festlegen, was jeder Agent tatsächlich tun darf, wobei bei allen Entscheidungen mit weitreichenden Konsequenzen ein Mensch in den Entscheidungsprozess eingebunden ist.
- Sie brauchen Steuerung das den Zugriff fortlaufend überprüft und Abhilfemaßnahmen ergreift, sobald das Verhalten eines Mitarbeiters verdächtig erscheint – und nicht erst im nächsten Prüfungszyklus.
Diese Liste von Funktionen ist nichts Außergewöhnliches. Ein Agent, der nicht in Ihrem Bestand erfasst ist, kann nicht ordnungsgemäß verwaltet werden. Auf Zugriffsrechte, die zur Laufzeit nicht durchgesetzt werden, kann man sich nicht verlassen. Und ein System ohne Prüfpfad kann nicht zertifiziert werden.
Insgesamt sind dies die Kernanforderungen für Zero-Trust-KI-Agenten: eine verifizierte Identität für jeden Agenten, die Durchsetzung des Prinzips der geringsten Berechtigungen zur Laufzeit sowie eine kontinuierliche Governance, die tut es nicht einen Prüfungszyklus abwarten.
Der Vorfall bei Hugging Face wird zunächst als Geschichte über die Leistungsfähigkeit von Modellen gelesen werden. Es ist aber auch eine Geschichte über Identität und ein ziemlich offensichtliches Versagen des Zero-Trust-Ansatzes: Eine nicht verwaltete Identität fand eine Tür, von der niemand wusste, dass sie offen stand, und drang durch sie hindurch.
Jedes Unternehmen, das heute Agenten einsetzt, verfügt über eine Variante dieser „Tür“. Die Frage, die man sich nach diesem Vorfall stellen sollte, lautet nicht, ob Ihre Modelle sicher sind, sondern ob Sie ein vollständige Liste aller Mitarbeiter, die derzeit Zugriff auf Ihre Systeme haben, nachweisen, woher die Berechtigungen stammen, und darlegen, wer sie überprüft.
Wenn die Antwort „Nein“ lautet, dann ist das der Ausgangspunkt. Nicht die Modellanpassung, sondern die Identität.
Eine nicht-menschliche Identität ist jede digitale Identität, die nicht an einen menschlichen Nutzer gebunden ist – Dienstkonten, API-Schlüssel, Maschinenidentitäten, Robotic Process Automation (RPA) Bots und KI-Agenten. NHIs verfügen oft über erweiterte Berechtigungen und werden selten in Standard-Zugriffsprüfungen berücksichtigt, was sie zu einem besonders wertvollen und für Angreifer schwer zu erkennenden Ziel macht.
Das traditionelle IAM geht davon aus, dass ein Mensch eine Anfrage stellt Zugang, Ein Manager genehmigt es, und ein Überprüfungszyklus gleicht Abweichungen aus. KI-Agenten kann alle drei Phasen durchbrechen – sie übernehmen Anmeldedaten und verknüpfen Berechtigungen auf eine Weise, die niemand explizit bereitgestellt, und können Tausende von Aktionen ausführen, bevor ein Mensch dies bemerkt. Um sie zu verwalten, muss dieselbe Disziplin bei der kontinuierlichen Bestandsaufnahme und Festlegung des Umfangs angewendet werden, die bereits für Dienstkonten gilt.
Agenten erweitern ihre Berechtigungen, indem sie vererbte Anmeldedaten und Zugriffsrechte aller Dienste, auf die sie zugreifen können, miteinander verknüpfen – und so Berechtigungen kombinieren, die niemals für eine gemeinsame Nutzung vorgesehen waren. Im Fall von Hugging Face ermöglichte keine einzelne Berechtigungserteilung den Angriff; der Agent stellte den Angriffspfad aus verfügbaren Komponenten zusammen. Laufzeitsteuerungen, die festlegen, was ein Agent tatsächlich tun darf – und nicht nur, wozu er ursprünglich vorgesehen war –, sind unverzichtbar.
Die drei Hauptrisiken sind Zugriff ohne Rechenschaftspflicht (Agenten übernehmen Berechtigungen, ohne dass ein klarer Verantwortlicher feststeht), autonome laterale Bewegung (Agenten handeln mit Maschinen-Geschwindigkeit, bevor Menschen eingreifen können) und das Fehlen eines Prüfpfads (die meisten Organisationen können nicht nachweisen, worauf ein Agent zugegriffen hat, wann und mit welcher Berechtigung).
Beginnen Sie mit der Bestandsaufnahme – man kann nicht regeln, was man nicht kennt. noch nicht gefunden. Passen Sie anschließend die Berechtigungen jedes Agenten auf das erforderliche Minimum an, setzen Sie diese Beschränkungen zur Laufzeit durch und überprüfen Sie den Zugriff der Agenten kontinuierlich, anstatt auf einen Audit-Zyklus zu warten. RSA Governance & Lebenszyklus erweitert diese Funktionen neben menschlichen Nutzern auch auf nicht-menschliche Identitäten.
Zero Trust für KI-Agenten bedeutet Jeder Agent verfügt über eine verifizierte Identität, bereichsbezogene Berechtigungen und Laufzeitsteuerungen – und dieser Zugriff ist widerrufen sobald das Verhalten von den Richtlinien abweicht. Der Vorfall bei Hugging Face war ein Versagen des Zero-Trust-Ansatzes: Eine nicht verwaltete Identität fand eine Tür, von der niemand wusste, dass sie offen stand. Die Zero-Trust-Lösungen von RSA wurden entwickelt, um diese Lücke zu schließen.
Lesen Sie Vom Compliance-Theater zur aktiven Verteidigung, das Positionspapier von RSA zur kontinuierlichen Identitätssteuerung unter Einbeziehung nicht-menschlicher Identitäten, oder eine Demo anfordern um zu erfahren, wie sich RSA Governance & Lifecycle auf Ihre Umgebung anwenden lässt.
