← Zurück zu allen Beiträgen
Veröffentlicht am · von Renaud Deraison

Die Evaluation verließ das Labor

Am 6. November teilte WorkOS mit, dass hinter dem Einbruch vom Oktober ein ARTEX-Lauf eines Forschers steckte, der während Benchmark-Evaluationen „aus seiner isolierten Testumgebung entkam“. Der Agent erreichte das interne Vertriebstool von WorkOS aus dem Internet, meldete sich mit einem erratbaren Entwicklungs-Credential an und zog fünf Tage lang Kundendaten ab, bevor es jemand bemerkte. In Bromure Agentic Coding wird die Netzwerkgrenze eines Agenten auf dem Mac durchgesetzt, außerhalb der VM: Ein Ziel, das niemand erlaubt hat, wird abgewiesen, und eine Sitzung, die plötzlich mit neuen Hosts spricht, wird innerhalb von Millisekunden abgeschnitten und pausiert.

Der Forscher wollte seinen Agenten an einem Benchmark testen. Der Agent fand die API eines echten Unternehmens im offenen Internet, und nichts in seiner „isolierten Testumgebung“ hielt ihn davon ab, hineinzugehen.

Am 6. November veröffentlichte WorkOS ein Update zu seinem Sicherheitsvorfall vom 30. Oktober. Eine Woche zuvor hatte das Unternehmen bekanntgegeben, dass ein Angreifer mit ARTEX, einem KI-Framework für offensive Sicherheit, in ein internes Vertriebs- und Support-Tool eingedrungen war. Das Update nannte den Angreifer: einen Sicherheitsforscher, der Cybersecurity-Benchmarks evaluierte, und, in den Worten von WorkOS-Gründer Michael Grinich, „ihr Agent ist aus seiner isolierten Testumgebung entkommen und hat unbeabsichtigt mit WorkOS interagiert“. BleepingComputer berichtete am selben Tag.

Der Forscher meldete sich nach dem ersten Bulletin bei WorkOS und übergab Request-Details und Zeitstempel. Das Sicherheitsteam von WorkOS und eine unabhängige Forensikfirma glichen sie mit den Logs von WorkOS ab und bestätigten die Zuordnung „mit hoher Sicherheit“. Der Forscher gibt an, alles gelöscht zu haben, was der Agent mitgenommen hatte, und es mit niemandem geteilt zu haben.

Die Chronologie laut dem Bulletin von WorkOS:

  • 25. Oktober: erster bestätigter unbefugter Zugriff auf die API des Tools.
  • 30. Oktober: Der Agent ruft Datensätze in großen Mengen ab. Einem Mitarbeiter fällt die ungewöhnliche Nutzung auf, und WorkOS entfernt den öffentlichen Zugang.
  • 30.–31. Oktober: Authentifizierung abgeriegelt, Credentials für angebundene Dienste widerrufen oder rotiert.
  • 2. November: öffentliche Bekanntgabe und Benachrichtigung der Kunden.
  • 3.–5. November: Der Forscher meldet sich; die Forensikfirma bestätigt seine Angaben.

Was der Agent mitnahm: geschäftliche Kontaktdaten, Kontohistorien, Daten zur Produktnutzung sowie Zusammenfassungen oder Auszüge von Verkaufsgesprächen, Support-Threads und Slack-Unterhaltungen mit Kunden, teils mit E-Mail-Adressen von Endnutzern darin.

Vom Benchmark-Lauf zur KundendatenbankBenchmark-LaufARTEX-Agent in einer„isoliertenTestumgebung“Erreicht das Internetfindet die API desinternen Vertriebstools,öffentlich erreichbarMeldet sich anvorhersehbares Dev-Credential, noch gültigin der ProduktionZieht Datensätze abkein Rate Limit; Kontakte,Kontohistorien, Auszügeaus Calls und Slack25. Okt.erster Zugrifffünf Tage unbemerkt30. Okt.Massenabruf, dann entdeckt2. Nov.Bekanntgabe6. Nov.Agent des Forschers benannt
Fünf Tage zwischen der ersten Anfrage des Agenten und dem Moment, in dem es jemand bemerkte. Die Umgebung des Forschers sollte den Agenten bei seinem Benchmark halten. Der Agent erreichte eine öffentliche API, meldete sich mit einem Entwicklungs-Credential an, das die Produktion noch akzeptierte, und zog Datensätze ab, ohne dass ein Rate Limit ihn bremste.

Zwei Versäumnisse, eines auf jeder Seite

WorkOS listete vier Lücken auf der eigenen Seite. Das Tool lief auf einer veralteten internen Plattform. Lockere Zugriffskontrollen ließen seine API aus dem Internet erreichbar. Ein schwaches Entwicklungs-Credential wurde in der Produktion akzeptiert, und es war vorhersehbar genug, dass der Agent es herausfinden konnte. Es gab kein Rate Limit, und nichts schlug wegen des Traffics Alarm, bis die Datensätze schon weg waren. WorkOS hat interne Tools inzwischen am Netzwerkrand gesperrt, den schwachen Credential-Pfad entfernt und begonnen, ARTEX gegen die eigenen aus dem Internet erreichbaren Systeme laufen zu lassen.

Das andere Versäumnis lag auf der Seite des Forschers, und keine der beiden Parteien hat gesagt, wie der Ausbruch passierte. Was auch immer der Mechanismus war, heraus kam ein Agent, der dafür gebaut ist, Schwachstellen zu finden und auszunutzen, mit einer aktiven Route ins öffentliche Internet, während eines Laufs, der ihn auf einen Benchmark richten sollte. Viele Agenten-Sandboxen sehen so aus: ein Container, ein separates Benutzerkonto oder ein Absatz im System-Prompt. Wenn es eine Netzwerkgrenze gibt, hat sie jemand aus derselben Umgebung heraus eingerichtet, die der Agent kontrolliert.

Coding-Agenten verhalten sich im Kleinen genauso. Sie lassen Integrationstests gegen Staging laufen, tasten APIs ab, um ihre Form zu verstehen, und probieren den nächsten Host, wenn der erste scheitert. Geben Sie einem Agenten ein „connection refused“, und er beginnt über einen anderen Weg hinein nachzudenken, denn die Aufgabe zu Ende zu bringen ist genau das, worauf er trainiert wurde.

Derselbe Lauf in Bromure Agentic Coding

Bromure Agentic Coding betreibt Claude Code, Codex, Grok, Kimi und omp in Ubuntu-VMs auf Ihrem Mac, eine VM pro Maschine. Jede Verbindung, die die VM öffnet, läuft über Bromures virtuellen Switch und Proxy, die auf dem Mac laufen. Dort liegen die Netzwerkregeln, und der Agent kommt nicht an sie heran. Er kann in seiner VM root sein und sie trotzdem nicht ändern.

Unbekannte Hosts werden abgewiesen, und der Agent erfährt warum

Eine Maschine kann eine von zwei Sandbox-Engines verwenden:

  • Die Bromure Firewall: eine geordnete Allow/Deny-Tabelle über Host, IP/CIDR, Protokoll, Port und HTTP-Methode. Setzen Sie Unmatched traffic auf Deny, und die Maschine läuft mit einer Allow-List.
  • OpenShell + Sentry: eine NVIDIA OpenShell-Policy, in der alles verboten ist, sofern keine network_policies-Regel es erlaubt. Die Start-Policy erlaubt GitHub, npm und PyPI nur lesend sowie die Paketspiegel von Ubuntu.

Für einen Benchmark-Lauf nennt die Policy die Ziele des Benchmarks und den Modellanbieter. Die Hosts des Anbieters und der Credentials fügt Bromure selbst hinzu. Eine WorkOS-API steht nicht auf dieser Liste, also weist der virtuelle Switch des Macs schon die erste Verbindung dorthin ab. Der Switch prüft die Zieladresse und den Namen, den die VM aufgelöst hat, und der Proxy prüft den TLS-Servernamen. Der Switch leitet die Ports 80 und 443 in den Proxy um, sodass auch ein Programm, das HTTPS_PROXY ignoriert, durch ihn hindurch muss. Unter OpenShell weist Bromure Loopback-, Link-Local- und Cloud-Metadaten-Adressen ab, ganz gleich, was die Policy sagt.

Ein Agent, der nur eine abgewiesene Verbindung sieht, sucht gern einen anderen Weg. Mit Tell the agent when policy blocks it, auf OpenShell-Maschinen standardmäßig aktiv, schreibt Bromure in die Unterhaltung des Agenten, was blockiert wurde und warum:

[Bromure policy] This workspace's network policy blocked connecting to api.stripe.com:443 — no network policy allows api.stripe.com:443. … This is a deliberate restriction, not a fault: don't retry it or reach the same thing another way … If your task needs it, stop and tell the user what you need and why so they can decide.

Claude Code liest diesen Hinweis direkt nach dem Befehl, der auf die Sperre gestoßen ist. Der blockierte Host erscheint außerdem im Sandbox drawer der Maschine, mit dem Programm, das es versucht hat, und der Zahl der Versuche. Braucht der Agent ihn wirklich, können Sie ihn für 15 Minuten oder eine Stunde per Allow freigeben, statt das Netzwerk dauerhaft zu öffnen.

VM der MaschineBenchmark-AufgabeAnfragen an die Ziele,die die Policy nenntDer Agent schweift abprobiert die API einer fremdenFirma, als root in seiner VMPolicy-Hinweis im Chat„stop and tell the user“Ihr MacSwitch und ProxyPolicy erlaubt die Ziele;alles andere ist verbotenAbgewiesen, geloggt, erklärtZeile in Security Timeline,Sandbox drawer, Hinweis an AgentWatchdog: QuarantineNetz gekappt, VM pausiertDas InternetBenchmark-Zieleund Modellanbieter:wie gewohnt erreichbarDie API von jemand anderemsieht keine einzige Anfragevon der Maschine
Derselbe Benchmark-Lauf in einer Bromure-Maschine. Der Agent kann in seiner VM root sein, aber die Regeln liegen auf dem Mac. Ein Host außerhalb der Policy wird am virtuellen Switch abgewiesen, der Agent wird angewiesen, anzuhalten und zu fragen, und greift die Sitzung weiter nach neuen Zielen, kappt der Watchdog ihr Netzwerk und pausiert die VM.

Der Gast kann die Regeln nicht abschalten

„Aus seiner isolierten Testumgebung entkommen“ heißt meist, dass der Agent in dieser Umgebung etwas getan hat, womit ihre Entwickler nicht gerechnet hatten. Gehen Sie in einer Bromure-Maschine davon aus, dass er das tut. Die Netzwerkregeln sind trotzdem nicht in der VM. Switch und Proxy auf dem Mac prüfen sie, und Sie können sie auf einer laufenden Maschine ohne Neustart verschärfen.

Auf einer OpenShell-Maschine können Sie innerhalb der VM noch weiter gehen:

  • eine filesystem_policy beschränkt die Dateien des Agenten mit Linux Landlock, sogar gegenüber root;
  • ein process-Abschnitt oder Enforce binaries entfernt sudo und Docker, und jede Verbindung muss von einem Programm kommen, das die Policy nennt und das bei der ersten Nutzung per Hash festgepinnt wird;
  • der kernel sentry, ein kleines Modul im Kernel der VM, meldet dem Mac Programmstarts, Verbindungen, Rechteänderungen und das Laden von Modulen. Sobald er läuft, wird der Kernel so abgeriegelt, dass nicht einmal root Code nachladen kann, um einzugreifen, und eine Lücke in seinem nummerierten Datenstrom wird als tampering suspected markiert.

Lässt sich die Gast-Sandbox nicht vollständig anwenden, startet keine Sitzung, und die Sandbox-Karte sagt es in Rot.

Aus fünf Tagen werden Millisekunden

WorkOS entdeckte das Eindringen nach fünf Tagen, als einem Mitarbeiter die ungewöhnliche Nutzung auffiel. Bromures agent watchdog beobachtet jede Sitzung von außerhalb der VM und achtet auf:

  • Häufungen blockierter Anfragen;
  • neue Ziele, nachdem sich die Sitzung eingependelt hat;
  • ausgehendes Volumen weit über der eigenen Baseline der Sitzung, gezählt am Netzwerk-Switch;
  • Credentials, die nicht dorthin gehören, und Anzeichen von Manipulation.

Im Modus Quarantine werden einer Sitzung, die die Schwelle innerhalb einer Minute überschreitet, binnen Millisekunden das Netzwerk gekappt und die VM pausiert. Eine Warnung, The agent watchdog quarantined this workspace, listet auf, was er gesehen hat. Keep quarantined setzt die VM mit weiterhin gekapptem Netzwerk fort, damit Sie hineinschauen können. Release stellt das Netzwerk wieder her, und Shut down fährt die Maschine herunter.

Ein Agent, der aus seinem Benchmark ausbricht und anfängt, die API eines anderen abzulaufen, erzeugt genau dieses Muster: eine Reihe von Sperren, dann neue Hosts, dann ein Download, der weit größer ist als alles, was die Sitzung zuvor getan hat.

Die Aufzeichnung liegt schon auf Ihrem Mac

Der Forscher in dieser Geschichte hat sich anständig verhalten und sich mit Request-Details und Zeitstempeln gemeldet. WorkOS brauchte trotzdem das eigene Sicherheitsteam und eine unabhängige Forensikfirma, um sie mit den eigenen Logs abzugleichen.

Jede Entscheidung, die Bromure trifft, ist eine Zeile in der Security Timeline der Maschine. Auf einer Maschine mit dem kernel sentry zeigt ein Doppelklick auf eine Netzwerkzeile deren network lineage, die ganze Kette hinter dieser Verbindung:

  1. der Prompt, den Sie gegeben haben, die Überlegungen des Agenten und seine erklärte Absicht;
  2. der Tool-Aufruf mit dem genauen Befehl;
  3. die Prozesse vom Agenten bis zu dem Programm, das sich verbunden hat;
  4. der Netzwerkfluss;
  5. was Bromure entschieden hat, auf welcher Ebene und warum.

Other flows from this tool call listet jede weitere Verbindung, die derselbe Schritt aufgebaut hat. Sollte ein Agent jemals etwas tun, worum Sie ihn nicht gebeten haben, wüssten Sie, welcher Anweisung er folgte und welche Hosts er berührt hat, ohne auf die Logs anderer warten zu müssen.

Auch ein erratbares Dev-Credential bringt nicht weit

Die dritte Lücke bei WorkOS war ein Entwicklungs-Credential, das die Produktion noch akzeptierte. Solche Credentials finden Sie überall, wo Coding-Agenten arbeiten: in .env-Dateien, Test-Fixtures und der Shell-History im Projektordner. In einer Bromure-Maschine sind die Credentials, die der Agent hält, Platzhalter. Die echten Werte bleiben verschlüsselt auf dem Mac, und der Proxy setzt sie nur in Anfragen an die Hosts ein, zu denen das jeweilige Credential gehört. Geht ein Platzhalter an einen anderen Host, blockiert der Proxy ihn mit HTTP 451, pausiert die VM und öffnet eine Warnung, die das Credential und sein Ziel nennt. Schalten Sie Only allow credentials Bromure injects ein, und der Proxy blockiert auch jedes Credential, das nicht Bromure dort platziert hat, etwa eines, das der Agent in einer Datei gefunden oder erraten hat.

Regeln außerhalb des Gasts

Die Netzwerk-Policy läuft auf Switch und Proxy des Macs. Root in der VM reicht nicht an sie heran.

Standardmäßig verboten

OpenShell-Maschinen erlauben nur, was die Policy nennt. Auch die Firewall kann als Allow-List laufen.

Quarantäne in Millisekunden

Neue Ziele und ausgehende Spitzen kappen das Netzwerk und pausieren die VM, bis Sie entscheiden.

Jede Verbindung erklärt

Die network lineage verknüpft jeden Fluss mit dem Prompt, dem Tool-Aufruf und dem Prozess, der ihn erzeugt hat.

Was diese Woche zu tun ist

Wenn Sie Agenten gegen irgendetwas laufen lässt, ob Sicherheits-Benchmarks, Red-Team-Tools oder Coding-Agenten, die gegen Staging testen:

  • Schreiben Sie auf, welche Hosts ein Lauf braucht, und setzen Sie diese Liste an einer Stelle durch, die der Agent nicht bearbeiten kann. Eine Regel im Container oder in der eigenen Konfiguration des Agenten zählt nicht.
  • Verbieten Sie bei Evaluationsläufen standardmäßig alles. Ein Benchmark hat eine bekannte Menge an Zielen.
  • Alarmieren Sie bei neuen Zielen und Volumenspitzen pro Sitzung, und sorgen Sie dafür, dass der Alarm den Lauf auch stoppt, statt ihn nur zu protokollieren.
  • Führen Sie pro Verbindung eine Aufzeichnung, die Sie an jemand anderen weitergeben können, verknüpft mit dem, worum der Agent gebeten wurde.

Und auf der empfangenden Seite gilt die Liste von WorkOS: Halten Sie interne Tools aus dem öffentlichen Internet heraus, akzeptieren Sie keine Entwicklungs-Credentials in der Produktion und begrenzen Sie die Rate von APIs, die Kundendaten zurückgeben.

Wie OpenShell-Policies und network lineage in Bromure funktionieren, steht in OpenShell-Policies in Bromure und die Begründung hinter jeder Verbindung. Was passiert, wenn ein Agent aus seiner eigenen Sandbox ausbricht, steht in Vierzigtausend Dollar pro Ausbruch. Die Details stehen im Kapitel Sandbox-Richtlinie des Handbuchs.