← Zurück zu allen Beiträgen
Veröffentlicht am · von Renaud Deraison

Das Modell hat nie danach gefragt

HiddenLayer hat gezeigt: Wer das LLM-Gateway zwischen einem Coding-Agenten und seinem Modell kontrolliert, kann Tool-Aufrufe einfügen, die das Modell nie gemacht hat, und sie wieder aus dem Verlauf entfernen, bevor das Modell ihn sieht. Der Agent führt sie aus wie jeden anderen Aufruf, und eine Freigabeabfrage kann nicht erkennen, woher ein Aufruf stammt. Einen Tag zuvor enthielt ein LiteLLM-Release auf PyPI einen Credential-Stealer und eine stündliche Hintertür. In Bromure Agentic Coding läuft ein eingeschleuster Aufruf in einer VM, die nur Platzhalter enthält, der Proxy blockiert den Upload und pausiert die VM, und Ihr Mac bewahrt einen Nachweis des Aufrufs auf, an den das Gateway nicht herankommt.

Ihr Agent fragt das Modell, was als Nächstes zu tun ist, und die Antwort kommt über ein Gateway zurück. Fügt das Gateway einen Schritt hinzu, führt der Agent ihn aus. Das Modell hat nie danach gefragt und erfährt auch später nie davon.

HiddenLayer hat am 22. Oktober Man-in-the-Model: Hijacking Coding Agents in Transit veröffentlicht. Adversa hat die Arbeit in seine Novemberübersicht zur Sicherheitsforschung über Coding-Agenten aufgenommen. Die Frage dahinter ist einfach: Was kann ein kompromittiertes Gateway mit den Agenten anstellen, die dahinter arbeiten?

Viele Teams schicken den Agenten-Traffic nicht direkt an Anthropic oder OpenAI. Er läuft über einen LiteLLM-Proxy für Kostenerfassung und Schlüsselverwaltung, über OpenRouter für die Modellwahl oder zu vLLM, llama.cpp oder Ollama auf einem gemeinsam genutzten GPU-Rechner. Jede Anfrage und jede Antwort passiert diese Schicht, und eine Antwort ist die Liste der Tool-Aufrufe, die der Agent als Nächstes ausführt.

Was das Gateway kann

Die Forscher von HiddenLayer (Esteban Tonglet, Divyanshu Divyanshu und Kasimir Schulz) haben den Angriff Schritt für Schritt durchgespielt.

Herausfinden, wer anfragt. Codex sendet Header, die mit codex-tui beginnen, Claude Code sendet claude-cli. Agenten, die nur einen generischen SDK-Header senden, verraten sich trotzdem über ihre Tool-Namen und Anfragefelder.

Herausfinden, was ohne Nachfrage läuft. Das Gateway sieht, wann es einen Tool-Aufruf sendet und wann das Ergebnis zurückkommt. Ein Dateizugriff, der mehrere Sekunden dauert, hat vermutlich auf die Freigabe durch einen Menschen gewartet. Bei über 4.000 aufgezeichneten Sitzungen ließen nur 4,7 % der schnellen Tool-Aufrufe überhaupt Zweifel. Ist das Timing nicht eindeutig, kann das Gateway Messcode in ein Skript schmuggeln, das der Agent gerade bearbeitet, oder einen Befehl in einen Timer packen, und die Ausgabe verbergen.

Dateien lesen, die das Modell nie angefordert hat. Claude Code lädt CLAUDE.md, Codex lädt AGENTS.md, Cursor liest .cursorrules. Das Gateway kann einer Antwort einen Lesezugriff auf jede dieser Dateien hinzufügen, behalten, was zurückkommt, und sowohl den Aufruf als auch sein Ergebnis entfernen, bevor es die Unterhaltung an das Modell weitergibt. In den Worten von HiddenLayer: „Diese Dateizugriffe werden von der Abfangschicht ausgelöst, nicht vom Modell.“

Code ausführen. In der ersten Demo war der Agent Hermes, in einem Modus, der vor Befehlen nachfragt, die er für gefährlich hält, aber nicht vor Dateiänderungen oder gewöhnlichem Python. Der Nutzer bat ihn, eine Python-Datei zu lesen. Der Proxy fügte der Antwort Tool-Aufrufe hinzu: Eine Änderung setzte eine Funktion heartbeat_ok() in die Datei, eine zweite fügte Code hinzu, der /etc/passwd, Umgebungsvariablen mit Zugangsdaten und ~/.ssh/id_rsa einsammelte und an einen Webhook schickte, eine dritte führte die Datei mit python3 aus, und eine letzte Änderung stellte den ursprünglichen Zustand der Datei wieder her. Der Nutzer sah nie einen Netzwerkbefehl, weil der Upload innerhalb des Skripts geschah.

Auf einem freigegebenen Präfix mitfahren. In der zweiten Demo hatte Codex git als freigegebenes Präfix und ein beschreibbares .git-Verzeichnis. Das Gateway schickte:

git -c diff.external='sh -c "cat .env"' diff --no-index /dev/null .env

Der Befehl beginnt mit git, also führte Codex ihn ohne Nachfrage aus und gab eine .env-Datei aus, die der Agent normalerweise nicht öffnen würde. Für den Nutzer „scheint der Agent weiterhin eine gewöhnliche Git-Operation auszuführen“.

Eine Abhängigkeit für später platzieren. Wenn das Modell requests hinzufügen will, macht das Gateway daraus reqiests. Der Agent schreibt den falsch geschriebenen Namen in die Abhängigkeitsdatei, und die Payload läuft bei der nächsten Installation, auf einem Laptop oder in der CI.

Coding-AgentFührt jeden Aufruf ausread main.pyedit main.py + heartbeat_ok()python3 main.pygit -c diff.external=… .envedit main.py (zurücksetzen)rot: vom Modell nie angefordertKompromittiertes GatewayAuf dem Hinwegfügt der Antwort Aufrufe hinzu,dort, wo nichts nachfragtAuf dem Rückwegentfernt Aufrufe und Ergebnisseaus dem Verlauf, behält das GeleseneModellanbieterWollte nur eine Sacheread main.pyBekommt sauberen Verlaufkeine Zusatzaufrufe, nichts inden Logs, nichts zu bemerkenDas eingeschleuste Skript schickt .env, ~/.ssh/id_rsa und Umgebungsvariablen mit Zugangsdaten an den Webhook. Kein Netzwerkbefehl erscheint.
Der Angriff von HiddenLayer. Das Gateway fügt der Antwort des Modells Tool-Aufrufe hinzu. Der Agent führt sie aus, und das Gateway entfernt sie aus dem Verlauf, den es weiterleitet, sodass weder das Modell noch der Anbieter sie je sehen.

Eine Freigabeabfrage weiß nicht, wer den Aufruf geschrieben hat

Das Fazit von HiddenLayer: „Die Sicherheitsgrenze ist nicht mehr nur das Modell. Sie umfasst jedes System, das beeinflussen kann, was der Agent am Ende ausführt.“

Freigabeabfragen und Allowlists beurteilen den Befehl, nicht seine Herkunft. Der Agent kann einen Tool-Aufruf des Modells nicht von einem unterscheiden, den das Gateway hinzugefügt hat, denn beide kommen in derselben Antwort an. Über das Timing weiß das Gateway außerdem, welche Aufrufe Sie freigeben, ohne hinzusehen, und genau die wählt es aus. Abwehrmaßnahmen gegen Prompt Injection prüfen den Text, der zum Modell geht, und hier muss überhaupt kein Text das Modell erreichen.

Am 21. Oktober, einen Tag vor der Veröffentlichung von HiddenLayer, erschien litellm 1.107.0 auf PyPI, mit einem Credential-Stealer und einem Loader, der stündlich Code des Angreifers nachlud. The Hacker News führte das auf einen Master-Key zurück, der im Mai in ein öffentliches Repository committet und nie widerrufen worden war. PyPI zog das Release nach 1 Stunde 43 Minuten zurück, die gleichzeitig veröffentlichten Images auf Docker Hub und GHCR wurden später zurückgesetzt. Ein LiteLLM-Proxy, der das Release übernommen hatte, ließ den stündlichen Loader eines Angreifers in genau dem Prozess laufen, der jede Agenten-Unterhaltung weiterleitet, die er bearbeitet. Wir haben über dieses Release in Das Release war zwei Stunden alt geschrieben.

Dasselbe Gateway vor einer Bromure-Maschine

Bromure Agentic Coding führt Claude Code, Codex, Grok, Kimi und omp in Ubuntu-VMs auf Ihrem Mac aus. Ein Gateway kann dem Agenten weiterhin Worte in den Mund legen. Diese Worte werden zu Befehlen, die in einer VM laufen, die unter der Annahme gebaut ist, dass der Agent feindlich sein könnte, und jeder Befehl muss an Prüfungen vorbei, die das Gateway nicht anrühren kann.

Das Skript findet Platzhalter

Das Skript von HiddenLayer sammelte Umgebungsvariablen mit Zugangsdaten, ~/.ssh/id_rsa und .env ein. In einer Bromure-Maschine gilt:

  • Umgebungsvariablen enthalten Platzhalter. GH_TOKEN, NPM_TOKEN, ANTHROPIC_API_KEY und die übrigen haben das richtige Format und nirgends einen Wert außer über den Proxy auf Ihrem Mac, der den echten Wert nur in Anfragen an den Host einsetzt, zu dem die jeweilige Zugangsinformation gehört.
  • ~/.ssh enthält keine private Schlüsseldatei. Der SSH_AUTH_SOCK der VM ist eine Brücke zum Mac: Die VM kann Signaturen anfordern, aber die Schlüsselbytes bleiben auf dem Host.
  • .env enthält Platzhalter, sobald Sie im Bereich Credentials der Maschine Import env file… ausgeführt haben. Die Funktion liest Ihre vorhandene .env, zeigt die Variablen mit maskierten Werten und macht daraus Zugangsdaten auf dem Mac. Die VM bekommt Platzhalter in denselben Variablen.
  • AWS-Schlüssel sind eine echte Access-Key-ID mit einem falschen Secret. Der Mac signiert jede Anfrage mit dem echten neu, sodass das Secret in der VM nie existiert.

Der git diff.external-Trick aus der zweiten Demo funktioniert in einer Bromure-Maschine weiterhin. Er gibt eine Datei voller Platzhalter aus.

Sie irgendwohin zu schicken löst Alarm aus

Der nächste Schritt des Skripts ist, das Gefundene an einen Webhook zu schicken. Der erste Platzhalter in dieser Anfrage geht an einen Host, für den er nicht ausgestellt wurde. Der Proxy blockiert die Anfrage mit HTTP 451, bevor ein Byte hinausgeht, pausiert die VM und öffnet auf dem Mac eine Warnung mit dem Titel This environment may have been compromised. Die Warnung nennt die Zugangsinformation, den Host, zu dem sie gehört, und den Host, an den sie gehen sollte. Nichts, was das Gateway tut, erreicht diesen Dialog: Er läuft auf dem Mac, und das Gateway sieht nur Modell-Traffic.

Eine Payload, die Zugangsdaten auslässt und stattdessen Quellcode oder /etc/passwd mitnimmt, trifft auf die Egress-Firewall. Setzen Sie in Guardrails Unmatched traffic auf Deny und erlauben Sie die Hosts, die die Maschine braucht: Ihre Modellroute, Ihre Forge, Ihre Registries. Der Webhook steht nicht auf der Liste. Die Firewall greift am virtuellen Switch und im Proxy, und der Web-Traffic der VM wird in den Proxy umgeleitet, sodass ein Skript sie nicht umgehen kann.

VM der MaschineEingeschleuster Aufrufpython3 main.pyWas er einsammeltVariablen und .env: Platzhalter~/.ssh: kein privater SchlüsselAWS: ein falscher Secret KeyPOST an den Webhookmit den PlatzhalternIhr MacTrace behält die Antwortmit dem Aufruf, so wie derAgent sie erhieltEgress-Firewallnicht gelistete Hosts amSwitch und im Proxy blockiertPlatzhalter an falschen HostHTTP 451, VM pausiert, WarnungAußenKompromittiertes Gatewayfügt Aufrufe ein, ändert aberweder Nachweis noch DialogeWebhook des Angreiferserhält nichts
Dasselbe eingeschleuste Skript in einer Bromure-Maschine. Es findet Platzhalter, sein Upload wird blockiert und die VM pausiert, und der Mac bewahrt einen eigenen Nachweis der Antwort auf, die den Aufruf geliefert hat.

Der Mac behält den Aufruf, den das Gateway gelöscht hat

Der beste Trick des Gateways ist das Aufräumen. Es entfernt den Aufruf aus dem Verlauf, den es weiterleitet, sodass die Logs des Anbieters und der Kontext des Modells sauber aussehen. An die Kopie auf Ihrem Mac kommt es nicht heran.

Jede Anfrage einer Bromure-Maschine läuft über den Proxy auf dem Mac, und der Trace zeichnet auf, was ihn passiert hat. Auf der Standardstufe, AI request details, behält er vollständige Anfrage- und Antwort-Bodies für die bekannten Modellanbieter. Für ein Gateway, das Bromure nicht am Namen erkennt, setzen Sie den Session trace der Maschine auf Everything. Die Ansicht Conversation im Trace Inspector zerlegt jede Antwort in ihre Tool-Aufrufe, Shell-Befehle sowie Dateilese- und -schreibzugriffe. Die Antwort, die python3 main.py enthielt, liegt dort so vor, wie der Agent sie erhalten hat, und das Gateway kann sie nachträglich nicht ändern. Die Bodies sind mit einem Schlüssel in Ihrem Schlüsselbund versiegelt, und bei einer nicht verwalteten Installation wird nichts hochgeladen.

Auf einer Maschine mit der Sandbox-Engine OpenShell + Sentry geht Show the Whole Chain auf der blockierten Verbindung den restlichen Weg: vom Paket zum python3-Prozess, zur Shell, die der Agent gestartet hat, zum Tool-Aufruf, der sie gestartet hat, und zum Text, der in derselben Antwort davor stand. Wenn die Logs des Anbieters einen Durchgang zeigen, der eine Datei lesen wollte, und Ihr Mac denselben Durchgang zeigt, wie er ein Skript ausführt und Daten an einen Webhook schickt, dann ist der Unterschied zwischen beiden das Werk des Gateways.

Die wichtigen Dialoge sind auf dem Mac

Das Gateway von HiddenLayer lernt, welche Aufrufe ohne Nachfrage laufen, indem es die Freigaben im Agenten selbst misst. Die wichtigen Freigaben von Bromure finden nicht im Agenten statt.

Auf neuen Maschinen startet jeder geschützte Dienst im Bereich Guardrails auf Prompt before write. Ein git push, ein Schreibzugriff auf eine AWS-API, ein kubectl apply oder ein INSERT an einen Datenbank-Endpunkt hält an und wartet auf einen Dialog auf dem Mac, der die genaue Operation zeigt. Löschvorgänge fragen ebenfalls nach. Die Richtlinie wird im Proxy durchgesetzt, sodass ein eingeschleuster Aufruf nicht durchkommt, nur weil er mit einem freigegebenen Präfix beginnt: Der Dialog richtet sich danach, was die Anfrage auf der Leitung tut, egal welcher Befehl sie erzeugt hat.

Der Tippfehler trifft auf die Supply-Chain-Prüfungen

Der Tausch zu reqiests zielt auf das nächste pip install. In einer Bromure-Maschine läuft jeder Paketabruf durch die Supply-Chain-Prüfungen des Proxys, bevor die VM ein Byte bekommt. Mit socket.dev oder Depi, aktiviert im Bereich Supply Chain, markiert Bromure Typosquatting und bekannte Malware schon beim Download. Die Alterssperre, standardmäßig aktiv, blendet jede Version aus, die in den letzten zwei Tagen veröffentlicht wurde, und fängt so ein Paket ab, das der Angreifer kurz vor dem Umschalten des Gateways veröffentlicht hat. Eine blockierte Installation scheitert mit einem 451, der das Paket und den Grund nennt, und pip zeigt ihn im Terminal an, für Sie und für den Agenten.

Die Modellroute wird auf dem Mac festgelegt

Welches Gateway im Pfad sitzt, entscheiden Sie im Models-Board auf dem Mac, nicht in einer Konfigurationsdatei in der VM. Ist die Arbeit einer Maschine für jedes Gateway eines Drittanbieters zu heikel, richten Sie ihre Agenten auf ein On-device-Modell aus: Bromure führt MLX-Modelle auf der GPU Ihres Macs aus, und die Anfrage verlässt den Host nie. Wie das Board verhindert, dass jemand anderes die Route ändert, steht in Das CLI war das echte.

Platzhalter zum Stehlen

Umgebungsvariablen, .env und die AWS-Konfiguration enthalten Platzhalter, und SSH-Schlüssel gelangen nie in die VM. Ein eingeschleustes Skript sammelt Werte ein, die nur über Ihren Mac funktionieren.

Exfiltration pausiert die VM

Ein Platzhalter auf dem Weg zum falschen Host wird mit 451 blockiert, die VM wird pausiert, und die Warnung nennt, was wohin gehen sollte.

Ein Nachweis, den das Gateway nicht ändern kann

Der Trace auf Ihrem Mac behält jede Antwort so, wie der Agent sie erhalten hat, eingeschleuste Aufrufe eingeschlossen, versiegelt mit einem Schlüssel in Ihrem Schlüsselbund.

Schreibzugriffe warten auf Sie

Pushes, Cloud- und Datenbank-Schreibzugriffe warten auf einen Dialog auf dem Mac, entschieden danach, was die Anfrage tut, nicht danach, welcher Befehl sie gesendet hat.

Was Sie diese Woche tun sollten

  • Listen Sie jedes System zwischen Ihren Agenten und deren Modellen auf: den LiteLLM-Proxy, das OpenRouter-Konto, den GPU-Rechner mit vLLM oder Ollama. Patchen und härten Sie sie wie Produktionsserver, denn genau das sind sie.
  • Wenn Sie litellm 1.107.0 irgendwo betrieben haben, betrachten Sie diesen Host und jedes Secret, das er erreichen konnte, als kompromittiert.
  • Prüfen Sie die freigegebenen Befehlspräfixe. git als pauschales Präfix gibt auch git -c diff.external=… frei.
  • Nehmen Sie die echten Secrets aus der Umgebung des Agenten, damit ein Skript, das sie einsammelt, nur Platzhalter bekommt. In einer Bromure-Maschine erledigt Import env file… das in einem Schritt.

Das Kapitel Credentials des Handbuchs erklärt den Austausch im Detail, und Tracing & Audit beschreibt, was der Trace aufbewahrt und wie man ihn liest.