← すべての投稿に戻る
公開日 · 著者 Renaud Deraison

モデルはそんなことを頼んでいない

HiddenLayer は、コーディングエージェントとモデルの間にある LLM ゲートウェイを握った者が、モデルが出していないツール呼び出しを追加し、モデルが履歴を見る前にそれを消せることを示しました。エージェントはそれを他の呼び出しと同じように実行し、承認プロンプトには呼び出しの出どころがわかりません。その前日には、PyPI 上の LiteLLM のリリースに認証情報スティーラーと毎時動くバックドアが仕込まれていました。Bromure Agentic Coding では、注入された呼び出しは身代わりしか置かれていない VM の中で動き、プロキシがそのアップロードを止めて VM を一時停止し、ゲートウェイの手が届かない Mac 側に呼び出しの記録が残ります。

エージェントはモデルに次に何をすべきかを尋ね、その答えはゲートウェイを通って返ってきます。ゲートウェイが手順を一つ足せば、エージェントはそれを実行します。モデルはそれを頼んでおらず、後になってもそれが起きたことを知りません。

HiddenLayer は 10 月 22 日に Man-in-the-Model: Hijacking Coding Agents in Transit を公開しました。Adversa はこれをコーディングエージェントのセキュリティ研究をまとめた 11 月版に取り上げています。問いはシンプルです。侵害されたゲートウェイは、その背後にいるエージェントに何ができるのか。

多くのチームは、エージェントのトラフィックを Anthropic や OpenAI に直接送っていません。コスト管理とキー管理のために LiteLLM プロキシを通したり、モデル選択のために OpenRouter を通したり、共有 GPU マシン上の vLLM、llama.cpp、Ollama に送ったりしています。すべてのリクエストとすべてのレスポンスがこの層を通り、レスポンスとは、エージェントが次に実行するツール呼び出しの一覧のことです。

ゲートウェイにできること

HiddenLayer の研究者 (Esteban Tonglet、Divyanshu Divyanshu、Kasimir Schulz) は、攻撃を一段階ずつ検証しました。

呼び出し元を突き止める。 Codex は codex-tui で始まるヘッダーを送り、Claude Code は claude-cli を送ります。汎用の SDK ヘッダーしか送らないエージェントも、ツール名やリクエストのフィールドで正体がわかります。

確認なしで動くものを突き止める。 ゲートウェイには、ツール呼び出しを送った時刻と結果が返ってきた時刻が見えます。数秒かかったファイル読み取りは、おそらく人間の承認を待っていました。4,000 を超える記録済みセッションで、素早いツール呼び出しのうち判断に迷うものは 4.7% だけでした。タイミングで判断できないときは、エージェントが編集中のスクリプトに計測コードを紛れ込ませたり、コマンドをタイマーで包んだりして、その出力を隠すことができます。

モデルが頼んでいないファイルを読む。 Claude Code は CLAUDE.md を、Codex は AGENTS.md を読み込み、Cursor は .cursorrules を読みます。ゲートウェイはそのどれかを読む呼び出しをレスポンスに追加し、返ってきた内容を手元に残したうえで、会話をモデルに転送する前に呼び出しと結果の両方を消せます。HiddenLayer の言葉では、「これらのファイル読み取りはモデルではなく、傍受層によって開始される」のです。

コードを実行する。 最初のデモのエージェントは Hermes で、危険と判断したコマンドの前には確認するものの、ファイル編集や普通の Python の前には確認しないモードでした。ユーザーは Python ファイルを読むよう頼みました。プロキシはレスポンスにツール呼び出しを追加しました。一つ目の編集でファイルに heartbeat_ok() 関数を入れ、二つ目で /etc/passwd、認証情報を含む環境変数、~/.ssh/id_rsa を集めて webhook に送るコードを足し、三つ目でファイルを python3 で実行し、最後の編集でファイルを元に戻しました。送信はスクリプトの中で行われたので、ユーザーがネットワークコマンドを目にすることはありませんでした。

承認済みのプレフィックスに便乗する。 二つ目のデモでは、Codex は git を承認済みプレフィックスとし、.git ディレクトリに書き込めました。ゲートウェイが送ったのは次のコマンドです。

git -c diff.external='sh -c "cat .env"' diff --no-index /dev/null .env

git で始まっているので、Codex は確認なしに実行し、エージェントが普段なら開くのを拒む .env ファイルを表示しました。ユーザーから見ると、エージェントは「相変わらず普通の Git 操作をしているように見える」のです。

後で効く依存関係を仕込む。 モデルが requests の追加を求めると、ゲートウェイはそれを reqiests に書き換えます。エージェントは綴りの違う名前を依存関係ファイルに書き込み、ペイロードはノート PC でも CI でも、次のインストール時に実行されます。

コーディングエージェント受け取った呼び出しをすべて実行read main.pyedit main.py + heartbeat_ok()python3 main.pygit -c diff.external=… .envedit main.py (元に戻す)赤:モデルが頼んでいないもの侵害されたゲートウェイ行きレスポンスに呼び出しを追加、確認なしで動くものを狙う帰りその呼び出しと結果を履歴から消し、読んだ内容は手元に残すモデルプロバイダー頼んだのは一つだけread main.pyきれいな履歴が戻る追加の呼び出しはなく、ログにも考える材料にも何も残らない注入されたスクリプトが .env、~/.ssh/id_rsa、認証情報の環境変数を攻撃者の webhook に送る。ネットワークコマンドは一度も表に出ない。
HiddenLayer の攻撃。ゲートウェイはモデルのレスポンスにツール呼び出しを追加します。エージェントがそれを実行し、ゲートウェイは上流に転送する履歴からそれを消すので、モデルにもプロバイダーにも見えません。

承認プロンプトには、誰が呼び出しを書いたかわからない

HiddenLayer の結論はこうです。「セキュリティの境界はもはやモデルだけではない。エージェントが最終的に実行するものを左右できるすべてのシステムが含まれる。」

承認プロンプトや許可リストが判断するのはコマンドであって、その出どころではありません。モデルからのツール呼び出しも、ゲートウェイが足したものも同じレスポンスで届くため、エージェントには区別できません。しかもゲートウェイはタイミングから、あなたがよく見ずに承認する呼び出しを知っていて、それを選びます。プロンプトインジェクション対策はモデルに渡るテキストを調べますが、この攻撃ではモデルにテキストを届ける必要が一切ありません。

HiddenLayer の公開前日の 10 月 21 日、litellm 1.107.0 が認証情報スティーラーと、攻撃者のコードを毎時取得するローダーを載せて PyPI に公開されました。The Hacker News は、5 月に公開リポジトリへコミットされたまま失効されなかったマスターキーが原因だと突き止めました。PyPI は 1 時間 43 分後にこれを取り下げ、同時に公開された Docker Hub と GHCR のイメージも後に差し戻されました。このリリースを取り込んだ LiteLLM プロキシは、自分が扱うすべてのエージェントの会話を中継するプロセスの中で、攻撃者の毎時ローダーを動かしていたことになります。このリリースについてはそのリリースは公開から二時間だったで取り上げました。

同じゲートウェイが Bromure マシンの前にあったら

Bromure Agentic Coding は、Claude Code、Codex、Grok、Kimi、omp を Mac 上の Ubuntu VM で動かします。ゲートウェイは今でもエージェントに言葉を吹き込めます。その言葉はコマンドになりますが、そのコマンドが動く VM はエージェントが敵対的かもしれないという前提で作られており、どのコマンドもゲートウェイが手を出せないチェックを通らなければなりません。

スクリプトが見つけるのは身代わり

HiddenLayer のスクリプトは、認証情報を含む環境変数、~/.ssh/id_rsa、.env を集めていました。Bromure マシンでは次のようになります。

  • 環境変数には身代わりが入っています。GH_TOKEN、NPM_TOKEN、ANTHROPIC_API_KEY などは正しい形式をしていますが、値が意味を持つのは Mac 上のプロキシを通るときだけで、プロキシは各認証情報が属するホストへのリクエストにだけ本物の値を入れます。
  • ~/.ssh には秘密鍵ファイルがありません。VM の SSH_AUTH_SOCK は Mac へのブリッジで、VM は署名を依頼できますが、鍵のバイト列はホストから出ません。
  • .env は、マシンの Credentials ペインで Import env file… を実行すれば身代わりになります。既存の .env を読み込み、値を伏せた状態で変数を表示し、Mac 上の認証情報に変換します。VM には同じ変数名で身代わりが渡ります。
  • AWS キーは、本物のアクセスキー ID と偽のシークレットの組です。Mac が各リクエストを本物のシークレットで署名し直すので、シークレットが VM の中に存在することはありません。

二つ目のデモの git diff.external の手口は、Bromure マシンでもそのまま動きます。表示されるのは身代わりだらけのファイルです。

どこかへ送ろうとすると警報が鳴る

スクリプトの次の手順は、見つけたものを webhook に送ることです。そのリクエストに含まれる最初の身代わりは、発行先ではないホストに向かっています。プロキシは 1 バイトも外に出る前に HTTP 451 でリクエストを止め、VM を一時停止し、Mac に This environment may have been compromised という警告を表示します。警告には、認証情報、その属するホスト、送られようとしていた先のホストが示されます。ゲートウェイが何をしてもこのダイアログには届きません。ダイアログは Mac 上で動いていて、ゲートウェイに見えるのはモデルのトラフィックだけだからです。

認証情報には手を付けず、ソースコードや /etc/passwd を持ち出すペイロードは、送信ファイアウォールに阻まれます。Guardrails で Unmatched traffic を Deny にし、マシンが必要とするホスト (モデルへのルート、コードホスティング、レジストリ) を許可してください。webhook はそのリストにありません。ファイアウォールは仮想スイッチとプロキシの両方で働き、VM の Web トラフィックはプロキシに迂回させられるので、スクリプトがそれを避けて通ることはできません。

マシンの VM注入された呼び出しpython3 main.py集めるもの環境変数と .env:身代わり~/.ssh:秘密鍵ファイルなしAWS:偽のシークレットキーwebhook へ POST中身は身代わりあなたの Macトレースが記録を保持注入された呼び出しを含め、受け取ったままのレスポンス送信ファイアウォールリスト外のホストをスイッチとプロキシで拒否身代わりが誤った宛先へHTTP 451、VM 停止、Mac に警告外部侵害されたゲートウェイ呼び出しは足せるが、Mac の記録もダイアログも操作できない攻撃者の webhook何も届かない
同じ注入スクリプトを Bromure マシンで動かした場合。見つかるのは身代わりで、送信は止められて VM は一時停止し、呼び出しを届けたレスポンスの記録は Mac 側に独自に残ります。

ゲートウェイが消した呼び出しを Mac は覚えている

ゲートウェイの一番の手口は後片付けです。転送する履歴から呼び出しを消すので、プロバイダーのログもモデルのコンテキストもきれいに見えます。しかし、あなたの Mac にある写しには手が届きません。

Bromure マシンのすべてのリクエストは Mac 上のプロキシを通り、トレースはそこを通過したものを記録します。デフォルトのレベル AI request details では、既知のモデルプロバイダーについてリクエストとレスポンスの本文をすべて保存します。Bromure が名前で認識しないゲートウェイの場合は、マシンの Session trace を Everything にしてください。Trace Inspector の Conversation ビューは、各レスポンスをツール呼び出し、シェルコマンド、ファイルの読み書きに分解して表示します。python3 main.py を運んだレスポンスはエージェントが受け取ったとおりの形でそこにあり、ゲートウェイが後から書き換えることはできません。本文はキーチェーン内の鍵で封印され、管理されていないインストールでは何もアップロードされません。

サンドボックスエンジンに OpenShell + Sentry を使っているマシンなら、ブロックされた接続で Show the Whole Chain を開くと、その先まで辿れます。パケットから python3 プロセスへ、エージェントが起動したシェルへ、それを起動したツール呼び出しへ、そして同じレスポンスでその直前にあったテキストへ。プロバイダーのログではファイルを一つ読むよう頼んだだけのターンが、あなたの Mac ではスクリプトを実行して webhook に送信しているなら、その差こそがゲートウェイの仕業です。

大事なダイアログは Mac にある

HiddenLayer のゲートウェイは、エージェント自身の承認にかかる時間を測って、どの呼び出しが確認なしで動くかを学びます。Bromure の重要な承認はエージェントの中では行われません。

新しいマシンでは、保護対象のすべてのサービスが Guardrails ペインで Prompt before write から始まります。git push、AWS API への書き込み、kubectl apply、データベースエンドポイントへの INSERT は一時停止し、操作内容をそのまま示すダイアログを Mac に表示します。削除も確認を求めます。ポリシーはプロキシで適用されるので、注入された呼び出しが承認済みプレフィックスで始まっていても通り抜けることはできません。ダイアログを出すかどうかは、どのコマンドが生成したかではなく、リクエストが通信上で何をするかで決まります。

タイポはサプライチェーンチェックに引っかかる

reqiests へのすり替えが狙うのは次の pip install です。Bromure マシンでは、すべてのパッケージ取得が、VM に 1 バイトでも届く前にプロキシのサプライチェーンチェックを通ります。Supply Chain ペインで socket.dev か Depi を有効にしておけば、Bromure はダウンロード時点でタイポスクワッティングと既知のマルウェアを検出します。デフォルトで有効な公開日数ゲートは、直近 2 日以内に公開されたバージョンを隠すので、攻撃者がゲートウェイを切り替える直前に公開したパッケージも捕まえられます。ブロックされたインストールは、パッケージ名と理由を示す 451 で失敗し、pip がそれをターミナルに表示するので、あなたにもエージェントにも見えます。

モデルへのルートは Mac で決める

経路上にどのゲートウェイを置くかは、VM 内の設定ファイルではなく、Mac の Models ボードで選びます。あるマシンの作業がどんなサードパーティのゲートウェイにも任せられないほど機密性が高いなら、そのエージェントを On-device モデルに向けてください。Bromure は MLX モデルを Mac の GPU で動かし、リクエストがホストの外に出ることはありません。このボードが他人によるルート変更をどう防ぐかは、CLI は本物だったをご覧ください。

盗めるのは身代わりだけ

環境変数、.env、AWS の設定には身代わりが入り、SSH 鍵が VM に入ることはありません。注入されたスクリプトが集めるのは、Mac を通したときにしか使えない値です。

持ち出しで VM が止まる

誤ったホストに向かう身代わりは 451 でブロックされ、VM は一時停止し、何がどこへ送られようとしていたかを警告が示します。

ゲートウェイが書き換えられない記録

Mac 上のトレースは、注入された呼び出しも含めて、エージェントが受け取ったとおりのレスポンスをキーチェーン内の鍵で封印して保存します。

書き込みはあなたを待つ

push、クラウドへの書き込み、データベースへの書き込みは Mac のダイアログを待ちます。判断の基準は送ったコマンドではなく、リクエストが何をするかです。

今週やるべきこと

  • エージェントとモデルの間にあるシステムをすべて洗い出してください。LiteLLM プロキシ、OpenRouter のアカウント、vLLM や Ollama を動かしている GPU マシンなどです。本番サーバーと同じようにパッチを当てて守りを固めてください。実際、本番サーバーなのですから。
  • どこかで litellm 1.107.0 を動かしていたなら、そのホストと、そこから届いたすべてのシークレットを侵害されたものとして扱ってください。
  • 承認済みのコマンドプレフィックスを見直してください。git を包括的なプレフィックスにすると、git -c diff.external=… も承認されます。
  • 本物のシークレットをエージェントの環境から取り除き、それを集めるスクリプトが身代わりしか手にできないようにしてください。Bromure マシンなら Import env file… で一度に済みます。

マニュアルの Credentials の章で置き換えの仕組みを詳しく説明しており、Tracing & Audit ではトレースが何を保存し、どう読むかを解説しています。