ローカルモデル
ローカルモデルペインは、Mac 自体で、あるいはあなた自身の推論サーバー上でコーディングモデルを実行し、ワークスペースのエージェントがクラウドをまったく使わずに応答できるようにします。あるいは、クラウドに到達できないときにのみローカルモデルにフォールバックさせることもできます。組み込みエンジンでは重みは Apple MLX ビルドで、モデルをダウンロードする以外にインストールするものはありません。カスタムエンジンでは、ワークスペースを任意の OpenAI 互換サーバーに向けます。
このページの内容にはそれぞれ詳細な解説があります。オンデバイスエンジン、ツール呼び出し修復レイヤー、ハイブリッドフォールバックポリシー、そして bromure-cli model と bromure-cli vm routing コマンドについては、すべて ローカルモデル にまとめられています。このページでは設定ペインについて説明します。
デフォルトでは、このペインには ローカルモデルを有効にする という単一のスイッチだけが表示され、それ以外はすべて非表示になっています。オンにすると、以下で説明するルーティングモードとモデルカタログが表示されます。
ローカルモデルを有効にする
クラウドの代わりにこの Mac でコーディングモデルを実行する。 というキャプションが付いたマスタースイッチは、ワークスペースのオンデバイス推論のオン/オフを切り替えます。
- オフ(デフォルト) — ワークスペースはエージェントのトラフィックをクラウドにルーティングします。このペインが存在しない場合とまったく同じ動作です。
- オン — ルーティングがオンデバイス推論に切り替わり、モードピッカーとモデルリストが表示されます。オンにすると、モードはデフォルトで ローカル になります。
これがオンの間、ワークスペースのエージェントは LLM トラフィックをローカルエンジン経由で実行するため、有効化することで有効なすべてのエージェントの認証モードが ローカルモデル に固定されます。オフに戻すと、各エージェントの以前のモードが復元されます。エージェント ペインを手動で操作する必要はありません。
エンジン
ローカルモデルを有効にすると、エンジン のラジオボタンで推論の実行場所を決めます。
- 組み込み — このMac上でモデルを実行。 同梱のインプロセス MLX エンジンで、これが既定です。下記のモデルカタログが適用されます。
- カスタムサーバー — 自前の vLLM、Ollama など。 この Mac 上でも別のマシン上でも、任意の OpenAI 互換サーバーを指定できます。サーバー URL フィールド(例:
http://127.0.0.1:11434)と任意の API キー が表示され、さらに 接続テスト ボタンがサーバーを調べて 接続済み — N 個のモデルが利用可能 またはサーバーの実際のエラーを報告します。ペインのフッターが述べているとおり、エージェントは自身のネイティブ API を話し続け、Bromure がその間を翻訳します。
カスタムエンジンでは、カタログは モデル セクションに置き換わります。自由入力の モデル ID フィールド(例: qwen3-coder:30b)と、サーバーが /v1/models で報告する ID の一覧です。一覧を得るには接続をテストしてください。Ollama では先にモデルを pull しておきます。詳細は独自のエンジンを使うを参照してください。
ルーティングモード
ローカルモデルが有効になっている場合、ラジオボタンでワークスペースがそれらをどのように使用するかを選択します。2 つの行にはペイン自身のフッターの説明が記載されています。
| モード | 動作 |
|---|---|
| ローカル — 常にオンデバイス | すべてのリクエストがこの Mac 上に留まり、何もマシンの外に出ません。応答はプライベートですが低速で、メモリに収まるモデルによって制約されます。 |
| ハイブリッド — クラウド、ローカルにフォールバック | リクエストは通常どおりクラウドに送られ、クラウドに到達できないときにのみオンデバイスモデルにフォールバックします。クラウドの速度と品質に、ローカルのセーフティネットを備えています。 |
ハイブリッドのより細かい調整項目 — ローリングのクラウドトークン予算、最初のトークンまでの時間の期限、能動的なローカル/クラウドの分割 — は、このペインではなくコマンドライン(bromure-cli vm hybrid …)から調整します。これらは ローカルモデル に記載されています。
モデルカタログ
モードピッカーの下には、モデル · N GB ユニファイドメモリ という見出しのリストがあります。N は Mac のユニファイドメモリです。各行は 1 つの厳選された MLX モデルを説明しています。
- アクティブモデルのラジオ — 塗りつぶされたドットは、このワークスペースが提供する単一のモデルを示します。ここで選択すると、有効なエージェントも ローカルモデル 認証に切り替わります。
- ティアバッジ — 小さな
S/M/L/XLのサイズクラスです。 - フィットバッジ — モデルが Mac のメモリに対してどう収まるかを示します。収まる(緑 — 十分な余裕がある)、ぎりぎり(オレンジ — ほとんど余裕なくロードされる)、収まらない(グレーアウト。行は無効化され選択できません)。ペインのフッターにも記載されています。グレーアウトされたモデルは、この Mac が持つよりも多くのメモリを必要とします。
- ダウンロードサイズ — ディスク上の重みのサイズ(GB)です。
- tools シール — ツール呼び出しがエージェント用途で検証済みのモデルに付くチェックマークバッジです。
各行の末尾のコントロールは、そのダウンロード状態を反映します。
| 状態 | コントロール |
|---|---|
| 未ダウンロード | ダウンロード ボタン(モデルが収まらない場合は無効)。 |
| ダウンロード中 | バイトラベルと停止(✕)ボタンが付いたプログレスバー。 |
| 中断(取得の途中でアプリが終了された) | 中断、再開 ボタンと破棄(ゴミ箱)ボタン。 |
| 失敗 | 再試行 ボタン(ホバーするとエラーメッセージが表示されます)。 |
| インストール済み | インストール済み、削除 を提供するメニュー付き。 |
メモ: ダウンロードは即座かつグローバルです。ここで取得したモデルは共有ストレージに保存され、このワークスペースだけでなくすべてのワークスペースで利用可能になります。対照的に、ルーティングモードとアクティブモデルの選択はワークスペースごとであり、保存 をクリックしたときにのみ有効になります。
合計メモリの警告
このワークスペースが選択したローカルモデル — アクティブモデルに加えて、ローカルモデル 認証に設定された任意のエージェント、および任意の Fusion のローカルレッグやジャッジ — は 1 つのエンジンで並列にロードされるため、そのメモリ要件は合計されます。それらが Mac の RAM に近づくと、リストの上に警告が表示されます。ホストのメモリに近い場合は オレンジ、超える場合は 赤 です。合計でどれだけ必要かを示し、いずれかを外すか、より小さいモデルを選ぶことを提案します。
設定リファレンス
| 設定 | 説明 |
|---|---|
| ローカルモデルを有効にする | ローカル推論のマスタースイッチ。オンにするとルーティングが ローカル に設定され、オフにすると クラウド が復元されます。デフォルト: オフ(クラウド)。 |
| エンジン | ラジオ: 組み込み(インプロセス MLX)/ カスタムサーバー(OpenAI 互換 URL + 任意の API キー、接続テスト 付き)。デフォルト: 組み込み。 |
| モデル ID(カスタムエンジン) | サーバー自身のモデル ID。入力するか、そのサーバーの /v1/models 一覧から選びます。 |
| モード | ラジオ: ローカル — 常にオンデバイス / ハイブリッド — クラウド、ローカルにフォールバック。デフォルト: 有効時は ローカル。 |
| アクティブモデル | 行ごとのラジオドット。ワークスペースが提供する 1 つのモデル。デフォルト: なし — 最初にダウンロードしたモデルが自動的に選択されます。 |
| ダウンロード / インストール済み / 削除 | モデルごとのアクション。即座かつグローバル(ワークスペース間で共有)で、保存 トランザクションの一部ではありません。 |