本機模型

本機模型窗格會在你的 Mac 上直接執行編碼模型,讓工作區的代理程式能完全在裝置端作答,而不必呼叫雲端供應商,或僅在雲端無法連線時退回本機模型。這些權重是 Apple MLX 建置版本;推論引擎已隨應用程式一併封裝,因此除了下載模型之外無需安裝任何東西。

本頁的每項內容都有對應的深入說明:裝置端引擎、工具呼叫修復層、混合退回策略,以及 bromure-cli modelbromure-cli vm routing 指令,全都收錄於 本機模型。本頁記錄的是這個設定窗格。

編輯工作區視窗的本機模型窗格,顯示「啟用本機模型」開關處於關閉狀態,並附有說明文字「在此 Mac 上執行編碼模型,而非使用雲端」

預設情況下,此窗格只顯示一個開關——啟用本機模型——其餘內容皆隱藏。開啟後會顯示下方所述的路由模式與模型目錄。

啟用本機模型

主開關的說明文字為 在此 Mac 上執行編碼模型,而非使用雲端。,它是工作區裝置端推論的總開關:

  • 關閉(預設)——工作區將代理程式流量路由至雲端,就如同此窗格不存在一樣。
  • 開啟——路由切換為裝置端推論,並顯示模式選擇器與模型清單。開啟時,模式預設為本機

由於在開啟此開關時,工作區的代理程式會透過本機引擎執行其 LLM 流量,因此啟用它會將每個已啟用代理程式的驗證模式固定為本機模型,而再次關閉則會還原各代理程式先前的模式。你無需手動操作 代理程式 窗格。

路由模式

啟用本機模型後,一組單選按鈕決定工作區如何使用它們。這兩列各自帶有窗格本身的頁尾說明:

模式行為
本機——一律在裝置端每一個請求都留在此 Mac 上——沒有任何內容離開這台機器。回覆是私密的,但速度較慢,且受限於你能載入記憶體的模型大小。
混合——雲端,退回本機請求照常送往雲端,僅在雲端無法連線時才退回裝置端模型——兼具雲端的速度與品質,並有本機作為安全網。

混合模式更細部的調節項目——滾動式的雲端權杖預算、首個權杖產生時間的期限,以及主動式的本機/雲端分流——是透過命令列(bromure-cli vm hybrid …)而非此窗格進行調整。相關說明收錄於 本機模型

模型目錄

在模式選擇器下方,清單標題為 模型 · N GB 統一記憶體,其中 N 是你 Mac 的統一記憶體。每一列描述一個經過精選的 MLX 模型:

  • 作用中模型單選按鈕——實心圓點標記此工作區所提供的單一模型。在此選取它同時也會將已啟用的代理程式切換為本機模型驗證。
  • 層級徽章——一個小型的 S / M / L / XL 大小類別。
  • 適配徽章——顯示模型與你 Mac 記憶體的相對狀況:適配(綠色——留有充裕空間)、吃緊(橘色——載入後所剩無幾),或無法容納(灰化;該列停用且無法選取)。窗格頁尾重申:灰化的模型所需記憶體超過此 Mac 所擁有的容量。
  • 下載大小——磁碟上的權重大小(以 GB 計)。
  • tools 認證標記——工具呼叫已通過代理程式使用驗證的模型上會有一個勾選徽章。

每一列末端的控制項會反映其下載狀態:

狀態控制項
未下載下載按鈕(模型無法容納時停用)。
下載中帶有位元組標籤的進度列以及一個停止(✕)按鈕。
已中斷(應用程式在下載過程中被終止)已中斷,附有繼續按鈕與捨棄(垃圾桶)按鈕。
失敗重試按鈕(將滑鼠停留可查看錯誤訊息)。
已安裝已安裝,並附有提供移除選項的選單。

附註: 下載是即時且全域的——你在此拉取的模型會存放於共用儲存空間,並可供每個工作區使用,而不僅限於此工作區。相對地,路由模式與作用中模型的選擇則是各工作區專屬的,且僅在你按下儲存時才會生效。

合併記憶體警告

此工作區所選的本機模型——作用中模型,加上任何設為本機模型驗證的代理程式,以及任何 Fusion 本機環節或評審——會在同一個引擎中平行載入,因此它們的記憶體需求會累加。當它們接近你 Mac 的 RAM 時,清單上方會出現警告:接近主機記憶體時為橘色,超過時為紅色。它會說明它們合計所需的記憶體,並建議你移除其中一個或改選較小的模型。

設定參考

設定說明
啟用本機模型裝置端推論的主開關。開啟會將路由設為本機;關閉則還原為雲端。預設:關閉(雲端)。
模式單選按鈕:本機——一律在裝置端 / 混合——雲端,退回本機。預設:啟用時為本機
作用中模型每列一個單選圓點;工作區所提供的單一模型。預設:無——你下載的第一個模型會自動被選取。
下載 / 已安裝 / 移除各模型的動作。即時且全域(跨工作區共用);不屬於儲存交易的一部分。

相關章節

  • 本機模型——完整介紹裝置端引擎、模型目錄與 CLI,以及混合退回策略。
  • 代理程式——此窗格會與之保持同步的各代理程式本機模型驗證模式。
  • Fusion——將本機模型用作融合環節或評審。