本機模型
本機模型窗格會在你的 Mac 上直接執行編碼模型,讓工作區的代理程式能完全在裝置端作答,而不必呼叫雲端供應商,或僅在雲端無法連線時退回本機模型。這些權重是 Apple MLX 建置版本;推論引擎已隨應用程式一併封裝,因此除了下載模型之外無需安裝任何東西。
本頁的每項內容都有對應的深入說明:裝置端引擎、工具呼叫修復層、混合退回策略,以及 bromure-cli model 與 bromure-cli vm routing 指令,全都收錄於 本機模型。本頁記錄的是這個設定窗格。
預設情況下,此窗格只顯示一個開關——啟用本機模型——其餘內容皆隱藏。開啟後會顯示下方所述的路由模式與模型目錄。
啟用本機模型
主開關的說明文字為 在此 Mac 上執行編碼模型,而非使用雲端。,它是工作區裝置端推論的總開關:
- 關閉(預設)——工作區將代理程式流量路由至雲端,就如同此窗格不存在一樣。
- 開啟——路由切換為裝置端推論,並顯示模式選擇器與模型清單。開啟時,模式預設為本機。
由於在開啟此開關時,工作區的代理程式會透過本機引擎執行其 LLM 流量,因此啟用它會將每個已啟用代理程式的驗證模式固定為本機模型,而再次關閉則會還原各代理程式先前的模式。你無需手動操作 代理程式 窗格。
路由模式
啟用本機模型後,一組單選按鈕決定工作區如何使用它們。這兩列各自帶有窗格本身的頁尾說明:
| 模式 | 行為 |
|---|---|
| 本機——一律在裝置端 | 每一個請求都留在此 Mac 上——沒有任何內容離開這台機器。回覆是私密的,但速度較慢,且受限於你能載入記憶體的模型大小。 |
| 混合——雲端,退回本機 | 請求照常送往雲端,僅在雲端無法連線時才退回裝置端模型——兼具雲端的速度與品質,並有本機作為安全網。 |
混合模式更細部的調節項目——滾動式的雲端權杖預算、首個權杖產生時間的期限,以及主動式的本機/雲端分流——是透過命令列(bromure-cli vm hybrid …)而非此窗格進行調整。相關說明收錄於 本機模型。
模型目錄
在模式選擇器下方,清單標題為 模型 · N GB 統一記憶體,其中 N 是你 Mac 的統一記憶體。每一列描述一個經過精選的 MLX 模型:
- 作用中模型單選按鈕——實心圓點標記此工作區所提供的單一模型。在此選取它同時也會將已啟用的代理程式切換為本機模型驗證。
- 層級徽章——一個小型的
S/M/L/XL大小類別。 - 適配徽章——顯示模型與你 Mac 記憶體的相對狀況:適配(綠色——留有充裕空間)、吃緊(橘色——載入後所剩無幾),或無法容納(灰化;該列停用且無法選取)。窗格頁尾重申:灰化的模型所需記憶體超過此 Mac 所擁有的容量。
- 下載大小——磁碟上的權重大小(以 GB 計)。
- tools 認證標記——工具呼叫已通過代理程式使用驗證的模型上會有一個勾選徽章。
每一列末端的控制項會反映其下載狀態:
| 狀態 | 控制項 |
|---|---|
| 未下載 | 下載按鈕(模型無法容納時停用)。 |
| 下載中 | 帶有位元組標籤的進度列以及一個停止(✕)按鈕。 |
| 已中斷(應用程式在下載過程中被終止) | 已中斷,附有繼續按鈕與捨棄(垃圾桶)按鈕。 |
| 失敗 | 重試按鈕(將滑鼠停留可查看錯誤訊息)。 |
| 已安裝 | 已安裝,並附有提供移除選項的選單。 |
附註: 下載是即時且全域的——你在此拉取的模型會存放於共用儲存空間,並可供每個工作區使用,而不僅限於此工作區。相對地,路由模式與作用中模型的選擇則是各工作區專屬的,且僅在你按下儲存時才會生效。
合併記憶體警告
此工作區所選的本機模型——作用中模型,加上任何設為本機模型驗證的代理程式,以及任何 Fusion 本機環節或評審——會在同一個引擎中平行載入,因此它們的記憶體需求會累加。當它們接近你 Mac 的 RAM 時,清單上方會出現警告:接近主機記憶體時為橘色,超過時為紅色。它會說明它們合計所需的記憶體,並建議你移除其中一個或改選較小的模型。
設定參考
| 設定 | 說明 |
|---|---|
| 啟用本機模型 | 裝置端推論的主開關。開啟會將路由設為本機;關閉則還原為雲端。預設:關閉(雲端)。 |
| 模式 | 單選按鈕:本機——一律在裝置端 / 混合——雲端,退回本機。預設:啟用時為本機。 |
| 作用中模型 | 每列一個單選圓點;工作區所提供的單一模型。預設:無——你下載的第一個模型會自動被選取。 |
| 下載 / 已安裝 / 移除 | 各模型的動作。即時且全域(跨工作區共用);不屬於儲存交易的一部分。 |