Modèles locaux

Le volet Modèles locaux exécute un modèle de codage sur votre Mac lui-même, afin que les agents d'un espace de travail puissent répondre entièrement sur l'appareil au lieu d'appeler un fournisseur cloud — ou de basculer vers un modèle local uniquement lorsque le cloud est inaccessible. Les poids sont des versions Apple MLX ; le moteur d'inférence est intégré à l'application, il n'y a donc rien à installer hormis le téléchargement d'un modèle.

Chaque élément de cette page dispose d'un approfondissement dédié : le moteur sur l'appareil, la couche de réparation des appels d'outils, la politique de repli hybride, ainsi que les commandes bromure-cli model et bromure-cli vm routing sont tous présentés dans Modèles locaux. Cette page documente le volet de réglages.

Le volet Modèles locaux de la fenêtre Modifier l'espace de travail, montrant le commutateur Activer les modèles locaux désactivé, avec la légende Exécuter un modèle de codage sur ce Mac plutôt que dans le cloud

Par défaut, le volet affiche un seul commutateur — Activer les modèles locaux — et masque tout le reste. Son activation révèle le mode de routage et le catalogue de modèles décrits ci-dessous.

Activer les modèles locaux

Le commutateur principal, légendé Exécuter un modèle de codage sur ce Mac plutôt que dans le cloud., correspond à la bascule marche/arrêt de l'inférence sur l'appareil pour l'espace de travail :

  • Désactivé (par défaut) — l'espace de travail achemine le trafic des agents vers le cloud, exactement comme si ce volet n'existait pas.
  • Activé — le routage bascule vers l'inférence sur l'appareil et le sélecteur de mode ainsi que la liste des modèles apparaissent. Son activation règle le mode par défaut sur Local.

Comme les agents de l'espace de travail font transiter leur trafic LLM par le moteur local lorsque ceci est activé, l'activation épingle le mode d'authentification de chaque agent activé sur Modèle local, et sa désactivation restaure le mode précédent de chaque agent. Vous n'avez pas à toucher au volet Agents manuellement.

Mode de routage

Une fois les modèles locaux activés, un bouton radio détermine la façon dont l'espace de travail les utilise. Les deux lignes reprennent les descriptions du pied de page du volet :

ModeComportement
Local — toujours sur l'appareilChaque requête reste sur ce Mac — rien ne quitte la machine. Les réponses sont privées mais plus lentes, et limitées par le modèle que vous pouvez faire tenir en mémoire.
Hybride — cloud, avec repli vers le localLes requêtes vont au cloud comme d'habitude, avec un repli vers le modèle sur l'appareil uniquement lorsque le cloud est inaccessible — vitesse et qualité du cloud, avec un filet de sécurité local.

Les réglages plus fins du mode hybride — un budget glissant de jetons cloud, un délai limite pour le premier jeton, et une répartition proactive local/cloud — se règlent en ligne de commande (bromure-cli vm hybrid …) plutôt que depuis ce volet. Ils sont documentés dans Modèles locaux.

Le catalogue de modèles

Sous le sélecteur de mode, la liste est intitulée Models · N GB unified memory, où N correspond à la mémoire unifiée de votre Mac. Chaque ligne décrit un modèle MLX sélectionné :

  • Bouton radio du modèle actif — le point plein marque l'unique modèle que cet espace de travail sert. Le sélectionner ici bascule également les agents activés vers l'authentification Modèle local.
  • Badge de catégorie — une petite classe de taille S / M / L / XL.
  • Badge de compatibilité — indique comment le modèle se situe par rapport à la mémoire de votre Mac : Compatible (vert — marge confortable), Juste (orange — se charge avec peu de marge) ou Ne tient pas (grisé ; la ligne est désactivée et ne peut pas être sélectionnée). Le pied de page du volet le rappelle : Les modèles grisés nécessitent plus de mémoire que ce Mac n'en possède.
  • Taille de téléchargement — la taille des poids sur le disque en GB.
  • sceau tools — un badge en forme de coche sur les modèles dont l'appel d'outils a été vérifié pour un usage par les agents.

Le contrôle à l'extrémité de chaque ligne reflète son état de téléchargement :

ÉtatContrôle
Non téléchargéBouton Télécharger (désactivé lorsque le modèle ne tient pas).
En cours de téléchargementUne barre de progression avec une étiquette d'octets et un bouton d'arrêt (✕).
Interrompu (l'application a été arrêtée en cours de téléchargement)Interrompu, avec un bouton Reprendre et un bouton de suppression (corbeille).
ÉchouéUn bouton Réessayer (survolez pour afficher le message d'erreur).
InstalléInstallé, avec un menu proposant Supprimer.

Remarque : Les téléchargements sont immédiats et globaux — un modèle que vous récupérez ici arrive dans le stockage partagé et devient disponible pour tous les espaces de travail, pas uniquement celui-ci. Le mode de routage et le choix du modèle actif, en revanche, sont propres à chaque espace de travail et ne prennent effet que lorsque vous cliquez sur Enregistrer.

Avertissement de mémoire combinée

Les modèles locaux sélectionnés par cet espace de travail — le modèle actif, plus tout agent réglé sur l'authentification Modèle local et toute branche locale ou juge Fusion — se chargent en parallèle dans un seul moteur, de sorte que leurs besoins en mémoire s'additionnent. Lorsqu'ils approchent de la RAM de votre Mac, un avertissement apparaît au-dessus de la liste : orange lorsqu'ils sont proches de la mémoire de l'hôte, rouge lorsqu'ils la dépassent. Il indique la quantité dont ils ont besoin ensemble et suggère d'en retirer un ou de choisir des modèles plus petits.

Référence des réglages

RéglageDescription
Activer les modèles locauxCommutateur principal de l'inférence sur l'appareil. Activé règle le routage sur Local ; désactivé restaure Cloud. Par défaut : désactivé (Cloud).
ModeRadio : Local — toujours sur l'appareil / Hybride — cloud, avec repli vers le local. Par défaut : Local une fois activé.
Modèle actifPoint radio par ligne ; l'unique modèle que l'espace de travail sert. Par défaut : aucun — le premier modèle que vous téléchargez est sélectionné automatiquement.
Télécharger / Installé / SupprimerAction par modèle. Immédiate et globale (partagée entre les espaces de travail) ; ne fait pas partie de la transaction Enregistrer.

Chapitres associés

  • Modèles locaux — le moteur sur l'appareil, le catalogue de modèles et la CLI, ainsi que la politique de repli hybride dans leur intégralité.
  • Agents — le mode d'authentification Modèle local par agent que ce volet maintient synchronisé.
  • Fusion — utiliser un modèle local comme branche de fusion ou comme juge.