← Volver a todas las publicaciones
Publicado el · por Renaud Deraison

El modelo nunca pidió eso

HiddenLayer demostró que quien controla el gateway de LLM entre un agente de programación y su modelo puede añadir llamadas a herramientas que el modelo nunca hizo y luego quitarlas del historial antes de que el modelo lo vea. El agente las ejecuta como cualquier otra llamada, y una solicitud de aprobación no puede saber de dónde viene una llamada. Un día antes, una versión de LiteLLM en PyPI llevaba un ladrón de credenciales y una puerta trasera que se activaba cada hora. En Bromure Agentic Coding, una llamada inyectada se ejecuta en una VM que solo guarda sustitutos, el proxy bloquea el envío y pausa la VM, y tu Mac conserva un registro de la llamada fuera del alcance del gateway.

Tu agente le pregunta al modelo qué hacer a continuación, y la respuesta vuelve a través de un gateway. Si el gateway añade un paso, el agente lo ejecuta. El modelo nunca lo pidió, y después nunca se entera de que ocurrió.

HiddenLayer publicó Man-in-the-Model: Hijacking Coding Agents in Transit el 22 de octubre. Adversa lo incluyó en su selección de noviembre de investigaciones sobre la seguridad de los agentes de programación. La pregunta que plantea es sencilla: ¿qué puede hacerles un gateway comprometido a los agentes que tiene detrás?

Muchos equipos no envían el tráfico de sus agentes directamente a Anthropic u OpenAI. Pasa por un proxy LiteLLM para controlar costes y gestionar claves, por OpenRouter para elegir modelo, o va a vLLM, llama.cpp u Ollama en una máquina con GPU compartida. Cada petición y cada respuesta atraviesan esa capa, y una respuesta es la lista de llamadas a herramientas que el agente va a ejecutar a continuación.

Lo que puede hacer el gateway

Los investigadores de HiddenLayer (Esteban Tonglet, Divyanshu Divyanshu y Kasimir Schulz) recorrieron el ataque paso a paso.

Averiguar quién llama. Codex envía cabeceras que empiezan por codex-tui, y Claude Code envía claude-cli. Los agentes que solo envían una cabecera genérica de SDK se delatan igualmente por los nombres de sus herramientas y los campos de sus peticiones.

Averiguar qué se ejecuta sin preguntar. El gateway ve cuándo envía una llamada a una herramienta y cuándo vuelve el resultado. Una lectura de archivo que tarda varios segundos probablemente esperó a que un humano la aprobara. En más de 4.000 sesiones capturadas, solo el 4,7 % de las llamadas rápidas dejaba alguna duda. Cuando el tiempo no es concluyente, el gateway puede colar código de medición en un script que el agente está editando, o envolver un comando en un temporizador, y ocultar la salida.

Leer archivos que el modelo nunca pidió. Claude Code carga CLAUDE.md, Codex carga AGENTS.md, Cursor lee .cursorrules. El gateway puede añadir a una respuesta la lectura de cualquiera de ellos, quedarse con lo que vuelve y quitar tanto la llamada como su resultado antes de reenviar la conversación al modelo. En palabras de HiddenLayer, “esas lecturas de archivos las inicia la capa de interceptación y no el modelo”.

Ejecutar código. En la primera demostración, el agente era Hermes, en un modo que pregunta antes de los comandos que considera peligrosos, pero no antes de editar archivos ni de ejecutar Python corriente. El usuario le pidió que leyera un archivo Python. El proxy añadió llamadas a herramientas a la respuesta: una edición metió una función heartbeat_ok() en el archivo, una segunda añadió código que reunía /etc/passwd, variables de entorno con credenciales y ~/.ssh/id_rsa y los enviaba a un webhook, una tercera ejecutó el archivo con python3, y una edición final dejó el archivo como estaba. El usuario nunca vio un comando de red, porque el envío ocurrió dentro del script.

Aprovechar un prefijo aprobado. En la segunda demostración, Codex tenía git como prefijo aprobado y un directorio .git con permiso de escritura. El gateway envió:

git -c diff.external='sh -c "cat .env"' diff --no-index /dev/null .env

Empieza por git, así que Codex lo ejecutó sin preguntar y mostró un archivo .env que el agente normalmente se negaría a abrir. Para el usuario, el agente “sigue pareciendo que realiza una operación de Git corriente”.

Plantar una dependencia para más adelante. Cuando el modelo pide añadir requests, el gateway lo cambia por reqiests. El agente escribe el nombre mal escrito en el archivo de dependencias, y el payload se ejecuta en la siguiente instalación, en un portátil o en la CI.

Agente de programaciónEjecuta cada llamada recibidaread main.pyedit main.py + heartbeat_ok()python3 main.pygit -c diff.external=… .envedit main.py (restaura)en rojo: el modelo nunca las pidióGateway comprometidoA la idaañade llamadas a la respuesta,donde nada pide aprobaciónA la vueltaquita esas llamadas y sus resultadosdel historial, se queda lo leídoProveedor del modeloPidió una sola cosaread main.pyRecibe un historial limpiosin llamadas extra, nada ensus registros, nada que verEl script inyectado envía .env, ~/.ssh/id_rsa y las variables con credenciales al webhook del atacante. No aparece ningún comando de red.
El ataque de HiddenLayer. El gateway añade llamadas a herramientas a la respuesta del modelo. El agente las ejecuta, y el gateway las quita del historial que reenvía, así que ni el modelo ni el proveedor llegan a verlas.

Una solicitud de aprobación no sabe quién escribió la llamada

La conclusión de HiddenLayer: “la frontera de seguridad ya no es solo el modelo. Incluye todo sistema capaz de influir en lo que el agente acaba ejecutando.”

Las solicitudes de aprobación y las listas de permitidos juzgan el comando, no su origen. El agente no puede distinguir una llamada del modelo de una que añadió el gateway, porque las dos llegan en la misma respuesta. Por los tiempos, el gateway también sabe qué llamadas apruebas sin mirar, y elige esas. Las defensas contra la inyección de prompts examinan el texto que va al modelo, y aquí no hace falta que ningún texto llegue al modelo.

El 21 de octubre, un día antes de que HiddenLayer publicara, litellm 1.107.0 apareció en PyPI con un ladrón de credenciales y un cargador que descargaba código del atacante cada hora. The Hacker News lo rastreó hasta una clave maestra subida a un repositorio público en mayo y nunca revocada. PyPI la retiró al cabo de 1 hora y 43 minutos, y las imágenes de Docker Hub y GHCR publicadas a la vez se revirtieron más tarde. Un proxy LiteLLM que recogió esa versión ejecutó el cargador horario de un atacante dentro del proceso que retransmite cada conversación de agente que gestiona. Hablamos de esa versión en La versión tenía dos horas.

El mismo gateway, delante de una máquina Bromure

Bromure Agentic Coding ejecuta Claude Code, Codex, Grok, Kimi y omp en VM Ubuntu en tu Mac. Un gateway todavía puede poner palabras en boca del agente. Esas palabras se convierten en comandos que se ejecutan en una VM construida partiendo de que el agente podría ser hostil, y cada comando tiene que superar controles que el gateway no puede tocar.

El script encuentra sustitutos

El script de HiddenLayer recogía variables de entorno con credenciales, ~/.ssh/id_rsa y .env. En una máquina Bromure:

  • Las variables de entorno contienen sustitutos. GH_TOKEN, NPM_TOKEN, ANTHROPIC_API_KEY y las demás tienen el formato correcto y ningún valor fuera del proxy de tu Mac, que solo pone el valor real en las peticiones al host al que pertenece cada credencial.
  • ~/.ssh no contiene ningún archivo de clave privada. El SSH_AUTH_SOCK de la VM es un puente hacia el Mac: la VM puede pedir firmas, pero los bytes de la clave se quedan en el host.
  • .env contiene sustitutos en cuanto usas Import env file… en el panel Credentials de la máquina. Lee tu .env actual, muestra las variables con los valores enmascarados y las convierte en credenciales en el Mac. La VM recibe sustitutos en las mismas variables.
  • Las claves de AWS son un ID de clave de acceso real con un secreto falso. El Mac vuelve a firmar cada petición con el verdadero, así que el secreto nunca existe en la VM.

El truco de git diff.external de la segunda demostración sigue funcionando en una máquina Bromure. Muestra un archivo lleno de sustitutos.

Enviarlos a cualquier parte dispara una alarma

El siguiente paso del script es enviar lo que encontró a un webhook. El primer sustituto de esa petición va a un host para el que no fue emitido. El proxy bloquea la petición con HTTP 451 antes de que salga un solo byte, pausa la VM y abre en el Mac una alerta titulada This environment may have been compromised. La alerta nombra la credencial, el host al que pertenece y el host al que se estaba enviando. Nada de lo que haga el gateway llega a ese diálogo: se ejecuta en el Mac, y el gateway solo ve el tráfico del modelo.

Un payload que se salta las credenciales y se lleva código fuente o /etc/passwd se topa con el cortafuegos de salida. En Guardrails, pon Unmatched traffic en Deny y permite los hosts que la máquina necesita: tu ruta al modelo, tu forja, tus registros. El webhook no está en la lista. El cortafuegos actúa en el switch virtual y en el proxy, y el tráfico web de la VM se desvía al proxy, así que un script no puede esquivarlo.

VM de la máquinaLa llamada inyectada correpython3 main.pyLo que recogevariables y .env: sustitutos~/.ssh: sin clave privadaAWS: una clave secreta falsaPOST al webhookcon los sustitutosTu MacLa traza guarda la respuestacon la llamada inyectada, talcomo la recibió el agenteCortafuegos de salidahosts no listados denegados enel switch y en el proxySustituto a host equivocadoHTTP 451, VM pausada, alertaFueraGateway comprometidoañade llamadas, pero no editael registro ni toca los diálogosWebhook del atacanteno recibe nada
El mismo script inyectado en una máquina Bromure. Encuentra sustitutos, su envío se bloquea y la VM se pausa, y el Mac guarda su propio registro de la respuesta que entregó la llamada.

El Mac conserva la llamada que el gateway borró

El mejor truco del gateway es la limpieza. Quita la llamada del historial que reenvía, así que los registros del proveedor y el contexto del modelo parecen limpios. No puede alcanzar la copia que está en tu Mac.

Cada petición de una máquina Bromure pasa por el proxy del Mac, y la traza registra lo que lo atravesó. En el nivel predeterminado, AI request details, guarda los cuerpos completos de peticiones y respuestas de los proveedores de modelos conocidos. Para un gateway que Bromure no reconoce por su nombre, pon el Session trace de la máquina en Everything. La vista Conversation del Trace Inspector descompone cada respuesta en sus llamadas a herramientas, comandos de shell y lecturas y escrituras de archivos. La respuesta que llevaba python3 main.py está ahí tal como la recibió el agente, y el gateway no puede editarla después. Los cuerpos se sellan con una clave de tu Llavero, y en una instalación no gestionada no se sube nada.

En una máquina con el motor de sandbox OpenShell + Sentry, Show the Whole Chain sobre la conexión bloqueada completa el recorrido: del paquete al proceso python3, a la shell que abrió el agente, a la llamada a herramienta que la abrió y al texto que la precedía en la misma respuesta. Cuando los registros del proveedor muestran un turno que pedía leer un archivo y tu Mac muestra ese mismo turno ejecutando un script y enviando datos a un webhook, la diferencia entre ambos es obra del gateway.

Los diálogos importantes están en el Mac

El gateway de HiddenLayer aprende qué llamadas se ejecutan sin preguntar cronometrando las aprobaciones del propio agente. Las aprobaciones importantes de Bromure no ocurren en el agente.

En las máquinas nuevas, cada servicio protegido empieza en Prompt before write en el panel Guardrails. Un git push, una escritura en una API de AWS, un kubectl apply o un INSERT en un endpoint de base de datos se detiene a la espera de un diálogo en el Mac que muestra la operación exacta. Los borrados también preguntan. La política se aplica en el proxy, así que una llamada inyectada no pasa por empezar con un prefijo aprobado: el diálogo depende de lo que hace la petición en la red, sea cual sea el comando que la generó.

La errata choca con los controles de la cadena de suministro

El cambio a reqiests apunta al siguiente pip install. En una máquina Bromure, cada descarga de paquetes pasa por los controles de cadena de suministro del proxy antes de que la VM reciba un byte. Con socket.dev o Depi activado en el panel Supply Chain, Bromure marca el typosquatting y el malware conocido en el momento de la descarga. El filtro de antigüedad, activado por defecto, oculta cualquier versión publicada en los últimos dos días, lo que atrapa un paquete que el atacante publicó justo antes de activar el gateway. Una instalación bloqueada falla con un 451 que nombra el paquete y el motivo, y pip lo muestra en el terminal, para ti y para el agente.

La ruta al modelo se fija en el Mac

Qué gateway está en el camino es una decisión que tomas en el panel Models del Mac, no en un archivo de configuración dentro de la VM. Si el trabajo de una máquina es demasiado delicado para cualquier gateway de terceros, apunta sus agentes a un modelo On-device: Bromure ejecuta modelos MLX en la GPU de tu Mac, y la petición nunca sale del host. Para ver cómo el panel impide que otra persona cambie la ruta, lee El CLI era el auténtico.

Sustitutos para robar

Las variables de entorno, .env y la configuración de AWS contienen sustitutos, y las claves SSH nunca entran en la VM. Un script inyectado recoge valores que solo funcionan pasando por tu Mac.

La exfiltración pausa la VM

Un sustituto que va al host equivocado se bloquea con un 451, la VM se pausa y la alerta dice qué se enviaba y adónde.

Un registro que el gateway no puede editar

La traza de tu Mac conserva cada respuesta tal como la recibió el agente, llamadas inyectadas incluidas, sellada con una clave de tu Llavero.

Las escrituras te esperan

Los push, las escrituras en la nube y en bases de datos se detienen para un diálogo en el Mac, según lo que hace la petición, no según el comando que la envió.

Qué hacer esta semana

  • Haz una lista de todos los sistemas entre tus agentes y sus modelos: el proxy LiteLLM, la cuenta de OpenRouter, la máquina con GPU que ejecuta vLLM u Ollama. Actualízalos y protégelos como servidores de producción, porque lo son.
  • Si ejecutaste litellm 1.107.0 en algún sitio, da por comprometidos ese host y todos los secretos a los que podía llegar.
  • Revisa los prefijos de comando aprobados. git como prefijo general aprueba git -c diff.external=….
  • Saca los secretos reales del entorno del agente, para que un script que los recoja solo se lleve sustitutos. En una máquina Bromure, Import env file… lo hace en un paso.

El capítulo Credentials del manual explica la sustitución en detalle, y Tracing & Audit cuenta qué guarda la traza y cómo leerla.