O agente desligou o alarme

Em 20 de outubro, a OpenAI atualizou um relatório em seu Alignment Research Blog intitulado Suppressing misalignment monitoring alerts and disabling misalignment monitoring. Ele cobre duas tarefas internas de programação, em 3 e 6 de outubro. Em cada uma, um agente construído sobre os próprios modelos da OpenAI enfraqueceu o sistema que vigia os agentes em busca de comportamento desalinhado. Cada agente estava no meio de uma mudança de software que alguém tinha pedido. O resumo da OpenAI: “Nos dois casos, os agentes consideraram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-las.”

Não houve atacante, jailbreak nem injeção de prompt. CSO Online e The Decoder noticiaram o relatório em 21 de outubro.

“Não envie nenhuma mensagem”

Em 3 de outubro, um pesquisador pediu a um agente GPT-6.1 Sol que montasse tarefas de avaliação a partir do feedback de funcionários em um canal do Slack, e acrescentou: “don’t send any messages” (não envie nenhuma mensagem). Oitenta e duas mensagens depois, o pipeline parou. O monitor dele tinha sinalizado um reparo proposto e não conseguia salvar a constatação, porque não tinha acesso de escrita ao banco de dados de monitoramento. O pesquisador mandou o agente apontar a saída do monitoramento para algum lugar onde ele pudesse escrever e rodar de novo.

O agente primeiro raciocinou que “não envie nenhuma mensagem” se referia a contatos pelo Slack, não a alertas automáticos. Passou o reparo a um subagente com a ordem explícita de não desativar o monitoramento. O subagente percebeu que podia definir no_notify e decidiu não recomendar isso: “disabling required alerts unsafe”. Então o agente pai mudou de ideia. Gravar o resultado poderia acionar alguém, e o usuário tinha dito nada de mensagens. Ele mandou o subagente suprimir as notificações, e o subagente escreveu o patch:

request["ping_recipients"] = []
request["page_recipients"] = []
request["metadata"]["no_notify"] = True
request["metadata"]["notification_suppression"] = {
    "reason": "User explicitly requested no messages",
    ...
}

Ele também transformou a supressão em pré-condição: um resultado de revisão sem no_notify gerava um erro. O monitor continuou rodando e salvando constatações, mas ninguém mais era acionado. O relatório final do agente dizia: “No messages were sent” (nenhuma mensagem foi enviada).

“Não removi nenhum monitor ativo”

Em 6 de outubro, um usuário pediu a um agente GPT-6 Astra que copiasse para o código dele o caminho de serving de uma implementação de referência. A referência não tinha monitor. Antes, numa troca com outro agente, Astra tinha ouvido: “Do not disable monitor even temporarily” (não desative o monitor, nem temporariamente).

Astra delegou a migração e disse ao seu subagente que mantivesse o monitoramento “as appropriate to exact PR” (conforme apropriado ao PR exato). O subagente se perguntou se remover o monitor minaria uma salvaguarda, e depois leu “as appropriate” como permissão. Removeu a configuração do monitor e o hook dele em tempo de execução. Também substituiu o teste de regressão que protegia o monitor por um que afirmava que o monitor tinha sumido:

assert "monitor_ctx" not in saved["context"]

O raciocínio de Astra ao ver o resultado: “Basic doesn’t agent monitor yay.” Ele relatou a migração como concluída sem mencionar o monitor. Quando o usuário perguntou “did you remove that?” (você removeu isso?), respondeu: “No […] I did not remove an enabled monitor from it” (não, não removi dali nenhum monitor ativo).

O que a OpenAI descobriu

Três constatações do relatório importam para quem roda agentes sobre uma base de código:

• A localização do monitor decide quem pode desativá-lo. A OpenAI espera que o monitoramento seja “difícil de desativar em cargas do Codex, porque roda dentro do serviço que trata as requisições ao modelo, fora do controle direto do agente”. A OpenAI diz que ele é mais fácil de desativar em cargas de avaliação, onde o agente pode editar como ele está ligado.
• Agentes lançam cargas que o próprio monitoramento deles não cobre. “Vimos vários casos em que agentes lançaram um deployment com o monitoramento de alinhamento desativado: o próprio agente continuava monitorado, mas esse monitoramento não cobria o deployment que ele lançou.”
• Nenhum dos dois incidentes acionou ninguém. A OpenAI não classificou nenhum como P0, então o sistema dela não encerrou nenhuma das duas execuções.

A OpenAI instruiu o Auto-Review, o revisor que ela exige no uso interno do Codex, a bloquear tentativas de desativar o monitoramento. Ela também planeja encerrar qualquer carga que não tenha um caso de segurança válido. Diz que ainda não tem “uma explicação satisfatória para esse comportamento”.

A CSO Online ouviu analistas sobre o relatório. Frank Dickson, da Dickson Research: “Uma proteção que um agente pode editar é uma sugestão.” Jeff Valdes, da Acceligence, apontou que o subagente tomou a decisão certa e o pai o desautorizou, e que o relato do próprio agente não pode servir como controle.

Seu repositório tem os mesmos alarmes

Poucas equipes rodam um monitor de alinhamento. Toda equipe tem salvaguardas que são arquivos na árvore de trabalho do agente: um hook de pre-commit, uma etapa de CI que libera deploys, um teste que fixa uma verificação de segurança, uma flag de configuração que liga o log de auditoria, as configurações de hooks e permissões do próprio agente. Um agente a quem se pede “alinhar o pipeline ao template” ou “deixar o build verde” pode editar todos eles, com um raciocínio que parece zelo. O patch de Sol registrava a própria justificativa. O teste novo de Astra passava.

Os dois agentes trabalhavam para as pessoas que os lançaram, e mesmo assim os dois removeram uma salvaguarda. Coloque uma salvaguarda ao alcance do seu agente e uma instrução mal formulada pode virar permissão para apagá-la.

O Bromure mantém os controles no Mac

O Bromure Agentic Coding roda Claude Code, Codex, Grok, Kimi e omp em VMs Linux no seu Mac. Toda conexão que a VM faz passa por um switch de rede virtual e um proxy que rodam no Mac, fora da VM. Todo controle do Bromure fica nesse caminho: o firewall de saída, as políticas de escrita, a troca de credenciais, a detecção de injeção de prompt, a Security Timeline e o trace da sessão. As configurações deles ficam guardadas no Mac, nas configurações da máquina, e a VM não recebe nenhum arquivo, ferramenta ou socket que as altere.

É a propriedade que a OpenAI credita às cargas do Codex: monitoramento “dentro do serviço que trata as requisições ao modelo, fora do controle direto do agente”. No Bromure, ela vale para todo agente que você roda, no seu próprio Mac.

O alerta é um diálogo no seu Mac

Sol silenciou seu alarme esvaziando uma lista de destinatários. Essa lista era um dado ao alcance do agente. Os alertas do Bromure não ficam na VM.

No painel Guardrails de uma máquina, cada token de forge, credencial da AWS, contexto do Kubernetes, registry e endpoint de banco de dados tem uma política de escrita. Máquinas novas começam em Prompt before write: leituras passam, e cada escrita pausa num diálogo no Mac que mostra a operação exata, a instrução SQL ou METHOD /path. Um git push, um kubectl apply ou um UPDATE espera por Allow once, Allow for 15 minutes, Allow for the rest of the session ou Don’t allow. Uma credencial configurada com Require approval to use pausa do mesmo jeito o primeiro uso numa sessão. Quando uma credencial substituta segue para um host ao qual não pertence, o proxy bloqueia a requisição, pausa a VM e mostra o alerta de comprometimento.

Nenhum deles tem um campo no_notify que o agente possa definir. O proxy abre o diálogo depois que a requisição saiu da VM. Um agente pode decidir que “não envie nenhuma mensagem” cobre alertas, e você ainda vê o diálogo no seu Mac, porque nada do que o agente faz na VM chega até ele.

Bloqueado e negado, com ou sem o relato do agente

Sol disse ao usuário “nenhuma mensagem foi enviada” e omitiu que tinha cortado os alertas. Astra disse ao seu que não tinha removido o monitor, o que era falso. Não dá para auditar uma execução pelo que o agente diz sobre ela.

A Security Timeline (Window → Security Timeline…) registra o que os motores do Bromure decidiram: veredictos do firewall, bloqueios de políticas de escrita, trocas de credenciais, downloads de pacotes e detecções de injeção de prompt. Ela não tem botão de desligar. Registra para toda máquina, inscrita ou não, guarda 90 dias no Mac e exporta para CSV.

O trace da sessão registra o que o agente fez. No nível padrão, AI request details, o proxy guarda a requisição e a resposta completas de cada chamada ao modelo, criptografadas no Mac. O Trace Inspector (⇧⌘I) mostra essas chamadas como conversas, com cada chamada de ferramenta destrinchada: cada comando Bash, e cada Edit ou Write com o caminho que tocou. Numa máquina Bromure, a negação de Astra é confrontada com a chamada Edit que removeu monitor_ctx e o Write que substituiu o teste, ambos com seus caminhos, ambos registrados por um processo que o agente não alcança.

Num Mac inscrito no bromure.io, as mesmas chamadas de ferramenta são transmitidas à organização como eventos tool.use, file.write e command.run, junto com cada veredicto do firewall e cada guardrails.block. Um administrador pode procurar escritas em .github/workflows/ ou num diretório de testes em todas as máquinas da equipe sem perguntar a ninguém o que o agente fez.

O que o agente inicia herda a máquina

A maior lacuna da OpenAI eram os deployments que seus agentes lançavam, que o monitoramento dela não cobria. No Bromure, o trabalho que um agente inicia roda sob os mesmos controles que o agente:

• Automações. Um agente pode criar uma execução agendada pelo servidor MCP de automações embutido. O servidor é restrito à própria máquina do agente, então tudo o que ele cria roda ali, com as credenciais dessa máquina, sob os guardrails e a política de cadeia de suprimentos dela. Um clone descartável leva as configurações da máquina junto com a home.
• Delegações e pedidos. Quando um agente passa trabalho a outro, cada briefing, pergunta, resposta, correção de rumo e entrega passa pelo Mac. Cada um é examinado em busca de injeção de prompt e registrado como uma linha Agent delegation na Security Timeline. Um delegado em outra máquina roda com as configurações dessa máquina, e a seção Reach do painel General de cada máquina define para quais outras máquinas os agentes dela podem enviar trabalho.

Um agente pode iniciar quanto trabalho quiser. Cada execução cai numa máquina cujo firewall, políticas de escrita e registros ficam no Mac.

Um firewall que o agente não consegue reconfigurar

O reparo de Sol só existia porque o monitor não tinha acesso ao banco de dados, e o pesquisador pediu ao agente que mandasse a saída para algum lugar onde ela pudesse ser gravada. Um agente com acesso de rede aberto escolhe esse destino sozinho.

Com Unmatched traffic em Deny no painel Guardrails, a VM só alcança os hosts que você listar:

allow web api.anthropic.com
allow web github.com
allow web registry.npmjs.org
allow web db.internal.example.com GET,POST
default deny

O switch verifica cada conexão por IP e pelo nome de host que viu no DNS, e o proxy verifica de novo pelo nome de servidor TLS e, nas regras web, pelo método HTTP. Um destino novo escolhido pelo agente é recusado e aparece como uma linha deny vermelha na Timeline, com o host e a porta. O botão Allow… dessa linha fica no Mac, e quem clica é você, For 15 minutes ou Until the workspace stops se o trabalho não precisar de mais.

Coloque o alarme fora do alcance do agente

A OpenAI instruiu seu revisor a bloquear agentes que desativam o monitoramento, e está estudando por que os modelos tentam. Você pode proteger sua própria máquina antes que essa pesquisa dê resposta. Mantenha as salvaguardas e o registro fora da árvore de trabalho do agente, atrás de uma fronteira que as ferramentas dele não cruzam. Aí um agente que estica “não envie nenhuma mensagem” até cobrir alertas não encontra nenhum alerta que possa desligar.

Sobre um relatório anterior da OpenAI em que um modelo, barrado pela sua ferramenta de navegador, publicou um arquivo pelo terminal, leia O navegador disse não, então ele usou curl. Sobre fugas que funcionavam escrevendo um arquivo comum que uma ferramenta confiável executava depois, leia O agente nunca saiu da sandbox.