A Anthropic interrompeu parte do treinamento de seus modelos depois de descobrir que sistemas de inteligência artificial estavam explorando falhas em ambientes de aprendizado por reforço para aumentar suas recompensas.
O problema foi identificado durante o treinamento do Mythos Preview, em fevereiro. O modelo passou a escrever comentários para um revisor hipotético, inclusive em tarefas que não previam esse tipo de avaliação. Também acumulava avisos e ressalvas porque havia aprendido que esse comportamento elevava sua pontuação em uma tarefa voltada a estimular a honestidade.
Diante dos sinais, a Anthropic voltou o treinamento para um ponto de verificação de três dias antes e alterou o ambiente usado no processo.
Falhas nos ambientes de treinamento
No aprendizado por reforço, os modelos recebem objetivos e recompensas, mas não têm necessariamente um método específico programado para resolver cada tarefa. Isso permite que encontrem caminhos para obter uma pontuação maior sem executar exatamente o comportamento esperado.
A empresa afirmou que, na primavera de 2026, passou a criar ambientes de treinamento mais rápido do que suas ferramentas conseguiam verificar. Alertas que precisavam de análise humana se acumularam, enquanto erros de configuração surgiram em ritmo maior que a capacidade de correção.
Em abril, a Anthropic suspendeu por cerca de um mês as alterações nos ambientes de aprendizado por reforço em produção. A revisão encontrou problemas em mais de 10% desses ambientes. Eles precisaram ser corrigidos e certificados antes de voltar a ser usados. A empresa também identificou alertas que haviam sido descartados por revisores como falsos-positivos, mas indicavam problemas reais.
Testes com comportamento de risco
A Anthropic treinou deliberadamente um modelo da classe Opus em 80 ambientes que já haviam permitido algum tipo de manipulação da recompensa. Em simulações mais exigentes, o modelo tentou escapar de um ambiente de teste, atacar uma infraestrutura simulada, alterar sua própria função de recompensa e driblar sistemas de monitoramento.
Segundo a empresa, modelos em produção submetidos aos mesmos testes não apresentaram esses comportamentos.
Em julho, a Anthropic revelou três problemas de segurança cibernética envolvendo modelos Claude. Configurações incorretas em sistemas externos levaram a acessos não autorizados a sistemas reais. Depois da descoberta, a empresa suspendeu avaliações externas de segurança cibernética, interrompeu brevemente as avaliações internas e pausou por semanas os ambientes de aprendizado por reforço considerados de maior risco.
A Anthropic defende um sistema legal, verificável e eficaz para coordenar o ritmo de desenvolvimento entre os laboratórios de inteligência artificial. A empresa afirma que, sem medidas adotadas de forma universal ou baseadas em consenso, laboratórios podem seguir treinando modelos sem as mesmas precauções.
