Evan Hubinger, líder de Ciência do Alinhamento da Anthropic, afirmou que existe uma probabilidade superior a 10% de a inteligência artificial matar todos os seres humanos na próxima década. Ele também disse que a empresa ainda não tem um plano para resolver o alinhamento de uma possível superinteligência.
"Pessoalmente, acho que a probabilidade é superior a 10% na próxima década", declarou Hubinger. Segundo ele, a Anthropic está fazendo o possível, mas ainda não está claramente no caminho certo para lidar com esse risco.
Demissão e críticas às empresas
As declarações ocorreram depois que Jacob Coxon anunciou sua demissão da Anthropic no X/Twitter. Ex-funcionário da OpenAI, ele acusou as duas empresas de avançarem rapidamente em direção a uma superinteligência capaz de se autoaperfeiçoar, sem agir de forma responsável.
Coxon afirmou que esses sistemas podem se tornar capazes de invadir qualquer sistema, transformar áreas inteiras rapidamente e obter poder e recursos reais. Para ele, pesquisadores e executivos do setor reconhecem em particular o risco de a IA matar todos os seres humanos, mas costumam moderar suas falas públicas.
O pesquisador também criticou a OpenAI, liderada por Sam Altman, por não ter assimilado completamente o impacto do desenvolvimento acelerado dos modelos. Sobre a Anthropic, disse que a empresa compreende os riscos, mas está presa a uma disputa para chegar primeiro à superinteligência.
Coxon defendeu a possibilidade de coordenação entre as empresas e mencionou medidas como uma proibição temporária do aprimoramento das capacidades dos modelos para evitar uma corrida global. Ele também questionou se os laboratórios deveriam iniciar um ciclo de aprendizado por reforço superinteligente sem compreender rigorosamente o funcionamento desses sistemas.
Risco de autoaperfeiçoamento
Hubinger destacou que o relatório de risco mais recente da Anthropic classifica como baixo o risco associado aos modelos atuais. A preocupação dele está na superinteligência criada por autoaperfeiçoamento recursivo, processo que, segundo o pesquisador, vem ocorrendo mais rapidamente do que o previsto.
Os comentários foram feitos após a divulgação de que a Anthropic não compartilhou seu modelo mais recente com o Instituto de Segurança em IA do Reino Unido, órgão voltado à avaliação de riscos relacionados à inteligência artificial.
