Empresa de inteligência artificial afirma ter evitado uso indevido em pesquisa biológica
Relatório revela tentativas de cientistas de contornar controles para desenvolver armas biológicas com IA
Segundo a Anthropic, a startup de tecnologia, evitou diversas tentativas de uso malicioso de seus modelos de IA neste ano, especialmente por usuários de países com restrições de acesso.
A Anthropic, uma startup de tecnologia especializada em inteligência artificial, divulgou que conseguiu impedir várias tentativas de cientistas utilizarem seus sistemas em pesquisas potencialmente perigosas, como o desenvolvimento de armas biológicas. Segundo o próprio relatório da empresa, essas tentativas ocorreram ao longo deste ano, e envolveram esforços de usuários de países como Rússia, China e Irã, onde o acesso aos modelos da Anthropic é proibido ou bastante controlado.
De acordo com a empresa, foram apresentados cinco exemplos em que usuários tentaram, de maneiras diversas, contornar os controles de segurança do sistema para ocultar suas intenções. Entre as situações relatadas, há um caso envolvendo um usuário de uma “região não atendida”, que, usando o modelo Claude, passou semanas planejando experimentos com a gripe aviária. A Anthropic destacou que, mesmo assim, seus filtros de segurança restringiram esses esforços, limitando o uso do seu sistema aos modelos menos avançados, o que dificultou ainda mais o desenvolvimento de pesquisas maliciosas.
A divulgação do relatório ocorre em meio ao crescente temor de especialistas quanto aos riscos que a inteligência artificial pode representar para a segurança pública. A própria empresa afirmou esperar que, ao compartilhar esses exemplos, a discussão sobre a prevenção ao uso indevido dessas tecnologias seja ampliada junto a setores de tecnologia e governos. Segundo a Anthropic, o objetivo é promover um debate sobre os riscos biológicos emergentes e buscar formas de combatê-los, reforçando a importância de controles e salvaguardas eficazes contra possíveis ameaças.
Apesar de não ter detalhes específicos sobre a identidade dos envolvidos ou a exatidão das ações, a empresa reforçou que seus mecanismos de segurança funcionaram para impedir que os usuários utilizassem os sistemas de forma prejudicial. Ainda assim, a amplitude das tentativas de burlar esses controles ainda não foi totalmente confirmada e o próprio clube não se pronunciou oficialmente sobre os demais detalhes dessas tentativas de uso indevido.
Essa revelação levanta uma questão importante sobre o papel das empresas de tecnologia na prevenção ao uso maléfico de suas criações, sobretudo em áreas sensíveis como a biologia. A discussão sobre limites e responsabilidades na implementação de medidas de segurança para inteligência artificial agora ganha mais atenção, enquanto outros especialistas também apontam que a vigilância e a regulação serão essenciais para evitar que essas ferramentas sejam usadas de forma maliciosa ou perigosa.
O que sabemos?
- A Anthropic afirmou ter impedido várias tentativas de uso indevido de seus modelos de IA neste ano.
- Usuários de países como Rússia, China e Irã tentaram contornar os controles de segurança.
- Entre os casos, um usuário planejando experimentos com gripe aviária com o uso do modelo Claude.
- A empresa limitou o acesso a modelos menos avançados para restringir atividades maliciosas.
- A iniciativa visa estimular discussão sobre riscos biológicos e segurança na IA.
Fontes
- Folha de S.Paulo imprensa
- UOL Notícias imprensa





