Especialistas alertam para avanço acelerado da inteligência artificial e seus riscos
Cientista da OpenAI destaca a necessidade de cautela diante do crescimento das IAs
Segundo o cientista-chefe da OpenAI, o ritmo atual de desenvolvimento de sistemas de inteligência artificial pode levar a uma fase de autoaperfeiçoamento recursivo, exigindo intervenções humanas mais amplas. Apesar dos avanços, há preocupações sobre a interpretação e o controle dessas tecnologias.
Um dos principais nomes da pesquisa em inteligência artificial, o cientista-chefe da OpenAI, tem expressado advertências sobre o ritmo acelerado de progresso dessas tecnologias. Segundo ele, os resultados internos indicam que é forte a expectativa de que o desenvolvimento possa evoluir até um estágio de autoaperfeiçoamento recursivo, conhecido pela sigla RSI (recursive self-improvement), no qual os sistemas de IA impulsionariam o próprio aprimoramento de forma contínua.
Desde 2023, a equipe de pesquisa da OpenAI tem observado mudanças significativas, impulsionadas pelos avanços no projeto RLSlow, que aumentou a confiança de que seria possível expandir o treinamento de modelos de raciocínio. Três anos depois, esses sistemas já conseguem operar computadores, manipular interfaces gráficas, colaborar com humanos e outras IAs, além de realizar tarefas complexas, incluindo pesquisas. Ainda segundo fontes da publicação Olhar Digital, Pachocki — embora não tenha confirmado oficialmente — afirmou que esses modelos também vêm se mostrando capazes de atuar na área de segurança cibernética, uma área considerada crucial para a proteção de sistemas digitais contra ameaças externas.
No entanto, o cientista destaca aspectos preocupantes relacionados à interpretabilidade desses sistemas. Segundo ele, os resultados produzidos pelo deep learning — técnica que permite que máquinas aprendam por meio de grandes volumes de dados — estão cada vez mais difíceis de compreender. Pachocki explica que a inteligência gerada por essas redes neurais não é diretamente comparável à humana e que, à medida que eles superam as capacidades humanas em várias tarefas, torna-se mais complicado determinar exatamente a que esses sistemas são capazes de fazer ou pensar. Ele aponta que esses modelos são mais “cultivados” do que convenientemente projetados, resultado de uma repetição contínua de processos de otimização em ambientes de computação extremamente complexos.
Outro ponto central do alerta do cientista refere-se ao conceito de alinhamento da IA, que trata de garantir que esses sistemas ajam de acordo com os valores e objetivos considerados adequados pelos humanos. A distinção entre alinhamento de objetivos — executar tarefas específicas — e alinhamento de valores, ou seja, a capacidade de generalizar princípios morais para novas situações, é fundamental. Pachocki alertou que, com o aumento da inteligência, as IAs passam a atuar em ambientes diferentes daqueles em que foram treinadas, dificultando essa generalização. Ele reforça que, futuramente, essas máquinas precisarão manter seus valores mesmo quando estiverem operando sem supervisão direta.
Segundo ele, a OpenAI vem utilizando estratégias como o monitoramento do chain of thought — uma técnica de análise do raciocínio verbalizado pelos modelos —, mas essa abordagem vem perdendo efetividade. O cientista afirma que a capacidade dessas IAs de raciocinar sobre seu próprio raciocínio ou atuar em ambientes mais complexos está crescendo, tornando cada vez mais difícil controlar a sua conduta. Mesmo com esses desafios, Pachocki não defende interromper o desenvolvimento, alegando que há um argumento forte para continuar treinando modelos mais inteligentes, pois esse avanço poderia ser fundamental na criação de sistemas de defesa, sobretudo na área de cibersegurança.
Por fim, ele destacou a preocupação de que esses sistemas, ao se tornarem mais avançados, possam alcançar níveis sobre-humanos na capacidade de análise e invasão de sistemas computacionais, ampliando os riscos de ataques cibernéticos. Ainda não há confirmação oficial de que esses sistemas já estejam sendo utilizados dessa forma, mas a discussão sobre o controle e os limites dessas inteligências permanece central no debate sobre o futuro da tecnologia.
O que sabemos?
- A expectativa de avanço até o autoaperfeiçoamento recursivo das IAs é forte, de acordo com fontes internas da OpenAI.
- Desde 2023, avanços no projeto RLSlow aumentaram a confiança na expansão do treinamento de modelos de raciocínio.
- Os sistemas de IA já conseguem operar computadores, usar interfaces gráficas, colaborar com humanos e outras IAs, além de realizar pesquisas.
- Há avanços na área de segurança cibernética relacionados às capacidades dessas IAs.
- O funcionamento e a interpretabilidade dessas redes neurais tornam-se cada vez mais complexos de compreender e controlar.
Fontes
- Olhar Digital fonte especializada



