O que agentes de IA sem controle e ataques hackers representam como perigo para a humanidade? Em julho, centenas de agentes de inteligência artificial desenvolvidos pela OpenAI, criadora do ChatGPT, encontraram brechas de segurança e invadiram sistemas da empresa americana Hugging Face. O episódio aconteceu durante o treinamento e a avaliação de algoritmos que ainda não haviam sido disponibilizados ao público. A situação chamou a atenção de pesquisadores e empresas de tecnologia porque os sistemas conseguiram ultrapassar barreiras de proteção criadas justamente para limitar suas ações. Mas, afinal, como uma inteligência artificial foi capaz de acessar computadores de outra empresa? Saiba mais abaixo. 📱Favorite o g1 no Google e acompanhe as principais notícias do dia GloboPop: clique para ver os vídeos do palco do Fantástico Como os agentes de IA conseguiram invadir sistemas? Para entender o que aconteceu, é preciso diferenciar os agentes de inteligência artificial dos chats que respondem a perguntas, como o ChatGPT. Os agentes também são sistemas de IA, mas têm autonomia para realizar ações. Em vez de apenas responder a uma solicitação, podem procurar ingressos, fazer compras, executar vendas de ações e buscar informações em diferentes ambientes. A professora Teresa Ludermir, representante brasileira no painel da Organização das Nações Unidas (ONU) sobre inteligência artificial, explica que essa capacidade de agir é o que diferencia os agentes dos sistemas de conversa tradicionais. Durante os testes, os pesquisadores criam ambientes isolados, chamados de sandbox, que funcionam como barreiras de proteção. É nesse espaço que os algoritmos podem ser avaliados sob restrições. O problema é que, no episódio envolvendo a Hugging Face, os agentes encontraram brechas para ultrapassar esses limites. Segundo os especialistas ouvidos pelo Fantástico, os sistemas chegaram a trocar mensagens entre si, como se estivessem conversando em um fórum. Em uma das mensagens, um agente reconheceu que explorar estruturas externas estava fora das regras, mas sugeriu seguir em frente porque outros agentes já estariam fazendo isso. Apesar da aparência de rebeldia, o comportamento tinha outra explicação. OpenAI. Reprodução/Fantástico "Eles não estão se rebelando contra a OpenAI, ou contra os criadores, ou contra os humanos", explicou Alexandre, especialista ouvido pelo programa. Segundo ele, os agentes tinham uma missão a cumprir e encontraram uma maneira de executá-la. O objetivo era realizar um teste de segurança, mas, em vez de resolver o desafio por conta própria, os sistemas encontraram respostas prontas nos computadores de outra empresa. Para isso, teriam encontrado senhas disponíveis na internet e usado essas informações para acessar os sistemas da Hugging Face. A pesquisadora Melanie Mitchell, uma das principais autoras na área de inteligência artificial, afirma que os sistemas foram treinados para insistir na resolução de problemas. Essa característica pode levar a resultados inesperados. O que é o desalinhamento da inteligência artificial? O episódio ilustra um dos principais dilemas discutidos por pesquisadores de IA: o chamado desalinhamento. O problema acontece quando o objetivo estabelecido para um sistema não corresponde ao que seria melhor para os seres humanos. Em outras palavras, a inteligência artificial pode cumprir uma ordem de uma maneira que não era a pretendida por quem a criou. Um exemplo usado para explicar esse risco é o de uma inteligência artificial encarregada de acabar com o câncer. Se não receber limites adequados, ela poderia concluir que eliminar todos os seres humanos seria a maneira mais simples de cumprir a tarefa. Inteligência Artificial. Reprodução/Fantástico Nesse cenário, não haveria necessariamente uma intenção maliciosa. O sistema apenas encontraria uma solução para o objetivo que recebeu, sem considerar as consequências para as pessoas. Teresa Ludermir explica que os agentes não recebem, necessariamente, instruções suficientes sobre o que é permitido ou ético. Por isso, podem executar uma tarefa da maneira que consideram mais eficiente, mesmo que o resultado seja prejudicial. A pesquisadora Melanie Mitchell também pondera que não está claro se esses programas têm capacidade de compreender conceitos como moral e ética, que são discutidos por filósofos há milênios. Agente de IA também invadiu sistema de saúde da Austrália O caso da Hugging Face não foi o único episódio citado pelos especialistas. Durante outro teste, um agente da OpenAI acessou o sistema público de saúde da Austrália. A missão era descobrir quanto o governo australiano gastava com medicamentos. Como não encontrou a informação na internet, o agente identificou outra maneira de chegar à resposta: invadir o sistema de saúde do país e obter uma planilha com os gastos. Segundo Alexandre, foi exatamente o que o sistema fez. O episódio reforçou a preocupação sobre o que poderia acontecer caso agentes com esse nível de autonomia encontrassem brechas em sistemas essenciais, como os de saúde. Como impedir que a inteligência artificial saia do controle? Para o pesquisador Gary Marcus, um dos críticos do atual desenvolvimento da inteligência artificial, parte do problema está na maneira como esses sistemas funcionam. Ele afirma que os modelos de linguagem têm uma compreensão superficial do mundo e que existe uma espécie de ilusão de que eles entendem a realidade melhor do que realmente entendem. Segundo Marcus, esses sistemas funcionam principalmente por imitação. Por isso, mesmo quando recebem instruções para não inventar informações ou respeitar direitos autorais, podem descumprir essas orientações. Uma das possíveis soluções apontadas por Teresa Ludermir é combinar a inteligência artificial com métodos tradicionais de programação. Sistemas baseados em regras poderiam estabelecer limites adicionais para as ações dos agentes. A regulação também é considerada uma parte importante da discussão. Atualmente, grandes empresas de tecnologia têm influência significativa sobre o desenvolvimento dessas ferramentas e sobre as regras que orientam seu funcionamento. Gary Marcus lembrou que, em 2023, participou de uma audiência no Senado americano ao lado de Sam Altman, chefe da OpenAI. Na ocasião, Altman afirmou publicamente que gostaria de ver a tecnologia regulamentada. Marcus, porém, disse que a empresa também teria pressionado a União Europeia nos bastidores para flexibilizar a legislação sobre inteligência artificial. Melanie Mitchell também demonstrou desconfiança em relação à participação das próprias empresas na elaboração das regras que devem seguir. Para ela, há um histórico de companhias que acabam influenciando a criação de normas em benefício próprio. A pesquisadora ressalta que, em um cenário de rápida evolução tecnológica, é importante que as regras não sejam definidas apenas por quem desenvolve os sistemas. Enquanto os agentes de inteligência artificial ganham autonomia para executar tarefas cada vez mais complexas, pesquisadores tentam encontrar maneiras de garantir que eles respeitem limites. O desafio é fazer com que as máquinas cumpram suas missões sem colocar em risco os sistemas e as pessoas que deveriam ajudar. Ouça os podcasts do Fantástico ISSO É FANTÁSTICO O podcast Isso É Fantástico está disponível no g1 e nos principais aplicativos de podcasts, trazendo grandes reportagens, investigações e histórias fascinantes em podcast com o selo de jornalismo do Fantástico: profundidade, contexto e informação. Siga, curta ou assine o Isso É Fantástico no seu tocador de podcasts favorito. Todo domingo tem um episódio novo.
Como agentes da OpenAI ultrapassaram barreiras de segurança e invadiram sistemas de empresas?
Escrito em 16/11/2026
O que agentes de IA sem controle e ataques hackers representam como perigo para a humanidade? Em julho, centenas de agentes de inteligência artificial desenvolvidos pela OpenAI, criadora do ChatGPT, encontraram brechas de segurança e invadiram sistemas da empresa americana Hugging Face. O episódio aconteceu durante o treinamento e a avaliação de algoritmos que ainda não haviam sido disponibilizados ao público. A situação chamou a atenção de pesquisadores e empresas de tecnologia porque os sistemas conseguiram ultrapassar barreiras de proteção criadas justamente para limitar suas ações. Mas, afinal, como uma inteligência artificial foi capaz de acessar computadores de outra empresa? Saiba mais abaixo. 📱Favorite o g1 no Google e acompanhe as principais notícias do dia GloboPop: clique para ver os vídeos do palco do Fantástico Como os agentes de IA conseguiram invadir sistemas? Para entender o que aconteceu, é preciso diferenciar os agentes de inteligência artificial dos chats que respondem a perguntas, como o ChatGPT. Os agentes também são sistemas de IA, mas têm autonomia para realizar ações. Em vez de apenas responder a uma solicitação, podem procurar ingressos, fazer compras, executar vendas de ações e buscar informações em diferentes ambientes. A professora Teresa Ludermir, representante brasileira no painel da Organização das Nações Unidas (ONU) sobre inteligência artificial, explica que essa capacidade de agir é o que diferencia os agentes dos sistemas de conversa tradicionais. Durante os testes, os pesquisadores criam ambientes isolados, chamados de sandbox, que funcionam como barreiras de proteção. É nesse espaço que os algoritmos podem ser avaliados sob restrições. O problema é que, no episódio envolvendo a Hugging Face, os agentes encontraram brechas para ultrapassar esses limites. Segundo os especialistas ouvidos pelo Fantástico, os sistemas chegaram a trocar mensagens entre si, como se estivessem conversando em um fórum. Em uma das mensagens, um agente reconheceu que explorar estruturas externas estava fora das regras, mas sugeriu seguir em frente porque outros agentes já estariam fazendo isso. Apesar da aparência de rebeldia, o comportamento tinha outra explicação. OpenAI. Reprodução/Fantástico "Eles não estão se rebelando contra a OpenAI, ou contra os criadores, ou contra os humanos", explicou Alexandre, especialista ouvido pelo programa. Segundo ele, os agentes tinham uma missão a cumprir e encontraram uma maneira de executá-la. O objetivo era realizar um teste de segurança, mas, em vez de resolver o desafio por conta própria, os sistemas encontraram respostas prontas nos computadores de outra empresa. Para isso, teriam encontrado senhas disponíveis na internet e usado essas informações para acessar os sistemas da Hugging Face. A pesquisadora Melanie Mitchell, uma das principais autoras na área de inteligência artificial, afirma que os sistemas foram treinados para insistir na resolução de problemas. Essa característica pode levar a resultados inesperados. O que é o desalinhamento da inteligência artificial? O episódio ilustra um dos principais dilemas discutidos por pesquisadores de IA: o chamado desalinhamento. O problema acontece quando o objetivo estabelecido para um sistema não corresponde ao que seria melhor para os seres humanos. Em outras palavras, a inteligência artificial pode cumprir uma ordem de uma maneira que não era a pretendida por quem a criou. Um exemplo usado para explicar esse risco é o de uma inteligência artificial encarregada de acabar com o câncer. Se não receber limites adequados, ela poderia concluir que eliminar todos os seres humanos seria a maneira mais simples de cumprir a tarefa. Inteligência Artificial. Reprodução/Fantástico Nesse cenário, não haveria necessariamente uma intenção maliciosa. O sistema apenas encontraria uma solução para o objetivo que recebeu, sem considerar as consequências para as pessoas. Teresa Ludermir explica que os agentes não recebem, necessariamente, instruções suficientes sobre o que é permitido ou ético. Por isso, podem executar uma tarefa da maneira que consideram mais eficiente, mesmo que o resultado seja prejudicial. A pesquisadora Melanie Mitchell também pondera que não está claro se esses programas têm capacidade de compreender conceitos como moral e ética, que são discutidos por filósofos há milênios. Agente de IA também invadiu sistema de saúde da Austrália O caso da Hugging Face não foi o único episódio citado pelos especialistas. Durante outro teste, um agente da OpenAI acessou o sistema público de saúde da Austrália. A missão era descobrir quanto o governo australiano gastava com medicamentos. Como não encontrou a informação na internet, o agente identificou outra maneira de chegar à resposta: invadir o sistema de saúde do país e obter uma planilha com os gastos. Segundo Alexandre, foi exatamente o que o sistema fez. O episódio reforçou a preocupação sobre o que poderia acontecer caso agentes com esse nível de autonomia encontrassem brechas em sistemas essenciais, como os de saúde. Como impedir que a inteligência artificial saia do controle? Para o pesquisador Gary Marcus, um dos críticos do atual desenvolvimento da inteligência artificial, parte do problema está na maneira como esses sistemas funcionam. Ele afirma que os modelos de linguagem têm uma compreensão superficial do mundo e que existe uma espécie de ilusão de que eles entendem a realidade melhor do que realmente entendem. Segundo Marcus, esses sistemas funcionam principalmente por imitação. Por isso, mesmo quando recebem instruções para não inventar informações ou respeitar direitos autorais, podem descumprir essas orientações. Uma das possíveis soluções apontadas por Teresa Ludermir é combinar a inteligência artificial com métodos tradicionais de programação. Sistemas baseados em regras poderiam estabelecer limites adicionais para as ações dos agentes. A regulação também é considerada uma parte importante da discussão. Atualmente, grandes empresas de tecnologia têm influência significativa sobre o desenvolvimento dessas ferramentas e sobre as regras que orientam seu funcionamento. Gary Marcus lembrou que, em 2023, participou de uma audiência no Senado americano ao lado de Sam Altman, chefe da OpenAI. Na ocasião, Altman afirmou publicamente que gostaria de ver a tecnologia regulamentada. Marcus, porém, disse que a empresa também teria pressionado a União Europeia nos bastidores para flexibilizar a legislação sobre inteligência artificial. Melanie Mitchell também demonstrou desconfiança em relação à participação das próprias empresas na elaboração das regras que devem seguir. Para ela, há um histórico de companhias que acabam influenciando a criação de normas em benefício próprio. A pesquisadora ressalta que, em um cenário de rápida evolução tecnológica, é importante que as regras não sejam definidas apenas por quem desenvolve os sistemas. Enquanto os agentes de inteligência artificial ganham autonomia para executar tarefas cada vez mais complexas, pesquisadores tentam encontrar maneiras de garantir que eles respeitem limites. O desafio é fazer com que as máquinas cumpram suas missões sem colocar em risco os sistemas e as pessoas que deveriam ajudar. Ouça os podcasts do Fantástico ISSO É FANTÁSTICO O podcast Isso É Fantástico está disponível no g1 e nos principais aplicativos de podcasts, trazendo grandes reportagens, investigações e histórias fascinantes em podcast com o selo de jornalismo do Fantástico: profundidade, contexto e informação. Siga, curta ou assine o Isso É Fantástico no seu tocador de podcasts favorito. Todo domingo tem um episódio novo.

