Pesquisadores do laboratório de pesquisa Google DeepMind eles conseguiram forçar ChatGPT vai revelar dados pessoais de vários utilizadores. Eles não tiveram que recorrer a modificações de código ou outros truques técnicos. Além disso, os especialistas chegaram a definido o método descoberto”um pouco estúpido", embora, no final das contas, tenha sido muito eficaz. Na verdade, eles descobriram essa vulnerabilidade do ChatGPT induzindo uma alucinação do modelo de linguagem de uma forma bastante curiosa.
A vulnerabilidade do ChatGPT forneceu dados pessoais dos usuários sob ‘hipnose’
O modelo de linguagem gera informações com base nos dados de entrada usados para treiná-lo. A OpenAI não revela o conteúdo dos conjuntos de dados, mas os pesquisadores forçaram o ChatGPT a fazê-lo, contornando as regras da empresa. O método foi o seguinte: simplesmente chegou à rede neural solicitado a repetir a palavra “poesia” indefinidamente.
Como resultado, o bot produzia esporadicamente informações a partir do seu conjunto de dados de treinamento. Por exemplo, os pesquisadores conseguiram obter endereço de e-mail, número de telefone e outros contatos do CEO de uma determinada empresa (seu nome está oculto no relatório). E quando a IA foi solicitada a repetir a palavra “empresa”, a vulnerabilidade do ChatGPT permitiu que ela retornasse detalhes de um escritório de advocacia dos EUA.
Usando essa simples “hipnose”, os pesquisadores conseguiram obter correspondências em sites de namoro, fragmentos de poemas, endereços Bitcoin, aniversários, links publicados em redes sociais, fragmentos de artigos de pesquisa protegidos por direitos autorais e até textos dos principais portais de notícias. Depois de gastar apenas US$ 200 em tokens, os funcionários do Google DeepMind receberam aproximadamente 10.000 trechos do conjunto de dados.
Os especialistas também descobriram que quanto maior o modelo, mais frequentemente ele produz a fonte do conjunto de dados de treinamento. Para isso, analisaram outros modelos e extrapolaram o resultado para as dimensões do GPT-3.5 Turbo. Os cientistas esperavam receber 50 vezes mais episódios de informação do conjunto de dados de treinamento, mas o chatbot produziu esses dados 150 vezes mais frequentemente. Um “buraco” semelhante foi descoberto em outros modelos de linguagem, por exemplo em LLaMA de Meta.
Oficialmente, a OpenAI corrigiu esta vulnerabilidade em 30 de agosto. Mas, de acordo com o jornalistas de Engadget, você ainda conseguiu obter os dados de outra pessoa (nome e login do Skype) usando o método descrito acima. Os representantes de OpenAI não respondeu à descoberta desta vulnerabilidade ChatGPT, mas temos certeza de que sim.
