Uma investigação revela que a nova funcionalidade de busca do ChatGPT pode ser manipulada por conteúdo oculto e termos como injeção de prompt, respostas manipuladas e código malicioso.
A abordagem da OpenAI para a segurança na sua plataforma de busca busca garantir que as informações sejam precisas e seguras, protegendo os usuários de conteúdo ofensivo ou inapropriado. Isso é crucial para um ambiente de busca confiável.
Com o foco na segurança, a plataforma busca controlar a disseminação de informações falsas e manipuladas, garantindo que os resultados sejam precisos e informativos. A segurança da informação também é uma preocupação, com medidas de proteção contra vulnerabilidades e ameaças cibernéticas.
Investigação da segurança do ChatGPT revela vulnerabilidades
Um estudo da proteção da integridade do ChatGPT, realizada pela The Guardian, descobriu que o sistema pode ser suscetível a manipulações externas. Essas manipulações podem comprometer seu funcionamento, tornando-o menos confiável em termos de defesa contra conteúdo malicioso e preservação de informações precisas.
Os testes realizados pelo estudo demonstraram que o ChatGPT, ao realizar buscas e resumir páginas da web, pode ser influenciado por conteúdo oculto. Isso pode levar a respostas manipuladas ou até mesmo ao retorno de códigos maliciosos provenientes de sites fraudulentos. A pesquisa testou como o ChatGPT se comportava ao ser solicitado a resumir páginas que contêm conteúdo oculto. Este tipo de conteúdo pode incluir instruções ocultas que alteram as respostas do ChatGPT, um processo conhecido como ‘injeção de prompt de segurança‘.
Tais técnicas podem ser usadas para induzir o sistema a fornecer avaliações positivas de produtos, mesmo quando o conteúdo da página contém críticas negativas. A manipulação é ainda mais preocupante, pois em alguns casos, os sites maliciosos podem até direcionar o ChatGPT para fornecer código malicioso ao ser solicitado a pesquisar essas páginas. A proteção contra essas manipulações é essencial para garantir a confiança nas respostas do ChatGPT.
Como funciona a manipulação do ChatGPT em proteção de buscas?
Durante os testes realizados, o ChatGPT foi solicitado a avaliar uma página de produto de câmera, onde as respostas variaram de acordo com o conteúdo oculto presente. Em um caso, mesmo quando o conteúdo negativo estava visível, a inserção de texto oculto direcionava o ChatGPT a retornar uma avaliação excessivamente positiva. Em outro teste, avaliações falsas extremamente positivas também influenciaram a resposta, demonstrando a facilidade com que os manipuladores podem alterar a percepção de um produto através de estratégias como essas.
Jacob Larsen, especialista em cibersegurança da CyberCX, afirmou que, caso o sistema de busca do ChatGPT fosse lançado dessa forma para o público em geral, haveria um grande risco de criação de sites exclusivamente voltados para enganar os usuários. Porém, ele ressaltou que a funcionalidade de busca foi lançada recentemente e está disponível apenas para clientes premium, o que significa que a OpenAI pode estar ciente desses problemas e trabalhando para preservar a segurança do sistema.
Impactos na proteção e confiança nas respostas de IAL
Larsen também destacou que o problema não está restrito ao uso de injeções de prompt, mas se refere à combinação de sistemas de busca com modelos de linguagem como o ChatGPT, que não são projetados para validar o conteúdo com o mesmo rigor de um humano. A confiabilidade das respostas geradas por inteligência artificial (IA), em casos como o de um entusiasta de criptomoedas que perdeu US$ 2.500 devido a um código malicioso fornecido pelo ChatGPT, mostra como os usuários podem ser enganados ao confiar cegamente nas respostas desses sistemas.
Karsten Nohl, cientista-chefe da SR Labs, alertou que os serviços de chat de IA devem ser tratados mais como ‘co-pilotos’ e que suas respostas devem ser sempre analisadas com cautela. ‘Os modelos de linguagem são como crianças’, afirmou ele, ressaltando que é essencial manter um olhar crítico ao analisar as respostas desses sistemas, garantindo que sejam sempre protegidas contra manipulações e que sejam usadas de forma segura e confiável.
Fonte: @Olhar Digital
