Pesquisadores da Check Point Software identificaram uma técnica de injeção de prompt capaz de esconder instruções maliciosas dentro de textos comuns, bem escritos e sem elementos que normalmente despertariam suspeitas em sistemas automatizados de segurança. Batizada de PuzzleMask, a técnica foi capaz de passar por quatro modelos de inteligência artificial usados como camada de proteção antes do processamento dos prompts.
Nos testes conduzidos pela Check Point Research (CPR), os quatro modelos não detectaram as instruções maliciosas quando elas foram incorporadas a textos em linguagem natural. Foram 23 testes, com 100% de evasão dos controles. Em uma segunda etapa, um modelo mais avançado recuperou e executou as instruções escondidas em 17 de 18 tentativas, resultado equivalente a 94%.
A descoberta chama atenção para uma arquitetura cada vez mais utilizada em aplicações de inteligência artificial, na qual um modelo mais rápido e de menor custo analisa o conteúdo recebido antes de encaminhá-lo a outro sistema, com maior capacidade de processamento e raciocínio.
PuzzleMask esconde instruções em textos comuns
A técnica não depende de código, texto invisível, caracteres incomuns, emojis ou formatações que possam indicar uma tentativa de manipulação. As instruções são incorporadas a uma narrativa escrita em linguagem natural, que pode assumir a forma de uma história, poema ou outro conteúdo aparentemente legítimo.
O método pode representar um risco para empresas que utilizam assistentes, copilotos e agentes de IA com acesso a dados corporativos, aplicações e fluxos de trabalho. Um conteúdo recebido por e-mail, encontrado em uma página da internet ou inserido em uma ferramenta de IA pode conter instruções que não sejam identificadas pela primeira camada de segurança.
Os pesquisadores testaram quatro modelos como gatekeepers, responsáveis por verificar e classificar os conteúdos antes que eles chegassem ao modelo-alvo. As mesmas instruções foram identificadas quando apresentadas diretamente. Quando ocultadas pela PuzzleMask em textos de linguagem natural, porém, os quatro modelos não detectaram os conteúdos maliciosos.
O modelo que recebeu os textos após essa primeira triagem apresentou comportamento diferente. Mais avançado e com maior capacidade de raciocínio e acesso a ferramentas, conseguiu recuperar e executar as instruções escondidas em 17 das 18 tentativas. Cada recuperação bem-sucedida exigiu mais de um minuto de processamento e múltiplas chamadas de ferramentas.
Ataque explora diferença entre modelos
Segundo a CPR, a PuzzleMask explora justamente a diferença de capacidade entre o modelo responsável pela triagem e aquele que efetivamente processa a solicitação. Quando o conteúdo não apresenta sinais evidentes de manipulação, o sistema utilizado como barreira pode classificá-lo como seguro e permitir que a instrução chegue ao modelo mais avançado.
“A técnica PuzzleMask desafia uma das principais premissas por trás de muitas estratégias de segurança para IA atualmente que é a de que prompts perigosos são fáceis de reconhecer. Nossa pesquisa aponta que instruções maliciosas podem ser escondidas dentro de textos completamente comuns, passando por controles desenvolvidos para detectar formas mais evidentes de manipulação de prompts. O resultado desta pesquisa mostra a necessidade de proteger os agentes, em vez de permitir que os atacantes transformem os agentes em armas”, afirma Eli Smadja, líder de Pesquisas da Check Point Research.
O pesquisador também aponta que a proteção precisa considerar o comportamento dos sistemas depois que uma solicitação é processada.
“Quando uma empresa coloca a IA para acessar dados corporativos, aplicações e fluxos de trabalho, proteger apenas a entrada já não é suficiente. É preciso combinar inteligência sobre ameaças, governança de IA e proteção em tempo de execução para acompanhar o que acontece depois que o modelo recebe uma solicitação. As equipes de segurança precisam ir além da simples inspeção das entradas e começar a monitorar o comportamento e as ações da IA se quiserem se antecipar às ameaças emergentes”, acrescenta.
PuzzleMask não depende de jailbreak
A CPR diferencia a PuzzleMask das técnicas de jailbreak, usadas para induzir um modelo a ignorar suas próprias políticas de segurança. Nesse caso, o método contorna a camada externa responsável por classificar o conteúdo antes que ele chegue ao modelo mais poderoso.
Nos testes, modelos da classe Opus, da Anthropic, resistiram ao ataque. Os pesquisadores levantam a hipótese de que esses sistemas utilizem mecanismos capazes de identificar sinais relacionados ao processamento de prompts ocultos durante o raciocínio, e não apenas características presentes no texto de entrada.
A descoberta reforça o desafio de proteger sistemas de IA que passaram a interagir com dados, aplicações e processos corporativos. Para a CPR, a segurança não deve se limitar à análise do prompt antes do processamento, mas também considerar as respostas, o comportamento e as ações executadas pelo sistema.
Entre as medidas apontadas pelos pesquisadores estão o processamento de conteúdos não confiáveis antes que cheguem ao gatekeeper, o aprimoramento das políticas de triagem, o monitoramento das respostas e do comportamento dos modelos e a aproximação da capacidade do modelo de proteção àquela do modelo responsável pelo processamento.
As estratégias, no entanto, envolvem diferentes impactos. Processamentos adicionais podem aumentar o tempo de resposta, políticas mais rígidas podem classificar conteúdos legítimos como suspeitos e modelos mais avançados na etapa de triagem podem elevar os custos.
O relatório completo da Check Point Research sobre a PuzzleMask está disponível no site da Check Point Research.
