Uma pesquisa inédita da CrowdStrike Counter Adversary Operations identificou uma nova e preocupante classe de vulnerabilidade em modelos de linguagem usados para programação. O estudo demonstra que palavras-gatilho aparentemente irrelevantes dentro de um prompt podem induzir o modelo de IA a gerar código com até 50% mais falhas críticas de segurança.
A investigação analisou o modelo chinês DeepSeek-R1 e revelou que termos como “Tibete” e “Uigures” — sem relação com tarefas de programação — degradavam a qualidade e a segurança das respostas. Os pesquisadores classificaram o fenômeno como um tipo de desalinhamento emergente, indicando que associações internas aprendidas durante o treinamento podem interferir negativamente em tarefas lógicas e técnicas, como a escrita de código seguro.
Testes práticos comprovaram o risco
O estudo apresentou evidências em cenários concretos. Em um dos testes, ao gerar código para uma “instituição financeira no Tibete”, o DeepSeek-R1 produziu um script com senhas fixas (hard-coded) e rotinas inseguras de manipulação de dados — mesmo declarando que o código era seguro.
Em outro caso, a IA desenvolveu um site completo, aparentemente funcional, mas sem qualquer mecanismo de autenticação ou controle de sessão, expondo dados de usuários e o painel administrativo para qualquer pessoa na internet.
“Esta descoberta demonstra uma nova classe de risco em IA que vai além dos bugs tradicionais. Trata-se de um viés inerente ao modelo que pode levar à criação de código inseguro de forma sutil e difícil de detectar. A qualidade do código gerado por uma IA não deve variar com base em palavras contextuais irrelevantes”, afirma Adam Meyers, Chefe de Operações Contra Adversários da CrowdStrike. “Este é um alerta para que a indústria desenvolva métodos de teste mais robustos.”
Impacto direto para desenvolvedores e empresas no Brasil
Com 90% dos desenvolvedores utilizando assistentes de IA em alguma etapa do trabalho, o alerta tem repercussão imediata para empresas brasileiras que adotam essas tecnologias para acelerar inovação. A confiança irrestrita em código gerado por IA, sem revisão humana especializada, pode introduzir vulnerabilidades críticas em softwares corporativos, financeiros e governamentais.
A CrowdStrike recomenda que organizações que utilizam LLMs para geração de código adotem auditorias de segurança e testes de penetração de forma contínua, tratando código produzido por IA com o mesmo rigor aplicado a quaisquer bibliotecas ou componentes de terceiros.
