Os especialistas da Kaspersky realizaram um teste para saber a capacidade de detecção de links de phishing do ChatGPT. O estudo mostrou que, embora a ferramenta saiba muito sobre o assunto e seja capaz de adivinhar o alvo de ataques, suas taxas de falsos positivos foram altas, de até 64%. Muitas vezes, produziu explicações fantasiosas e evidências falsas para justificar o bloqueio de sites legítimos.
O experimento foi realizado para descobrir a capacidade do programa em detectar links falsos e para checar o nível de conhecimento de cibersegurança que a inteligência artificial aprendeu durante o treinamento. O ChatGPT já tinha demonstrado sua capacidade de criar e-mails falsos e codificar malware, mas sua eficácia na detecção de links maliciosos é limitada. Os especialistas da empresa testaram o gpt-3 . 5-turbo (modelo que aciona o chat) com mais de 2 mil links que as tecnologias antiphishing da Kaspersky consideravam fraudulentos e os misturaram com milhares de URLs verdadeiras.
No teste, as taxas de detecção variaram de acordo como a solicitação foi feita. O experimento foi baseado em duas perguntas: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”. Os resultados mostraram que o ChatGPT teve uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% para a primeira pergunta. Para a segunda pergunta, a taxa de detecção foi maior, de 93,8%, porém os falsos positivos foram mais altas, com uma taxa de 64,3%. Embora o bloqueio seja elevado, os falsos positivos são excessivos em comparação a qualquer sistema de ciberproteção.
Classificação e investigação de ataques com ChatGPT
Como os criminosos costumam mencionar marcas conhecidas em seus links para enganar os usuários, de modo que acreditem que o golpe é real, o modelo de linguagem de IA mostra resultados impressionantes na identificação de possíveis ataques de phishing. Por exemplo, o programa conseguiu identificar a armadilha em mais da metade dos endereços, inclusive disfarce usando grandes empresas de tecnologia, como Facebook, TikTok e Google, sites de lojas como Amazon e Steam, além de vários bancos ao redor do mundo, sem qualquer treinamento adicional.
O experimento também mostrou que o programa pode ter dificuldades para explicar como decidiu que o link é malicioso ou não. Ele apresentou algumas explicações corretas e baseadas em fatos, já outras mostraram limitações conhecidas dos modelos de linguagem, incluindo explicações enganosas:
“Com certeza o ChatGPT mostra potencial para ajudar na detecção de mensagens fraudulentas (phishing), mas suas análises não são verdades absolutas, pois os modelos de linguagem ainda têm suas limitações. Embora estejam em um nível inicial, como um estagiário, em relação a lógica que envolve ataques e identificação de golpes, eles tendem a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais, pouco conhecidas globalmente. Nossa conclusão é que a AI não irá revolucionar o cenário de cibersegurança, mas elas podem ser ferramentas valiosas para otimização de processos e ganho de performance”, comenta Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky.
Para saber mais sobre o experimento, veja o post completo em Securelist.
