Simulações tradicionais de phishing funcionam? Entenda por que, na verdade, as métricas de clique podem colocar a sua segurança em jogo

Seja por exigências de compliance ou por uma preocupação legítima com a cibersegurança, grande parte das empresas já disparou algum tipo de simulação tradicional de phishing. Em geral, ela chega na forma de um e-mail com uma promoção atraente, uma solicitação urgente ou uma mensagem alarmante.

Embora essas iniciativas tenham como objetivo reduzir riscos, elas também podem produzir o efeito contrário. Quando mal planejadas, simulações de phishing podem comprometer a confiança entre colaboradores, equipes de segurança e a própria instituição.

Quando o “treinamento” vira problema

Uma simulação de phishing mal executada pode provocar uma quebra profunda de confiança.

Um caso emblemático ocorreu em 2023, quando uma universidade da Califórnia realizou uma simulação de phishing com o assunto: “Notificação de Emergência: Caso de Ebola no Campus”.

Embora se tratasse apenas de um teste, a mensagem provocou pânico entre alunos e funcionários. A repercussão foi tão negativa que a equipe de TI precisou se retratar publicamente.

O episódio mostra como uma simulação pode ultrapassar os limites da conscientização e causar danos reais. Ao explorar um tema sensível e alarmante, a instituição não apenas gerou medo, mas também colocou em risco a credibilidade de futuras comunicações de emergência.

Afinal, quando mensagens institucionais são usadas como armadilhas, as pessoas podem passar a questionar se devem confiar nelas quando uma situação verdadeira ocorrer.

O problema das métricas tradicionais

Nos testes tradicionais de phishing, os resultados costumam se resumir a duas categorias: quem clicou e quem não clicou no e-mail. Isoladamente, porém, essas métricas dizem pouco sobre o nível real de preparo de uma organização.

As taxas de clique mede o preparo dos colaboradores?

Não necessariamente. Durante muito tempo, indicadores como taxa de clique, conclusão de treinamentos e visualização de páginas educativas foram tratados como sinais de maturidade. Isoladamente, porém, eles registram apenas eventos pontuais, e não a capacidade real dos colaboradores de reconhecer, interpretar e responder a uma tentativa de phishing.

A taxa de cliques, muitas vezes usada como principal ou até única métrica em programas de segurança, mede apenas uma reação específica diante de uma mensagem específica. Dependendo do tema, do momento do envio e do modelo utilizado, os resultados podem variar drasticamente.

Em um estudo conduzido pela UC San Diego e pela University of Chicago, diferentes simulações apresentaram taxas médias de falha muito distintas. Enquanto mensagens sobre atualização de senha do Outlook e login de conta ficaram abaixo de 2%, uma campanha relacionada à política de férias chegou a 30,8%.

Isso significa que a taxa de clique pode revelar mais sobre o apelo emocional, a relevância ou o contexto de determinado e-mail do que sobre o preparo real dos colaboradores. Uma pessoa que não clicou em uma simulação e foi considerada “consciente” pode reagir de maneira diferente diante de outra mensagem, especialmente quando o conteúdo for mais convincente, urgente ou próximo de sua rotina.

O treinamento apresentado após o clique é eficaz?

Nem sempre. Estudos recentes questionam a eficácia dos treinamentos apresentados após o clique em uma simulação de phishing. Na prática, seu impacto pode ser bem menor do que muitas empresas presumem.

Uma pesquisa da ETH Zurich acompanhou mais de 14 mil colaboradores ao longo de 15 meses e analisou o efeito dos conteúdos educativos exibidos após o clique. O estudo concluiu que esse tipo de treinamento, quando oferecido de forma isolada, não garante que o usuário esteja mais preparado para reconhecer futuras tentativas de phishing. Em muitos casos, os participantes continuaram vulneráveis e, em determinados cenários, apresentaram até maior probabilidade de cair em novos testes.

Outro estudo, realizado com mais de 19,5 mil funcionários da UC San Diego Health, chegou a uma conclusão semelhante. Segundo a pesquisa, formatos tradicionais de treinamento antiphishing, incluindo simulações não anunciadas, não demonstraram impacto prático significativo na redução dos riscos. Entre os motivos apontados está o baixo nível de interação dos usuários com os materiais educativos apresentados após o teste.

Os resultados reforçam uma lição importante: treinamento sem contexto e sem engajamento dificilmente se transforma em aprendizado. Quando o conteúdo aparece apenas como uma consequência do clique, o usuário pode até visualizar a orientação, mas não necessariamente entende por que aquela informação é relevante, quais sinais deixou de perceber ou como aplicar esse conhecimento diante de uma ameaça futura.

Quem não clicou está realmente preparado?

Não necessariamente. Uma taxa elevada de pessoas que não clicaram, por exemplo, não significa necessariamente que a empresa esteja mais segura. É possível que os funcionários estivessem ocupados demais para abrir a mensagem, que parte da equipe já soubesse da realização do teste ou, simplesmente, que o tema usado na simulação não despertasse interesse.

Em outras palavras, não clicar nem sempre é resultado de uma decisão consciente. Sem compreender o contexto e o comportamento por trás da ação, a organização corre o risco de transformar uma métrica superficial em uma falsa sensação de segurança.

Nos últimos anos, o Google deixou de aplicar testes de phishing em seu formato tradicional. Em seu blog oficial, a empresa explicou que conscientizar os colaboradores em ciberseguranças continua sendo uma prática essencial, mas que esse processo não precisa ser conduzido de forma confrontativa.

Como resume o texto "On Fire Drills and Phishing Tests”, não há benefício em criar uma dinâmica baseada em “pegar” pessoas falhando. A mudança de abordagem reforça uma ideia importante: mais relevante do que medir quem caiu na armadilha é avaliar se as pessoas sabem reconhecer, reportar e responder adequadamente a uma ameaça.

Afinal, como medir corretamente a eficácia de uma simulação de phishing?

Para medir corretamente o preparo dos colaboradores contra ataques de phishing, não basta analisar quantas pessoas clicaram ou deixaram de clicar em uma mensagem. Uma avaliação eficaz deve verificar se os usuários conseguem reconhecer sinais de perigo, explicar suas decisões, reportar mensagens suspeitas e aplicar esse conhecimento em diferentes contextos. Em outras palavras, a organização precisa medir a mudança de comportamento, e não apenas eventos isolados.

Métrica 1: quais sinais de phishing foram percebidos (e quais não foram)?

Uma boa simulação deve verificar se o usuário consegue identificar os elementos que tornam uma mensagem suspeita. Entre esses sinais podem estar:

• pedidos urgentes ou ameaçadores
• remetentes ou domínios inconsistentes
• links suspeitos
• solicitações incomuns de credenciais
• erros de linguagem ou formatação
• ofertas excessivamente atraentes
• pedidos que fogem dos processos habituais da organização

Mais importante do que saber se o usuário clicou é entender quais sinais ele percebeu e quais deixou passar.

Métrica 2: como o usuário justifica sua decisão?

O colaborador não deve apenas classificar uma mensagem como legítima ou maliciosa. Ele também deve explicar por que chegou àquela conclusão.

Essa justificativa permite avaliar se a decisão foi baseada em conhecimento, intuição, desconfiança genérica ou acaso. Também ajuda a identificar lacunas específicas de aprendizado.

Uma pessoa pode acertar a resposta sem compreender os sinais da ameaça. Da mesma forma, pode errar mesmo tendo identificado parte dos indícios. Sem essa camada de análise, a organização enxerga apenas o resultado final, e não o raciocínio que levou até ele.

Métrica 3: o que o usuário faz após receber uma mensagem suspeita?

Reconhecer um phishing é apenas uma parte da resposta. O colaborador também precisa saber o que fazer em seguida. Uma avaliação completa deve observar se o usuário:

• reporta a mensagem pelo canal correto;
• evita encaminhar o conteúdo de forma insegura;
• comunica rapidamente a equipe responsável;
• segue os procedimentos definidos pela organização.

A capacidade de reportar uma ameaça pode ser mais valiosa para a segurança coletiva do que simplesmente não clicar.

Métrica 4: como o usuário se comporta ao longo do tempo?

Uma única simulação não é suficiente para determinar se uma pessoa está preparada. O desempenho pode variar conforme o tema, o nível de dificuldade, o contexto e o momento em que a mensagem é apresentada. Por isso, a avaliação deve acompanhar a evolução dos colaboradores em diferentes cenários.

Entre as métricas mais relevantes estão:

• sinais reconhecidos corretamente
• qualidade das justificativas
• taxa de denúncias
• tempo de resposta
• tipos de ameaça com maior índice de dificuldade
• redução de erros recorrentes
• evolução individual e coletiva ao longo do tempo

O objetivo não deve ser descobrir quem “caiu na armadilha”, mas identificar se as pessoas estão desenvolvendo repertório para tomar decisões melhores diante de ameaças reais.

PhishOS: uma nova abordagem para simulações de phishing

Com base nesses princípios, a Hacker Rangers desenvolveu o PhishOS, um simulador avançado criado para ir além da simples contagem de cliques. A solução é fundamentada na NIST Phish Scale, metodologia desenvolvida pelo National Institute of Standards and Technology para avaliar os sinais presentes em mensagens de phishing e o nível de dificuldade de cada simulação.

No PhishOS, os usuários vão além de classificar uma mensagem como legítima ou maliciosa. Eles também precisam justificar sua decisão e identificar os sinais que embasam essa análise. Assim, a plataforma não registra apenas o resultado final. Ela permite que os gestores compreendam o raciocínio de cada participante, identifiquem padrões de comportamento e reconheçam com mais precisão as principais lacunas de conhecimento da equipe.

O que o PhishOS mede?

O PhishOS permite avaliar:

• se o usuário reconhece uma tentativa de phishing
• quais sinais de perigo foram identificados
• quais indícios passaram despercebidos
• como o usuário justifica sua decisão
• quais tipos de mensagem geram mais dificuldade
• como o desempenho evolui ao longo do tempo.

Em vez de apresentar o treinamento como uma atividade punitiva ou burocrática, o PhishOS transforma cada simulação em uma experiência gamificada e contextualizada. Os usuários analisam cenários práticos, tomam decisões, acumulam pontos pelas respostas corretas e recebem reconhecimento imediato pelo desempenho.

Quando erram, também recebem feedback instantâneo sobre os sinais que deixaram passar, por que a mensagem representava um risco e como poderiam agir de forma mais segura em uma situação semelhante. Assim, o aprendizado acontece no momento da decisão, quando o contexto ainda está claro para o participante.

Com essa abordagem, a simulação deixa de ser apenas um teste e se torna uma oportunidade prática de desenvolvimento. Os colaboradores fortalecem sua capacidade de reconhecer ameaças em um ambiente seguro, enquanto os gestores acompanham padrões de comportamento, dificuldades recorrentes e a evolução da equipe ao longo do tempo.

Da contagem de cliques ao desenvolvimento de competências

Simulações de phishing não devem servir apenas para testar, punir ou surpreender colaboradores. Elas devem ajudar as pessoas a compreender como os ataques funcionam e a tomar decisões mais seguras.

Isso exige uma mudança de foco: sair de métricas isoladas, como a taxa de cliques, e passar a medir competências reais, como reconhecimento, interpretação, justificativa, denúncia e evolução.

Com o PhishOS, as organizações transformam simulações de phishing em experiências educativas, contextualizadas e realmente mensuráveis, tudo dentro de um ambiente controlado e 100% seguro. Solicite uma demonstração e conheça, na prática, uma nova forma de desenvolver o preparo dos colaboradores contra ameaças reais.