O que é análise de anomalias? O que dizem as variações incomuns nos dados
Às vezes uma mudança importante começa antes de se tornar uma grande crise, uma tendência ou um assunto do noticiário.
Uma alta inesperada no volume de conversas, um padrão de interação diferente do habitual, um tema que surge de repente ou um movimento incomum no comportamento dos usuários…
Essas mudanças, pequenas à primeira vista, podem ser os primeiros sinais de algo bem maior.
A análise de anomalias (anomaly detection) é a identificação de movimentos incomuns que se afastam claramente do comportamento normal ou esperado dos dados e o exame das causas dessas variações.
Mas nem todo movimento incomum é importante.
A questão central é esta:
Não se trata de ver o que difere do normal, mas de entender por que difere.
O que é normal?
Para detectar uma anomalia é preciso, antes, compreender o comportamento normal dos dados.
Se uma marca é citada em média 5.000 vezes por dia, 6.000 menções podem ser uma variação comum.
Chegar a 30.000 conversas em poucas horas, porém, é um movimento que merece exame.
E não é apenas o volume que muda.
A distribuição do sentimento, a estrutura da interação, os temas discutidos, o comportamento dos usuários, a velocidade de propagação ou a atividade de determinados atores também podem se afastar do normal.
Por isso uma anomalia nem sempre é um número grande.
Às vezes o que importa é que a estrutura habitual mudou.
Nem todo pico repentino é uma crise
Imaginemos um aumento repentino no volume de conversas.
A causa pode ser uma crise.
Mas uma campanha bem-sucedida, um vídeo viral, uma notícia relevante, a publicação de uma pessoa conhecida ou um acontecimento positivo inesperado podem produzir exatamente o mesmo efeito.
A detecção de anomalias nos diz o seguinte:
Aqui está acontecendo algo diferente do normal.
A análise, por sua vez, faz a pergunta seguinte:
Mas por quê?
É por isso que a análise de anomalias se torna muito mais significativa quando avaliada junto de outras análises: causa raiz, tendência, sentimento e viralidade.
Uma pequena mudança pode ser um grande sinal
Desenvolvimentos importantes nem sempre começam com números grandes.
- Um motivo de reclamação específico pode passar a aparecer um pouco mais do que o habitual.
- O sentimento negativo pode estar subindo dentro de um grupo específico de usuários.
- Uma palavra antes não associada a uma marca ou pessoa pode começar a ser usada junto dela.
- Determinadas contas podem ficar incomumente ativas em torno do mesmo assunto.
Nenhum desses elementos, sozinho, cria um grande assunto.
Avaliados em conjunto, porém, podem trazer os indícios iniciais de uma mudança que se aproxima.
Qual é a diferença entre anomalia e tendência?
- Anomalia
- Um desvio incomum em relação ao comportamento esperado.
- Tendência
- Uma mudança que continua em determinada direção.
Assim, um salto repentino pode ser uma anomalia sem jamais virar tendência.
Em contrapartida, uma mudança pequena mas contínua pode se transformar, com o tempo, em uma tendência forte.
Essa distinção importa, porque para quem decide estas duas frases não significam a mesma coisa:
Aconteceu alguma coisa.
Alguma coisa começou a mudar.
A origem da anomalia também deve ser questionada
Nos dados digitais, nem todo movimento incomum vem do comportamento real dos usuários.
Atividade de bots, conteúdo de spam, publicações coordenadas, mensagens repetidas ou alterações técnicas nos dados também podem gerar anomalias.
Por isso, quando um movimento incomum é detectado, é preciso olhar não só para o seu tamanho, mas também para a estrutura e a confiabilidade dos dados que o produzem.
Caso contrário, um movimento artificial pode ser interpretado como uma mudança social real ou como sinal de crise.
Por que ver cedo é importante?
Quando um acontecimento já alcançou milhões de pessoas, é fácil enxergá-lo.
O valor real está em perceber que um movimento se afasta do normal enquanto ele ainda é pequeno.
Um risco reputacional que se aproxima para uma marca, uma reclamação que cresce para uma instituição, uma percepção que começa a mudar na política, uma nova sensibilidade que sobe na sociedade ou uma nova expectativa que se forma no mercado…
Grandes mudanças quase sempre deixam rastros nos dados antes de acontecer.
Todo mundo vê a mudança depois que ela acontece. A análise tenta captar seus primeiros sinais.