O que é análise baseada em evidências? Não acreditar numa conclusão, mas ver o seu fundamento

Uma análise pode apresentar-lhe uma conclusão forte.

Mas porque deveria confiar nessas conclusões?

Na análise o essencial não é apenas chegar a uma conclusão. É poder mostrar em que dados, relações e achados essa conclusão assenta.

A análise baseada em evidências é uma abordagem assente em sustentar as conclusões apresentadas com dados e achados examináveis, e em estabelecer com clareza a ligação entre a interpretação e o seu fundamento.

Uma conclusão por si só não é evidência

Indicar num relatório que a perceção negativa está a subir é uma conclusão.

Mas para quem decide há outras perguntas por trás:

• Que dados sustentam esta conclusão?
• Quando começou a mudança?
• Junto de que temas ocorreu?
• Que conteúdos ou acontecimentos tiveram efeito?
• Em que públicos é mais marcada?
• A conclusão assenta em dados suficientes e fiáveis?

Sem respostas a estas perguntas, a análise pode facilmente reduzir-se a uma mera opinião.

Dado → Achado → Conclusão

Numa análise sólida é importante separar estas três etapas.

O dado

Constitui a realidade observada.

O achado

A mudança ou relação significativa que emerge do exame do dado.

A conclusão

A interpretação alcançada ao avaliar esses achados em conjunto.

Por exemplo:

O aumento rápido das conversas negativas sobre um tema em três dias é um dado.

O facto de esse aumento ter começado logo após um acontecimento concreto e se ter concentrado em torno de uma crítica determinada é um achado.

Avaliar que esse acontecimento foi um fator importante na mudança de perceção é a conclusão.

A abordagem baseada em evidências faz questão de que esta cadeia permaneça rastreável.

Correlação não é o mesmo que evidência

Dois acontecimentos ocorrerem ao mesmo tempo não significa que exista necessariamente uma relação de causa e efeito entre eles.

Enquanto a perceção de uma marca desce, a visibilidade de outro acontecimento pode ter crescido no mesmo período.

Que estes dois desenvolvimentos coincidam é importante; mas por si só não prova que um causou o outro.

Por isso, na análise, o momento, o contexto, a estrutura dos dados, os fatores relacionados e as explicações alternativas devem ser avaliados em conjunto.

Podemos confiar no próprio dado?

A análise baseada em evidências não questiona apenas a conclusão.

Questiona também o dado usado como evidência.

Ver um grande volume de conversa no ambiente digital não significa necessariamente que esteja a decorrer um amplo movimento social.

Contas automatizadas, conteúdo spam, publicações repetidas, comportamentos coordenados ou interações artificiais podem alterar o quadro.

Existem, portanto, duas perguntas distintas:

Confiar na primeira sem colocar a segunda é arriscado.

A análise deve ser verificável

Dizer a quem decide apenas «o sistema di-lo» não chega.

Sobretudo quando estão em jogo decisões políticas, institucionais ou estratégicas, é preciso poder compreender porque surgiu uma conclusão.

• Que mudança foi observada?
• Que achados a sustentam?
• Que fatores influenciam o resultado?
• Quão fiáveis são os dados?
• É possível outra explicação?

Estas perguntas tornam a análise não só mais completa, mas mais questionável e mais fiável.

Na era da IA, a evidência importa ainda mais

Os sistemas de inteligência artificial podem processar grandes quantidades de dados rapidamente e produzir conclusões complexas.

Mas uma conclusão ser produzida depressa não a torna automaticamente correta.

Por isso, nos sistemas de análise do futuro, não importa apenas a pergunta «A que conclusão chegou?», mas

Esta pergunta é cada vez mais importante.

Porque uma análise sólida não oferece a quem decide apenas uma resposta.

Mostra também porque se pode confiar nela.

Não acredite numa conclusão. Veja a sua evidência.