O IBPAD sabe que lidar com dados também envolve muitos mitos e até mesmo algumas falácias. Apesar de parecerem inofensivas, elas podem comprometer seriamente a confiabilidade do nosso trabalho de análise de dados, nossos trabalhos e entregas. Pensando nisso, decidimos traduzir um conteúdo do Geckoboard sobre esse assunto, das “Falácias estatísticas”. Esta é mais uma iniciativa do IBPAD para tornar conteúdos e discussões acessíveis ao público brasileiro e demais interessados em assuntos envolvendo ciência de dados. Agradecemos gentilmente à equipe do Geckoboard pela permissão para a publicação da tradução.
O conteúdo original, incluindo o pôster completo, pode ser acessado por aqui. Todas as imagens neste post têm direitos reservados à Geckoboard. Boa leitura para todas(os)!
Falácias estatísticas e como evitá-los:
Falácias estatísticas são truques comuns que os dados podem fazer com você e que levam a erros na interpretação e na análise dos dados. Veja algumas falácias comuns com exemplos da vida real e descubra como você pode evitá-las.
1) Apanhador de Cerejas
Em primeiro ligar, esta é a prática de selecionar resultados que se encaixam em sua afirmação e excluir aqueles que não se enquadram. É o pior e mais prejudicial exemplo de ser desonesto com dados.
Ao apresentar um case, os dados adicionam peso – seja um estudo, experimento ou algo que você leu. No entanto, as pessoas geralmente destacam apenas os dados que apoiam sua defesa, em vez de todo o corpo de resultados. É predominante no debate público e na política, onde dois lados podem apresentar dados que apoiam sua posição. A colheita da cereja pode ser deliberada ou acidental. Normalmente, quando você está recebendo dados de segunda mão, há uma oportunidade para alguém escolher quais dados compartilhar para distorcer a verdade para qualquer opinião que eles estão vendendo. Quando estiver a receber estes dados, é importante se perguntar: ‘O que não estou a me informar a respeito?’.
2) Dragagem de Dados
A dragagem de dados é o não reconhecimento de que a correlação foi, na verdade, resultado do acaso.
Os testes de significância estatística só funcionam se você definiu sua hipótese antecipadamente. Historicamente esse tem sido um problema com os ensaios clínicos em que os pesquisadores “drenaram” seus resultados e trocaram o que estavam testando. Isso explica por que tantos resultados publicados em revistas científicas foram posteriormente provados como errados. Para evitar isso, existem agora uma prática padrão registrar ensaios clínicos, declarando com antecedência qual é a sua principal medida de desfecho.
3) Viés de sobrevivência
Quando tiramos conclusões de um conjunto incompleto de dados porque esses dados ‘sobreviveram’ a alguns critérios de seleção.
Ao analisar dados, é importante se perguntar quais dados você não possui. Às vezes, a imagem completa é obscurecida porque os dados que você conseguiu sobreviveram a uma seleção de algum tipo. Por exemplo, na Segunda Guerra Mundial perguntou-se a uma equipe qual era o melhor lugar para colocar a armadura em um avião. Os aviões que voltaram da batalha tinham buracos de bala em todos os lugares, exceto no motor e na cabine. A equipe decidiu que era melhor colocar a blindagem onde não houvesse buracos de bala, porque os tiros de aviões nesses locais não haviam retornado.
4) Efeito Cobra
É quando um incentivo produz o resultado oposto pretendido. Também conhecido como Incentivo Perverso.
Nomeado a partir de uma lenda histórica, o Efeito Cobra ocorre quando um incentivo para resolver um problema cria consequências negativas não intencionais. Dizem que em 1800 o Império Britânico queria reduzir as mortes por picadas de cobra na Índia. Eles ofereceram um incentivo financeiro para cada pele de cobra trazida a eles para motivar a caça do animal. Mas, em vez disso, as pessoas começaram a cultivá-los. Quando o governo percebeu que o incentivo não estava funcionando, eles o removeram para que os fazendeiros de cobras soltassem suas cobras, aumentando a população. Ao definir incentivos ou metas, certifique-se de não encorajar acidentalmente o comportamento errado.
5) Falácias Estatísticas da Falsa Causalidade
Presumir falsamente quando dois eventos ocorrem juntos que um deles deve ter causado o outro.
As temperaturas globais aumentaram constantemente nos últimos 150 anos e o número de piratas diminuiu em uma taxa comparável. Ninguém alegaria razoavelmente que a redução do número de piratas causou o aquecimento global ou que mais piratas a reverteram. Mas isso geralmente não é tão claro. Frequentemente as correlações entre duas coisas nos levam a acreditar que uma causou a outra. No entanto, muitas vezes é uma coincidência ou existe um terceiro fator causando os dois efeitos que você está vendo. Em nosso exemplo dos piratas e do aquecimento global, a causa de ambos é a industrialização. Nunca assuma a causalidade apenas por causa da correlação – sempre reúna mais evidências.
6) Gerrymandering
A prática de manipular deliberadamente os limites dos distritos políticos para influenciar o resultado de uma eleição.
Em muitos sistemas políticos, é possível manipular a probabilidade de um partido ser eleito em detrimento de outra redefinição aos distritos políticos, ao mesmo tempo, incluir mais áreas rurais em um distrito para prejudicar o partido que é mais popular nas cidades, etc. Um fenômeno semelhante conhecido como Área Modificável. O problema da unidade (MAUP) pode ocorrer durante a análise de dados. Como você define as áreas para agregar seus dados – por exemplo, o que você define como “condados do norte” – pode mudar o resultado. A escala usada para agrupar dados também pode ter um grande impacto. Os resultados podem variar muito, seja usando códigos postais, condados ou estados.
7) Viés de amostragem
Tirar conclusões de um conjunto de dados que não é representativo da população que você está tentando entender.
Um problema clássico nas pesquisas eleitorais, onde as pessoas que participam de uma pesquisa não são representativas da população total, seja devido à auto seleção ou preconceito dos analistas. Só para exemplificar, um ocorrido famoso em 1948, quando o The Chicago Tribune previu erroneamente, com base em uma pesquisa por telefone que Thomas E. Dewey, que se tornaria o próximo presidente dos Estados Unidos. Em contrapartida, eles não haviam considerado que apenas um determinado grupo demográfico poderia pagar por telefones, excluindo segmentos inteiros da população de sua pesquisa. Certifique-se de considerar se os participantes de sua pesquisa são verdadeiramente representativos e não estão sujeitos a algum viés de amostragem.
8) Falácia do apostador
A crença errônea de que se algo aconteceu com mais frequência do que o normal, agora é menos provável que aconteça no futuro e vice-versa.
Isso também é conhecido como a falácia de Monte Carlo por causa de um exemplo infame que ocorreu em uma mesa de roleta em 1913. A bola caiu na área preta 26 vezes consecutivas e os jogadores perderam milhões apostando contra o preto, supondo que a sequência iria terminar. No entanto, a chance da parte preto é sempre a mesma que a vermelha, independentemente do que aconteceu no passado, porque a probabilidade subjacente permanece inalterada. Sobretudo, uma mesa de roleta não tem memória. Quando tentado(a) por essa falácia, lembre-se de que não há força retificadora no universo para ‘equilibrar as coisas’!
9) Regressão em direção à média
Quando acontece algo que é excepcionalmente bom ou ruim, com o tempo, ele voltará à média.
[/vc_row]
Em qualquer lugar em que a chance aleatória desempenhe um papel no resultado, você provavelmente verá uma regressão em direção à média. Por exemplo, o sucesso nos negócios costuma ser uma combinação de habilidade e sorte. Isso significa que as empresas de melhor desempenho hoje provavelmente estarão muito mais próximas da média em 10 anos, não por incompetência, mas porque hoje elas provavelmente estão se beneficiando de uma série de boa sorte – como ganhar um duplo seis repetidamente ao jogar dados.
10) Efeito Hawthorne
Quando o ato de monitorar alguém pode afetar o comportamento dessa pessoa. Também conhecido como Efeito Observador.
Na década de 1920, na Hawthorne Works, uma fábrica de Illinois, um experimento de ciências sociais levantou a hipótese de que os trabalhadores se tornariam mais produtivos após várias mudanças em seu ambiente, como horas de trabalho, níveis de iluminação e intervalos. No entanto, descobriu-se que o que realmente motivava a produtividade dos trabalhadores era alguém se interessando por eles. Em síntese, vale lembrar que, ao usar sujeitos de pesquisa humanos, é importante analisar os dados resultantes, levando em consideração o Efeito Hawthorne.
11) Paradoxo de Simpson
Um fenômeno no qual uma tendência aparece em diferentes grupos de dados, mas desaparece ou reverte quando os grupos são combinados.
Na década de 1970, a Universidade de Berkeley foi acusada de sexismo, porque as candidatas eram menos aceitas do que os homens. Contudo, ao tentar identificar a origem do problema, eles descobriram que para as disciplinas individuais as taxas de aceitação eram geralmente melhores para as mulheres do que para os homens. Desse modo, o paradoxo foi causado por uma diferença nos assuntos em que homens e mulheres estavam se candidatando. Na qual, houve uma proporção maior de candidatos do sexo feminino, se inscrevendo em disciplinas altamente competitivas, onde as taxas de aceitação eram muito mais baixas para ambos os sexos.
12) Falácias Estatísticas da McNamara
Em seguida, a Falácia de McNamara: Onde depender apenas de métricas em situações complexas pode fazer com que você perca de vista o quadro geral…
Nomeado em homenagem a Robert McNamara, o Secretário de Defesa dos EUA (1961-1968), que acreditava que a verdade só poderia ser encontrada nos dados e no rigor estatístico. Em suma, esta falácia se refere à sua abordagem de considerar a contagem dos corpos do inimigo como a medida do sucesso na Guerra do Vietnã. Ficar obcecado com isso significava que outras percepções relevantes, como a mudança de humor do público dos EUA e os sentimentos do povo vietnamita, foram amplamente ignoradas. Ou seja, ao analisar fenômenos complexos, muitas vezes somos forçados a usar uma métrica como proxy para o sucesso. Portanto, é arriscado otimizar dogmaticamente para algum número e ignorar todas as outras informações.
13) Falácias Estatísticas Sobre ajuste
Uma explicação mais complexa geralmente descreve seus dados melhor do que uma simples. No entanto, uma explicação mais simples geralmente é mais representativa do relacionamento subjacente.
Ao olhar para os dados, você vai querer entender quais são as relações subjacentes. Para fazer isso, você cria um modelo que os descreve matematicamente. Neste caso, o problema é que um modelo mais complexo se ajustará melhor aos seus dados iniciais do que um simples. No entanto, eles tendem a ser muito frágeis: funcionam bem para os dados que você já possui, mas é demasiadamente difícil para variações aleatórias. Portanto, assim que você adiciona mais dados, eles se quebram. Modelos mais simples são geralmente mais robustos e melhores em prever tendências futuras.
14) Viés de publicação
O quão interessante é uma descoberta de pesquisa, cuja probabilidade de ela ser publicada, distorce nossa impressão da realidade.
Para cada estudo que mostra resultados estatisticamente significativos, pode ter existido muitos testes semelhantes que foram inconclusivos. No entanto, resultados significativos são mais interessantes para ler e, portanto, mais propensos a serem publicados. Não saber quantos estudos “enfadonhos” foram arquivados afeta nossa capacidade de julgar a validade dos resultados sobre os quais lemos. Ou seja, quando uma empresa afirma que uma determinada atividade teve um grande impacto positivo no crescimento, outras empresas podem ter tentado a mesma coisa sem sucesso, então não falam sobre isso.
15) Perigo de métricas resumidas
Pode ser enganoso olhar apenas para as métricas resumidas dos conjuntos de dados.
Por fim, para demonstrar mais um efeito das falácias estatísticas, – o estatístico Francis Anscombe reuniu quatro conjuntos de dados como exemplos na década de 1970. Conhecido como Quarteto de Anscombe, cada conjunto de dados tem a mesma média, variância e correlação. Isto é, quando representado graficamente, fica claro que cada um dos conjuntos de dados é totalmente diferente, neste caso um claro indicador de falácias estatísticas. Em síntese, o que Anscombe queria destacar é que a forma dos dados é tão importante quanto as métricas de resumo e não pode ser ignorada na análise.
Notas da tradução
(1) Decidimos por “apanhador de cerejas” em vez da tradução do original “Cherry Picking”, como forma de enfatizar a atuação do(a) pesquisador(a).
