Nos EUA, o CDC (Centros para Controle e Prevenção de Doena§as) compila dados sobre a adoção nacional de vacinas, mas a s vezes os relatórios podem ser atrasados. Pesquisas que medem atitudes e comportamento em relação a s vacinas COVID-19 podem preencher uma lacuna quando háuma defasagem nos dados em tempo real e podem informar as respostas do governo a  epidemia. No entanto, algumas pesquisas divergem substancialmente em seus resultados.

Os autores de um novo artigo publicado na Nature descobriram que em maio de 2021, o rastreador de sintomas COVID-19 da Delphi osFacebook (250.000 respostas por semana) superestimou a absorção da vacina em 17 pontos percentuais, e uma pesquisa do US Census Bureau (75.000 respostas por onda) superestimou a absorção da vacina em 14 pontos percentuais em comparação com as estimativas de referaªncia do CDC.

Esses erros de superestimação va£o muito além da incerteza estata­stica fornecida pelas pesquisas. Uma pesquisa da Axios-Ipsos também superestimou a aceitação, mas em um valor menor (4,2 pontos percentuais em maio de 2021) - apesar de ser a menor pesquisa (cerca de 1.000 respostas por semana). Essas descobertas indicam que maior nem sempre émelhor quando se trata de conjuntos de dados, se deixarmos de levar em conta a qualidade dos dados.

Os autores observam que a absorção da vacina COVID-19 não foi o foco principal de nenhuma das pesquisas. Por exemplo, o Delphi-Facebook pretende medir asmudanças nos comportamentos relacionados ao COVID ao longo do tempo. No entanto, o vianãs nas estimativas de absorção da vacina nas duas grandes pesquisas indica que elas não são representativas da população adulta dos Estados Unidos. A falta de representatividade estata­stica também pode estar causando distorções nos resultados de outras pesquisas que eles sugerem.

A pesquisa apresentada no artigo sugere que as escolhas de design na coleta de dados da pesquisa podem levar a imprecisaµes que não são superadas pela quantidade de amostra; por exemplo, as três pesquisas usam diferentes manãtodos de recrutamento, o que pode introduzir diferentes vieses em suas estimativas. Os autores concluem que os esforços para medir a qualidade dos dados e melhorar a precisão das avaliações de absorção da vacina são necessa¡rios para informar melhor as decisaµes de pola­tica pública.

O coautor Seth Flaxman da Universidade de Oxford, Departamento de Ciência da Computação, comenta, 'O comportamento humano éa chave para a resposta a  pandemia de Covid-19. Quem estãousando ma¡scaras? Eles receberam a mensagem de que Covid estãono ar? Para aqueles que não foram vacinados, quais os motivos que da£o - hesitação, acesso ou falta de informações confia¡veis? As pesquisas são nossa principal fonte de informações para responder a essas perguntas. Mas quando os dados são coletados online, principalmente por meio de aplicativos ma³veis, devemos sempre perguntar: como saber se esses dados são representativos da população?

'Os eleitores de Trump eram notoriamente menos propensos a responder a s pesquisas de opinia£o antes da eleição de 2016 - vemos algo semelhante com aqueles que hesitam em vacinar? Existe uma divisão urbano / rural em termos de acesso a  Internet - e também acesso a vacinas. Quem estãosendo deixado de fora das campanhas de divulgação de vacinas guiadas por pesquisas online?

'Nosso estudo éo primeiro a usar uma referaªncia amplamente dispona­vel - quantas pessoas receberam a vacina Covid-19? - para avaliar a precisão das pesquisas online. Descobrimos que, nos Estados Unidos, as duas maiores pesquisas, do Facebook e do Census Bureau, superestimaram significativamente a absorção da vacina, apesar do enorme tamanho das amostras. Em contraste, uma pesquisa menor da Ipsos foi muito precisa. Maior nem sempre émelhor.

Pesquisas online fornecem uma infinidade de dados sobre tudo, desde sintomas de Covid-19 a escolaridade pessoal e comportamento de distanciamento social. Estamos tentando dar o alarme de que a qualidade dos dados pode ser um grande problema, e mesmo amostras aleata³rias - o padrãoouro para pesquisas - ainda podem ter muitos preconceitos por causa de quem estãodisposto ou écapaz de responder. '

A coautora Valerie Bradley, da Universidade de Oxford, Departamento de Estata­stica, comenta: 'a‰ bem sabido que éimportante ajustar a falta de representatividade em pesquisas tradicionais, mas não háo mesmo senso de urgência em relação ao ajuste de falta de representatividade em geral pesquisas, ou Big Data de forma mais ampla. a‰ fa¡cil cair na ilusão de que o grande tamanho da amostra superara¡ o vianãs devido a  falta de representatividade, quando, na verdade, sabemos que o oposto éverdadeiro - o grande tamanho da amostra na verdade amplia qualquer vianãs na coleta de dados; este éo paradoxo do Big Data.

'Grandes conjuntos de dados, como as pesquisas Facebook-Delphi e Census Household Pulse, ainda podem ser incrivelmente aºteis e podem permitir tipos de análise que são impossa­veis com conjuntos de dados menores, mas ainda requerem controle de qualidade durante a coleta de dados e ajuste cuidadoso depois que os dados são coletados a fim de garantir a precisão das estimativas. '

Xiao-Li Meng, coautor saªnior da Universidade de Harvard, afirma: 'O poder ma¡gico das pesquisas - ser capaz de aprender sobre uma população de centenas de milhões de pessoas a partir de algumas centenas de indivíduos - vem do pressuposto fundamental de ser representativo, muito parecido com uma ou duas colheradas, étudo de que precisamos para determinar o sabor salgado de uma sopa, independentemente do tamanho do recipiente, se mexermos bem a sopa. Mas quando essa suposição de "poa§o agitado" falha, que éo caso da maioria dos dados de ma­dia social porque os usuários não são selecionados aleatoriamente para ingressar em grupos de ma­dia social, podemos mostrar matematicamente que as pesquisas perdera£o essencialmente toda a sua magia.

'Pior, uma grande pesquisa não representativa pode enganar seriamente por causa da falsa confianção criada por seu tamanho, como demonstramos neste artigo - as respostas de 250.000 usuários do Facebook podem nos informar sobre a taxa de vacinação dos EUA com não mais confiabilidade do que 10 indivíduos selecionados aleatoriamente do mesma população. '