Tecnologia Científica

Estatísticos de Stanford e cientistas de dados do Washington Post constroem modelos de previsão mais honestos
Um novo modelo estatístico construído com base na pesquisa de Stanford gera previsões com mais nuances para eventos complicados. O Washington Post executou esse modelo durante a eleição presidencial de 2020 e planeja usá-lo em futuros pleitos
Por Taylor Kubota - 21/03/2021

Em 3 de novembro de 2020 - e por muitos dias depois - milhões de pessoas ficaram de olho nos modelos de previsão das eleições presidenciais veiculados por vários meios de comunicação. Com apostas tão altas em jogo, cada tique de uma contagem e contração de um gráfico poderia enviar ondas de choque de superinterpretação.

Silhuetas sobrepostas de vermelho e azul de pessoas votando nas eleições dos EUA
Um modelo de previsão desenvolvido pelo The Washington Post para as eleições
presidenciais em 2020 aplicou a pesquisa estatística de Stanford. O modelo destacou
as incertezas que existem nas previsões dos resultados das
votações. (Crédito da imagem: Getty Images)

Um problema com as contagens brutas da eleição presidencial é que elas criam uma narrativa falsa de que os resultados finais ainda estão se desenvolvendo de forma drástica. Na verdade, na noite da eleição não há “recuperação por trás” ou “perda da liderança” porque os votos já foram lançados; o vencedor já ganhou - só não sabemos ainda. Mais do que meramente imprecisas, essas descrições fascinantes do processo de votação podem fazer os resultados parecerem excessivamente suspeitos ou surpreendentes.

“Modelos preditivos são usados ​​para tomar decisões que podem ter consequências enormes para a vida das pessoas”, disse Emmanuel Candès , o Presidente Barnum-Simons de Matemática e Estatística da Escola de Humanidades e Ciências da Universidade de Stanford. “É extremamente importante entender a incerteza sobre essas previsões, para que as pessoas não tomem decisões com base em crenças falsas.”

Essa incerteza era exatamente o que o cientista de dados Lenny Bronner (BS '16, MS '17) do The Washington Post pretendia destacar em um novo modelo de previsão que começou a desenvolver para as eleições locais da Virgínia em 2019 e a refinar ainda mais para as eleições presidenciais, com a ajuda de John Cherian (BS '17, MS '17), um atual estudante de doutorado em estatística em Stanford que Bronner conhecia de seus estudos de graduação.

“O modelo realmente tratava de adicionar contexto aos resultados que estavam sendo mostrados”, disse Bronner. “Não se tratava de prever a eleição. Tratava-se de dizer aos leitores que os resultados que eles estavam vendo não refletiam onde pensávamos que a eleição iria terminar. ”

Este modelo é a primeira aplicação no mundo real de uma técnica estatística existente desenvolvida em Stanford por Candès, o ex-bolsista de pós-doutorado Yaniv Romano e o ex-aluno de graduação Evan Patterson. A técnica é aplicável a uma variedade de problemas e, como no modelo de predicação de Post , pode ajudar a elevar a importância da incerteza honesta na previsão. Enquanto o Post continua a ajustar seu modelo para futuras eleições, Candès está aplicando a técnica subjacente em outro lugar, incluindo dados sobre COVID-19.

Evitando suposições

Para criar essa técnica estatística, Candès, Romano e Evan Patterson combinaram duas áreas de pesquisa - regressão quantílica e predição conformada - para criar o que Candès chamou de “o intervalo de valores preditos mais informativo e bem calibrado que eu sei construir”.

Enquanto a maioria dos modelos de previsão tenta prever um único valor, geralmente a média (média) de um conjunto de dados, a regressão quantílica estima uma gama de resultados plausíveis. Por exemplo, uma pessoa pode querer encontrar o quantil 90, que é o limite abaixo do qual o valor observado deve cair 90 por cento do tempo. Quando adicionada à regressão de quantis, a predição conformada - desenvolvida pelo cientista da computação Vladimir Vovk - calibra os quantis estimados para que sejam válidos fora de uma amostra, como para dados até então não vistos. Para o modelo de eleição do Post , isso significava usar os resultados da votação de áreas demograficamente semelhantes para ajudar a calibrar as previsões sobre os votos que estavam pendentes.

O que há de especial nessa técnica é que ela começa com suposições mínimas incorporadas às equações. Para funcionar, no entanto, ele precisa começar com uma amostra representativa de dados. Isso é um problema para a noite da eleição porque as contagens de votos iniciais - geralmente de pequenas comunidades com mais votação pessoal - raramente refletem o resultado final.

Sem acesso a uma amostra representativa dos votos atuais, Bronner e Cherian tiveram que adicionar uma suposição. Eles calibraram seu modelo usando as contagens de votos das eleições presidenciais de 2016 para que, quando uma área relatasse 100 por cento de seus votos, o modelo do Post assumisse que quaisquer mudanças entre os votos de 2020 daquela área e seus votos de 2016 seriam igualmente refletidos em similar condados. (O modelo então se ajustaria ainda mais - reduzindo a influência da suposição - conforme mais áreas relatassem 100 por cento de seus votos.) Para verificar a validade deste método, eles testaram o modelo com cada eleição presidencial, começando em 1992, e descobriram que suas previsões coincidiram de perto com os resultados do mundo real.

“O que é bom em usar a abordagem de Emmanuel para isso é que as barras de erro em torno de nossas previsões são muito mais realistas e podemos manter suposições mínimas”, disse Cherian.

Visualizando a incerteza

Em ação, a visualização do modelo ao vivo do Post foi cuidadosamente projetada para exibir de forma proeminente as barras de erro e a incerteza que elas representavam. O Post executou o modelo para prever a gama de resultados eleitorais prováveis ​​em diferentes estados e tipos de condado; condados foram categorizados de acordo com seus dados demográficos. Em todos os casos, cada nomeado tinha sua própria barra horizontal preenchida em sólido - azul para Joe Biden, vermelho para Donald Trump - para mostrar os votos conhecidos. Então, o resto da barra continha um gradiente que representava os resultados mais prováveis ​​para os votos pendentes, de acordo com o modelo. A área mais escura do gradiente era o resultado mais provável.


Captura de tela do modelo eleitoral do The Washington Post , mostrando a previsão de
votação para a Pensilvânia em 4 de novembro de 2020. (Crédito da imagem:
cortesia do The Washington Post)

“Conversamos com pesquisadores sobre a visualização da incerteza e aprendemos que se você der a alguém uma previsão média e depois dizer quanta incerteza está envolvida, eles tendem a ignorar a incerteza”, disse Bronner. “Então fizemos uma visualização que é muito 'incerteza para a frente'. Queríamos mostrar, essa é a incerteza e nem vamos dizer qual é a nossa previsão média. ”

À medida que a noite da eleição avançava, a parte mais escura do gradiente de Biden na visualização do voto total estava mais para o lado direito da barra, o que significava que o modelo previu que ele acabaria com mais votos. Seu gradiente também era mais amplo e se espalhava assimetricamente em direção ao lado mais votado da barra, o que significava que o modelo previa que haveria muitos cenários, com chances decentes, em que ele ganharia mais votos do que o número mais provável.

“Na noite da eleição, notamos que as barras de erro eram muito curtas no lado esquerdo da barra de Biden e muito longas no lado direito”, disse Cherian. “Isso acontecia porque Biden tinha muitas vantagens para, potencialmente, superar nossa projeção de forma substancial e ele não tinha tantas desvantagens”. Essa previsão assimétrica foi uma consequência da abordagem de modelagem particular usada por Cherian e Bronner. Como as previsões do modelo foram calibradas usando resultados de condados demograficamente semelhantes que terminaram de relatar seus votos, ficou claro que Biden tinha uma boa chance de superar significativamente o voto democrata de 2016 em condados suburbanos, embora fosse extremamente improvável que ele tivesse um desempenho pior.

Claro, conforme a contagem de votos se encaminhava para o final, os gradientes encolheram e as previsões incertas do Post pareciam cada vez mais certas - uma situação desesperadora para cientistas de dados preocupados em exagerar tais conclusões importantes.

“Eu estava particularmente preocupado que a corrida caísse para um estado, e nós teríamos uma previsão em nossa página por dias que acabou não se concretizando”, disse Bronner.

E essa preocupação foi bem fundada porque o modelo previu forte e teimosamente uma vitória de Biden por vários dias, à medida que a contagem final dos votos chegava não de um estado, mas de três: Wisconsin, Michigan e Pensilvânia.

“Ele acabou vencendo esses estados, então isso acabou funcionando bem para o modelo”, acrescentou Bronner. “Mas na época era muito, muito estressante.”

Seguindo seu compromisso com a transparência, Bronner e Cherian também divulgaram o código em seu modelo eleitoral, para que as pessoas pudessem executá-lo por conta própria. Eles também publicaram relatórios técnicos sobre seus métodos (disponíveis para download aqui ). O modelo será executado novamente durante as eleições estaduais da Virgínia este ano e as eleições de meio de mandato em 2022.

“Queríamos tornar tudo público. Queremos que esta seja uma conversa com pessoas que se preocupam com eleições e pessoas que se preocupam com dados ”, disse Bronner.

Forçando a honestidade

O panorama da Candès é como o trabalho estatístico honesto e transparente pode contribuir para resultados mais razoáveis ​​e éticos no mundo real. Afinal, as estatísticas são fundamentais para a inteligência artificial e os algoritmos, que estão presentes em nossa vida cotidiana. Eles orquestram nossos resultados de pesquisa, experiência em mídia social e sugestões de streaming, ao mesmo tempo que são usados ​​em ferramentas de tomada de decisão em assistência médica, admissões em universidades, sistema judiciário e bancário. O poder - e a onipotência percebida - dos algoritmos incomoda Candès.

Modelos como o que o Post usou podem abordar algumas dessas questões. Começando com menos suposições, o modelo fornece uma avaliação mais honesta - e mais difícil de ignorar - da incerteza em torno de suas previsões. E modelos semelhantes podem ser desenvolvidos para uma ampla variedade de problemas de previsão. Na verdade, Candès está atualmente trabalhando em um modelo, construído na mesma técnica estatística do modelo eleitoral de Post , para inferir os tempos de sobrevivência após contratar COVID-19 com base em fatores relevantes como idade, sexo e comorbidades.

O problema de um modelo estatístico honesto e livre de suposições, entretanto, é que as conclusões são prejudicadas se não houver dados suficientes. Por exemplo, as previsões sobre as consequências de diferentes decisões de cuidados médicos para as mulheres teriam barras de erro muito mais amplas do que as previsões sobre os homens, porque sabemos muito menos sobre as mulheres, em termos médicos, do que os homens.

Este problema é um recurso, não um bug. A incerteza é extremamente óbvia, assim como a correção: precisamos de mais e melhores dados antes de começar a usá-los para informar decisões importantes.

“Como estatísticos, queremos informar as decisões, mas não somos os tomadores de decisão”, disse Candès. “Então, gosto da maneira como este modelo comunica os resultados da análise de dados aos tomadores de decisão porque é um relatório extremamente honesto e evita posicionar o algoritmo como o tomador de decisão.”

 

.
.

Leia mais a seguir