Os pesquisadores do MIT analisaram mais de 800.000 avaliações escolares online usando processamento avana§ado de linguagem natural, determinando que as avaliações estavam amplamente associadas aos resultados dos testes das escolas - uma medida que se correlaciona intimamente com a raça e renda familiar e tende a reforçar as desigualdades nas oportunidades educacionais - em vez de medidas de o crescimento do aluno, que reflete o quanto bem as escolas realmente ajudam os alunos a aprender.

“Nossa esperana§a éque os pais que aprenderem sobre nosso estudo sejam muito criteriosos ao ler as resenhas escolares e levar em consideração o que estãolendo, triangulando avaliações subjetivas com uma sanãrie de manãtricas que tentam capturar o que realmente estãoacontecendo no escola ”, diz Nabeel Gillani, um estudante de doutorado e assistente de pesquisa no Media Lab do MIT, e o principal autor do estudo , que foi publicado esta semana no AERA Open , um jornal revisado por pares da American Educational Research Association.

Gillani e seus colegas pesquisadores - seu orientador, Professor Deb Roy; O estudante de graduação do MIT Eric Chu; Doug Beeferman, cientista pesquisador do Media Lab; e Rebecca Eynon da Universidade de Oxford - inspirou-se em aproximadamente 830.000 avaliações de mais de 110.000 escolas K-12 com financiamento paºblico nos Estados Unidos. As avaliações foram postadas pelos pais de 2009 a 2019 no site de informações escolares GreatSchools.org . GreatSchools, que disponibilizou os dados das avaliações para o estudo, atualizou seus sistemas de classificação nos últimos anos para melhorar sua eficácia no fornecimento de informações que minimizem a desigualdade nas oportunidades educacionais.

O estudo que caracteriza as resenhas éo primeiro do gaªnero. Gillani, cujo trabalho volunta¡rio envolve ajudar fama­lias que não estãofamiliarizadas com a educação pública dos Estados Unidos a selecionar escolas de alta qualidade para seus filhos, pensou no conceito após um telefonema com uma ma£e que recentemente emigrou para os Estados Unidos. Enquanto a ma£e lia resenhas online para selecionar uma escola para sua filha, Gillani disse que ficou impressionado com uma escola em particular para a qual as avaliações foram muito positivas, “mas com base em várias manãtricas de qualidade, a escola em si não parecia ser uma escola de qualidade ”, onde a aprendizagem e o crescimento dos alunos foram enfatizados.

“Desde então, estou interessado em saber quais análises as informações contem sobre as diferentes medidas de qualidade escolar. O que eles estãodizendo sobre a qualidade da educação a que as criana§as tem acesso em suas escolas? ”

Gillani diz que essas questões “se alinham bem com o foco de nosso grupo de pesquisa no uso de aprendizado de ma¡quina e processamento de linguagem natural para entender os padraµes de discurso e o comportamento humano”

Para conduzir o estudo, os autores associaram as análises das GreatSchools ao Stanford Educational Data Archive e aos dados do censo sobre raça e status socioecona´mico por bairro. Suas análises preliminares revelaram que as avaliações foram em grande parte postadas por pais em escolas urbanas e aquelas que atendem fama­lias mais ricas. Em seguida, desenvolveram modelos de aprendizado de ma¡quina que usavam a linguagem em avaliações para prever diferentes atributos das escolas, incluindo notas de testes, medidas de crescimento dos alunos, a porcentagem de alunos brancos na escola e a porcentagem que recebem almoa§o gra¡tis ou com prea§o reduzido. Eles descobriram que os modelos eram bastante precisos na previsão de resultados de testes e dados demogra¡ficos da escola, 

Para entender melhor essas associações, os pesquisadores então inspecionaram os processos de tomada de decisão usados ​​pelos modelos, identificando palavras e frases mais intimamente associadas a s medidas de desempenho escolar e dados demogra¡ficos. Muitas dessas palavras e frases - como "o PTA", "e-mails", "escola particular" e "nós" e "nós" versus "eu" e "meu" - foram mais associadas a um desempenho superior, mais branco , e escolas mais ricas. Essas associações refletem tendaªncias documentadas na educação, que revelaram que os pais nessas escolas geralmente tem mais tempo e conforto para se envolver em grupos de pais, melhor conectividade digital, mais opções de escolaridade e fama­lias com dois pais, de acordo com Roy, professor do MIT de artes e ciências da ma­dia, diretor do Centro de Comunicação Construtiva do MIT e diretor executivo do Laborata³rio de Ma­dia do MIT.

Os resultados levaram os autores a afirmar que “os pais que fazem referaªncia a s avaliações escolares podem estar acessando e tomando decisaµes com base em perspectivas tendenciosas que reforçam as lacunas de desempenho”.

Se as avaliações refletirem as pontuações dos testes e dados demogra¡ficos, e os pais os usarem para decidir onde mandar seus filhos para a escola, então tais avaliações podem atélevar as escolas a priorizar continuamente as pontuações altas nos testes em vez do progresso e crescimento dos alunos, diz Gillani.

“Em um sistema educacional onde as pontuações dos testes são notoriamente correlacionadas com raça e renda, uma preocupação éque as avaliações principalmente associadas a s pontuações dos testes podem influenciar a tomada de decisaµes dos pais e da escola de forma que distora§a cada vez mais a demografia escolar ao longo das linhas raciais e de renda”, diz ele . “Assim como em qualquer mercado, as avaliações e preferaªncias dos consumidores provavelmente tem uma forte influaªncia sobre os tipos de produtos que são criados.”