Humanidades

Estudo mostra que avaliações escolares online refletem mais os dados demográficos da escola do que a eficácia
A análise da linguagem revela um possível reforço da lacuna de desempenho baseada em raça e renda.
Por Michaela Jarvis - 04/03/2021


Em um novo estudo, os pesquisadores do MIT associaram as análises das GreatSchools ao Stanford Educational Data Archive e aos dados do censo sobre raça e status socioeconômico por bairro. Suas análises preliminares revelaram que as avaliações foram em grande parte postadas por pais em escolas urbanas e aquelas que atendem famílias mais ricas. Créditos:Foto cortesia do CDC via Unsplash.

Os pesquisadores do MIT analisaram mais de 800.000 avaliações escolares online usando processamento avançado de linguagem natural, determinando que as avaliações estavam amplamente associadas aos resultados dos testes das escolas - uma medida que se correlaciona intimamente com a raça e renda familiar e tende a reforçar as desigualdades nas oportunidades educacionais - em vez de medidas de o crescimento do aluno, que reflete o quão bem as escolas realmente ajudam os alunos a aprender.

“Nossa esperança é que os pais que aprenderem sobre nosso estudo sejam muito criteriosos ao ler as resenhas escolares e levar em consideração o que estão lendo, triangulando avaliações subjetivas com uma série de métricas que tentam capturar o que realmente está acontecendo no escola ”, diz Nabeel Gillani, um estudante de doutorado e assistente de pesquisa no Media Lab do MIT, e o principal autor do estudo , que foi publicado esta semana no AERA Open , um jornal revisado por pares da American Educational Research Association.

Gillani e seus colegas pesquisadores - seu orientador, Professor Deb Roy; O estudante de graduação do MIT Eric Chu; Doug Beeferman, cientista pesquisador do Media Lab; e Rebecca Eynon da Universidade de Oxford - inspirou-se em aproximadamente 830.000 avaliações de mais de 110.000 escolas K-12 com financiamento público nos Estados Unidos. As avaliações foram postadas pelos pais de 2009 a 2019 no site de informações escolares GreatSchools.org . GreatSchools, que disponibilizou os dados das avaliações para o estudo, atualizou seus sistemas de classificação nos últimos anos para melhorar sua eficácia no fornecimento de informações que minimizem a desigualdade nas oportunidades educacionais.

O estudo que caracteriza as resenhas é o primeiro do gênero. Gillani, cujo trabalho voluntário envolve ajudar famílias que não estão familiarizadas com a educação pública dos Estados Unidos a selecionar escolas de alta qualidade para seus filhos, pensou no conceito após um telefonema com uma mãe que recentemente emigrou para os Estados Unidos. Enquanto a mãe lia resenhas online para selecionar uma escola para sua filha, Gillani disse que ficou impressionado com uma escola em particular para a qual as avaliações foram muito positivas, “mas com base em várias métricas de qualidade, a escola em si não parecia ser uma escola de qualidade ”, onde a aprendizagem e o crescimento dos alunos foram enfatizados.

“Desde então, estou interessado em saber quais análises as informações contêm sobre as diferentes medidas de qualidade escolar. O que eles estão dizendo sobre a qualidade da educação a que as crianças têm acesso em suas escolas? ”

Gillani diz que essas questões “se alinham bem com o foco de nosso grupo de pesquisa no uso de aprendizado de máquina e processamento de linguagem natural para entender os padrões de discurso e o comportamento humano”

Para conduzir o estudo, os autores associaram as análises das GreatSchools ao Stanford Educational Data Archive e aos dados do censo sobre raça e status socioeconômico por bairro. Suas análises preliminares revelaram que as avaliações foram em grande parte postadas por pais em escolas urbanas e aquelas que atendem famílias mais ricas. Em seguida, desenvolveram modelos de aprendizado de máquina que usavam a linguagem em avaliações para prever diferentes atributos das escolas, incluindo notas de testes, medidas de crescimento dos alunos, a porcentagem de alunos brancos na escola e a porcentagem que recebem almoço grátis ou com preço reduzido. Eles descobriram que os modelos eram bastante precisos na previsão de resultados de testes e dados demográficos da escola, 

Para entender melhor essas associações, os pesquisadores então inspecionaram os processos de tomada de decisão usados ​​pelos modelos, identificando palavras e frases mais intimamente associadas às medidas de desempenho escolar e dados demográficos. Muitas dessas palavras e frases - como "o PTA", "e-mails", "escola particular" e "nós" e "nós" versus "eu" e "meu" - foram mais associadas a um desempenho superior, mais branco , e escolas mais ricas. Essas associações refletem tendências documentadas na educação, que revelaram que os pais nessas escolas geralmente têm mais tempo e conforto para se envolver em grupos de pais, melhor conectividade digital, mais opções de escolaridade e famílias com dois pais, de acordo com Roy, professor do MIT de artes e ciências da mídia, diretor do Centro de Comunicação Construtiva do MIT e diretor executivo do Laboratório de Mídia do MIT.

Os resultados levaram os autores a afirmar que “os pais que fazem referência às avaliações escolares podem estar acessando e tomando decisões com base em perspectivas tendenciosas que reforçam as lacunas de desempenho”.

Se as avaliações refletirem as pontuações dos testes e dados demográficos, e os pais os usarem para decidir onde mandar seus filhos para a escola, então tais avaliações podem até levar as escolas a priorizar continuamente as pontuações altas nos testes em vez do progresso e crescimento dos alunos, diz Gillani.

“Em um sistema educacional onde as pontuações dos testes são notoriamente correlacionadas com raça e renda, uma preocupação é que as avaliações principalmente associadas às pontuações dos testes podem influenciar a tomada de decisões dos pais e da escola de forma que distorça cada vez mais a demografia escolar ao longo das linhas raciais e de renda”, diz ele . “Assim como em qualquer mercado, as avaliações e preferências dos consumidores provavelmente têm uma forte influência sobre os tipos de produtos que são criados.”

 

.
.

Leia mais a seguir