As escolas que apresentam bons resultados nos testes são altamente eficazes ou matriculam principalmente alunos que já estão bem preparados para o sucesso? Um estudo da autoria de académicos do MIT conclui que as classificações de qualidade das escolas amplamente divulgadas refletem a preparação e o contexto familiar dos seus alunos tanto ou mais do que a contribuição de uma escola para os ganhos de aprendizagem.

Na verdade, o estudo conclui que muitas escolas que recebem classificações relativamente baixas têm um desempenho melhor do que essas classificações implicariam. As classificações convencionais, deixa claro a pesquisa, estão altamente correlacionadas com a raça. Especificamente, muitas classificações escolares publicadas estão altamente correlacionadas positivamente com a parcela do corpo discente que é branca.

“Os resultados médios de uma escola refletem, até certo ponto, a combinação demográfica da população que serve”, afirma o economista do MIT Josh Angrist, vencedor do Prêmio Nobel que há muito analisa os resultados da educação. Angrist é coautor de um artigo recém-publicado detalhando os resultados do estudo.

O estudo, que examina os distritos escolares de Denver e Nova Iorque, tem o potencial de melhorar significativamente a forma como a qualidade da escola é medida. Em vez de medidas agregadas brutas, como pontuações de testes, o estudo utiliza mudanças nas pontuações de testes e um ajuste estatístico para a composição racial para calcular medidas mais precisas dos efeitos causais que a frequência de uma determinada escola tem nos ganhos de aprendizagem dos alunos. Esta investigação metodologicamente sofisticada baseia-se no facto de Denver e Nova Iorque designarem alunos para escolas de forma a permitir aos investigadores imitar as condições de um ensaio aleatório.

Ao documentar uma forte correlação entre os sistemas de classificação actualmente utilizados e a raça, o estudo conclui que os estudantes brancos e asiáticos tendem a frequentar escolas com classificações mais elevadas, enquanto os estudantes negros e hispânicos tendem a agrupar-se em escolas com classificações mais baixas.

“Medidas simples de qualidade escolar, baseadas nas estatísticas médias da escola, estão invariavelmente altamente correlacionadas com a raça, e essas medidas tendem a ser um guia enganoso sobre o que você pode esperar ao enviar seu filho para aquela escola”, diz Angrist. 

O artigo, “ Raça e a má medição da qualidade escolar ”, aparece na última edição da American Economic Review: Insights . Os autores são Angrist, professor Ford de Economia no MIT; Peter Hull PhD '17, professor de economia na Brown University; Parag Pathak, professor de economia da turma de 1922 no MIT; e Christopher Walters PhD '13, professor associado de economia na Universidade da Califórnia em Berkeley. Angrist e Pathak são professores do Departamento de Economia do MIT e cofundadores do Blueprint Labs do MIT, um grupo de pesquisa que frequentemente examina o desempenho escolar.

O estudo utiliza dados fornecidos pelos distritos escolares públicos de Denver e Nova Iorque, onde alunos do 6º ano se candidatam a vagas em determinadas escolas secundárias, e os distritos utilizam um sistema de atribuição escolar. Nestes distritos, os alunos podem optar por qualquer escola do distrito, mas algumas escolas estão com excesso de inscrições. Nessas circunstâncias, o distrito usa um número de loteria aleatório para determinar quem consegue um assento e onde.

Em virtude da loteria dentro do algoritmo de atribuição de vagas, conjuntos de alunos semelhantes frequentam aleatoriamente uma série de escolas diferentes. Isto facilita comparações que revelam efeitos causais da frequência escolar nos ganhos de aprendizagem, como num ensaio clínico randomizado do tipo utilizado na investigação médica. Usando resultados de testes de matemática e inglês, os pesquisadores avaliaram o progresso dos alunos em Denver entre os anos letivos de 2012-2013 até 2018-2019, e na cidade de Nova York entre os anos letivos de 2016-2017 até 2018-2019.

Acontece que esses sistemas de atribuição escolar são mecanismos que alguns dos investigadores ajudaram a construir, permitindo-lhes compreender e medir melhor os efeitos da atribuição escolar.

“Um dividendo inesperado do nosso trabalho de concepção dos sistemas de escolha centralizados da cidade de Denver e Nova Iorque é que vemos como os alunos são racionados em [distribuídos entre] escolas”, diz Pathak. “Isso leva a um desenho de pesquisa que pode isolar causa e efeito.”

Em última análise, o estudo mostra que grande parte da variação de escola para escola nas pontuações agregadas brutas dos testes decorre dos tipos de alunos de qualquer escola. Este é um caso daquilo que os investigadores chamam de “viés de seleção”. Neste caso, o viés de seleção surge do facto de as famílias mais favorecidas tenderem a preferir os mesmos conjuntos de escolas.

“O problema fundamental aqui é o viés de seleção”, diz Angrist. “No caso das escolas, o preconceito de seleção tem muitas consequências e é uma grande parte da vida americana. Muitos decisores, sejam eles famílias ou decisores políticos, estão a ser enganados por uma espécie de interpretação ingênua dos dados.”

Na verdade, observa Pathak, a preponderância de avaliações escolares mais simplistas hoje (encontradas em muitos sites populares) não apenas cria uma imagem enganosa de quanto valor as escolas agregam aos alunos, mas tem um efeito de auto reforço - desde que sejam bem preparadas e melhor- famílias aumentam os custos de moradia perto de escolas bem avaliadas. Tal como escrevem os académicos no artigo, “os esquemas de classificação tendenciosos direcionam as famílias para escolas de baixa minoria em vez de escolas de alta qualidade, ao mesmo tempo que penalizam as escolas que melhoram o desempenho dos grupos desfavorecidos”.

A equipa de investigação espera que o seu estudo leve os distritos a examinar e melhorar a forma como medem e reportam a qualidade escolar. Para esse fim, o Blueprint Labs está trabalhando com o Departamento de Educação da cidade de Nova York para testar um novo sistema de classificação ainda este ano. Planeiam também um trabalho adicional que examine a forma como as famílias respondem a diferentes tipos de informação sobre a qualidade da escola.

Dado que os investigadores propõem melhorar as classificações de uma forma que consideram simples, tendo em conta a preparação e a melhoria dos alunos, pensam que mais funcionários e distritos podem estar interessados em atualizar as suas práticas de medição.

“Temos esperança de que o simples ajuste de regressão que propomos torne relativamente fácil para os distritos escolares usarem a nossa medida na prática”, diz Pathak.

A pesquisa recebeu apoio da Walton Foundation e da National Science Foundation.