Humanidades

Banindo o preconceito entre disciplinas, gêneros e experiências - nova ferramenta para métricas de pesquisa mais justas
Chamado de Índice Epsilon , em homenagem à letra grega ε usada para simbolizar resíduos nas estatísticas, ele leva em consideração as muitas diferenças no espaço de pesquisa para fornecer uma comparação mais justa.
Por Flinders University - 10/09/2021


Massa da citação em relação aos anos desde a primeira publicação. Relação entre a massa de citações de um pesquisador e loge anos desde a primeira publicação revisada por pares para oito disciplinas Compreendendo 60 pesquisadores em três diferentes estágios de carreira: pesquisador em início de carreira (ECR), pesquisador em meio de carreira (MCR) e pesquisador em final de carreira (LCR). As linhas ajustadas correspondem à amostra inteira (preto sólido), apenas mulheres (preto tracejada) e apenas homens (vermelho tracejada). Crédito: Professor Corey Bradshaw na Flinders University, PLOS ONE .

h -index,  g -index,  i 10 index,  m -quotient, Journal Impact Factor, Altmetrics ... há muito tempo é uma questão intratável que assola a comunidade de pesquisa - como avaliar os méritos relativos da pesquisa objetivamente entre as disciplinas e fazer comparações justas entre as primeiras carreira e pesquisadores estabelecidos, diferentes gêneros e até mesmo diferentes disciplinas de pesquisa.

Agora, o ecologista da Flinders University, Professor Corey Bradshaw, e colegas desenvolveram uma ferramenta para avaliar o desempenho da pesquisa de forma mais justa; um que nivelará o campo de jogo não apenas entre as disciplinas, mas também entre gêneros e carreiras, eliminando as dificuldades de interrupções, como a licença-maternidade.

Chamado de  Índice Epsilon , em homenagem à letra grega  ε  usada para simbolizar resíduos nas estatísticas, ele leva em consideração as muitas diferenças no espaço de pesquisa para fornecer uma comparação mais justa.

Um especialista em estatística confesso, o professor Bradshaw publicou o funcionamento do  índice ε  na revista de acesso aberto  PLoS One .

“Um dos desafios duradouros para os pesquisadores é a busca para medir a quantidade e a qualidade de sua produção de forma justa”, diz o professor Bradshaw.

"Não há um processo direto para comparar os pontos fortes relativos dos pesquisadores em disciplinas distintas - alguns apenas tendem a ter menos citações do que outros.

'Então há gênero. As publicações de pesquisas para mulheres podem diminuir durante a licença maternidade, por exemplo, afetando o desempenho percebido, embora sua habilidade - e sua pesquisa - não seja menos brilhante. As mulheres também tendem a não ter as mesmas oportunidades que os homens ainda hoje, por isso são injustamente classificadas em relação aos homens na maioria dos indicadores existentes.

Painel esquerdo: Distribuição dos resíduos dentro da disciplina da relação entre Arel e anos
de publicação por disciplina (ARC = arqueologia, CHM = química, ECO = ecologia, EVO =
evolução e desenvolvimento, GEO = geologia, MIC = microbiologia, OPH = oftalmologia ,
PAL = paleontologia), cada um compreendendo 60 pesquisadores (30 ♀, 30 ♂). Painel direito: Distribuição dos resíduos entre as disciplinas. Crédito: Professor
Corey Bradshaw na Flinders University.

'Onde os pesquisadores estão em suas carreiras, sejam eles empolgantes recém-chegados ou professores ilustres, também pode ter um forte efeito nas métricas atuais.

“O  Índice Epsilon  é uma nova maneira de reduzir vieses sistêmicos na avaliação da qualidade do pesquisador por meio de citações, fornecendo correções de estágio de carreira, gênero e oportunidade para métricas de desempenho baseadas em citações”, diz ele.

A ferramenta está disponível gratuitamente como um aplicativo pronto - basta inserir alguns dados para uma amostra de pesquisadores de bancos de dados de código aberto como o Google Scholar e ela faz o trabalho pesado para produzir o resultado, permitindo a comparação de pesquisadores em qualquer estágio de sua carreira e de qualquer disciplina na mesma escala.

É uma benção para quem deseja usar uma métrica objetiva para classificar pesquisadores, seja para pedidos de bolsas, entrevistas de emprego, promoções e prêmios, ou mesmo como um indicador de desempenho da equipe.

Relação entre a massa de citações em escala e loge anos de publicação (para 480
pesquisadores em oito disciplinas diferentes (ARC = arqueologia, CHM = química, ECO =
ecologia, EVO = evolução e desenvolvimento, GEO = geologia, MIC = microbiologia, OPH =
oftalmologia, PAL = paleontologia) composta por 60 pesquisadores cada. Crédito:
Professor Corey Bradshaw na Flinders University.

A abordagem para desenvolver e testar o  índice ε  foi em si um exercício multidisciplinar e especificamente projetado para garantir o equilíbrio de gênero.
 
A ferramenta foi testada e refinada por meio da colaboração em dados de amostra com uma arqueóloga - Professora Assistente Dra. Stefani Crabtree (Utah State University / Instituto de Santa Fé), uma geóloga e paleontóloga de vertebrados - Professora Kate Trinajstic (Curtin University), um químico - Professor Justin Chalker, um microbiologista - Professor Bart Eijkelkamp, ​​um paleontólogo - Professor John Long, um oftalmologista - Professora Justine Smith, e uma bióloga evolucionária - Professora Vera Weisbecker (todos da Flinders University).

A amostra compreendeu 480 pesquisadores com perfis do Google Scholar, estratificados uniformemente em oito disciplinas (arqueologia, química, ecologia, evolução e desenvolvimento, geologia, microbiologia, oftalmologia, paleontologia), três estágios de carreira (início, meio, fim de carreira), e dois gêneros.

A professora Justine Smith, que tem sido uma 'superestrela do STEM' promovendo ativamente o envolvimento das mulheres na ciência, tecnologia, engenharia e matemática, espera que o  índice ε  faça a diferença em como as mulheres na ciência são vistas e, por sua vez, incentive mais mulheres a entrar As ciências.

'Avaliar com mais precisão a contribuição das mulheres para as ciências e celebrar seus sucessos é fundamental para encorajar as futuras gerações de meninas nas ciências; como diz o ditado, "você não pode ser o que não pode ver". O  índice ε  dá uma visibilidade mais justa e maior às conquistas das mulheres, e o fato de fazê-lo em uma variedade de disciplinas o torna especialmente benéfico ', diz o professor Smith.

Como funciona

O novo índice é um algoritmo de classificação que pode ser padronizado entre disciplinas, pode ser corrigido para interrupções na carreira e fornece um limite específico de amostra que pode determinar se o desempenho individual é maior ou menor do que o esperado em relação aos outros pesquisadores em uma amostra.

Usando o  código R  ou o  aplicativo online , são necessários apenas quatro itens de informações de bancos de dados públicos, como Google Scholar ou Scopus, para calcular o índice ε de um pesquisador  :

o número de citações adquiridas para o artigo mais citado do pesquisador

o  índice i 10 (número de artigos com pelo menos 10 citações)

o  h -index, e

o ano em que o primeiro artigo revisado por pares do pesquisador foi publicado.

A ferramenta também fornece um método simples para dimensionar o índice entre disciplinas com tendências de citação variáveis ​​( ε ′ -index) para permitir uma comparação mais justa de pesquisadores em diferentes áreas.

O  índice ε permite facilmente o benchmarking de subconjuntos de pesquisadores em somente mulheres ou somente homens para ajustar o limiar de forma que as classificações sejam mais comparáveis ​​entre esses dois gêneros. Alternativamente, dividindo os sexos e de aferição los separadamente seguido por uma re-combinado classificação remove eficazmente o enviesamento de género no  ε - índice , o que é difícil ou impossível de fazer com outras métricas de classificação.

“Nenhuma métrica de classificação é perfeita, mas o  índice ε  é um grande salto para superar o preconceito e fornecer uma imagem mais clara e justa do desempenho da pesquisa em todos os setores”, diz o professor Bradshaw.

 

.
.

Leia mais a seguir