Publicado pela Academia Britânica e pela Academia de Ciências Sociais, pesquisadores do Leverhulme Centre for Demographic Science avaliaram como a pesquisa em ciências sociais e humanas produzida nas universidades do Reino Unido proporciona impacto no mundo real na economia, política, indústria, tecnologia e enriquece todos os dias vidas.

O relatório do projeto e o painel interativo on-line (acompanhados por uma biblioteca de código-fonte aberto ) revelam o impacto substancial da pesquisa em ciências sociais e humanas no Reino Unido, no Reino Unido e em todo o mundo. A combinação de análises estatísticas complexas e Grandes Modelos de Linguagem (LLMs) com ricas explorações qualitativas permitiu aos investigadores do LCDS contar a história das inúmeras formas como o impacto foi alcançado.

A líder do projeto, Professora Melinda Mills , Diretora da Unidade de Ciência Demográfica e LCDS, disse: 'Foi fascinante descobrir a amplitude do impacto no mundo real dos pesquisadores de ciências sociais e humanas no governo e na indústria para a melhoria da vida cotidiana. '

A equipe do projeto identificou o impacto da pesquisa em ciências sociais e humanas usando o Research Excellence Framework (REF) 2021 do Reino Unido. O REF é o sistema do Reino Unido para avaliar a excelência da investigação nas Instituições de Ensino Superior (IES) do Reino Unido, sendo os resultados utilizados para alocar anualmente cerca de 2 mil milhões de libras de financiamento público à investigação universitária. Demonstrar o impacto real das equipas de investigação através da apresentação de Estudos de Caso de Impacto é um elemento-chave deste processo de avaliação, representando um quarto da avaliação total, o que fez do último REF2021 a maior avaliação de impacto de investigação estruturada a nível mundial.

A equipe do projeto no LCDS aplicou uma nova abordagem de método misto combinando Large Language Models (LLMs) com avaliação qualitativa e validação para analisar o impacto de todos os 4.000 estudos de caso de impacto de pesquisas em ciências sociais e humanas que foram submetidos por IES do Reino Unido ao REF2021 (todas as submissões aos Painéis Principais C de Ciências Sociais e D de Artes e Humanidades, bem como à Unidade de Avaliação (UoA) 4 de Psicologia, Psiquiatria e Neurociências).

Dada a natureza textual dos estudos de caso de impacto, o Dr. Charles Rahal e sua equipe empregaram um LLM que analisaria o enorme corpus de texto (cada um com cerca de quatro a cinco páginas) dentro dos 4.000 estudos de caso. Estes modelos utilizariam então a proximidade linguística no texto escrito dos estudos de caso para categorizá-los em 83 tópicos distintos, que vão desde “Música” a “Energias Renováveis”, conforme descrito na figura do relatório abaixo.

Os resultados do modelo foram então descritos e refinados por um extenso esforço qualitativo, analisando todos os estudos de caso individualmente. Charles Rahal, professor sênior de pesquisa na Unidade de Ciência Demográfica e LCDS, disse: 'Um projeto de pesquisa de métodos mistos nos permitiu maximizar os benefícios dos grandes modelos de linguagem na categorização de tópicos complexos, reforçado por uma abordagem 'humano no circuito' para sentido -verifique o agrupamento algorítmico. Isto garantiu os melhores resultados possíveis para uma inferência científica robusta e confiável”.

A análise qualitativa foi liderada pelo Dr. Sander Wagner e uma equipe de pesquisadores do LCDS que leram individualmente todos os 4.000 Estudos de Caso de Impacto para garantir que foram corretamente classificados e atribuídos pelos algoritmos, levando à criação de um 84º tópico extra. Esta análise qualitativa permitiu-lhes tecer uma narrativa rica que documenta os tópicos emergentes do mapeamento algorítmico.

Uma equipe qualitativa também conduziu entrevistas com revisores do painel e autores de Estudos de Caso de Impacto, o que permitiu aos leitores compreender o mapeamento algorítmico do impacto e dar vida aos temas com exemplos concretos. A amplitude e profundidade do impacto alcançado pela investigação em ciências sociais e humanas é demonstrada por relatos detalhados e aprofundados dos dez “Grandes Temas” que os nossos modelos revelam, todos baseados nos 84 tópicos descritos no relatório. :

Artes, Linguagem e Design

Arqueologia, Exposições e Galerias

Educação, Ensino e Habilidades

Negócios, Economia e Gestão

Crime e Exclusão

Família e Gênero

Governança e Direito

Saúde e bem-estar

Sustentabilidade e Infraestrutura

O relatório combinou os estudos de caso com extensos dados externos para explorar vários temas adicionais. A Pesquisa e Inovação do Reino Unido (UKRI) representou um quarto dos reconhecimentos de financiamento (25,64%). Isto foi surpreendente, dado que o Conselho de Investigação Económica e Social (ESRC) e o Conselho de Investigação em Artes e Humanidades (AHRC) recebem apenas 2,4% e 1,3% do orçamento do UKRI, respetivamente.

A investigação que sustenta os estudos de caso de impacto foi considerada altamente interdisciplinar, o que significa que investigadores de diversas áreas trabalharam em conjunto para produzir um documento de investigação de base, e multidisciplinar, o que significa que os documentos de investigação de diferentes disciplinas se uniram para criar um impacto específico. A interdisciplinaridade ocorreu principalmente entre áreas estreitamente relacionadas, como 'Ciências da Saúde' e 'Ciências Biomédicas e Clínicas', enquanto a multidisciplinaridade superou maiores distâncias disciplinares e foi encontrada frequentemente em disciplinas como humanidades e ciências médicas.

Os investigadores também descobriram que os departamentos maiores tendem a ter “médias de notas” mais elevadas em comparação com unidades mais pequenas e recém-criadas, encontrando uma gama diversificada de equilíbrios de género na autoria que sustenta a investigação, tanto nas diferentes UoAs, como entre as ciências sociais e as humanidades e Disciplinas STEM.

O relatório conclui que a investigação em ciências sociais e humanas no Reino Unido é multidisciplinar e interdisciplinar, alimentada por um punhado de financiadores principais e tem um impacto global que ultrapassa as fronteiras da economia, da política e da tecnologia. A análise também sugere que a amplitude do impacto da investigação em ciências sociais e humanas justifica novas categorizações de tipos de impacto no quadro REF.

Os estudos de caso, tópicos e impacto da investigação descritos no relatório podem ser explorados mais detalhadamente no painel online do projeto que reúne os elementos quantitativos e qualitativos desta análise. Os usuários podem visualizar estudos de caso de impacto para cada um dos 84 tópicos, explorar seus principais financiadores e beneficiários de impacto global e obter uma visão geral das IES do Reino Unido que pesquisam essas diferentes áreas das ciências sociais e humanas. O painel também fornece acesso ao banco de dados REF aprimorado do projeto e a informações bibliométricas ricas e licenciadas usadas nas análises e resultados, que os usuários podem baixar e usar gratuitamente.

O desenvolvedor do painel , Dr. Douglas Leasure , pesquisador sênior e cientista de dados da Unidade de Ciência Demográfica e LCDS, disse: 'Este novo painel é um excelente recurso para acadêmicos e instituições do Reino Unido envolvidas no processo REF e atua como uma ferramenta poderosa para financiadores e formuladores de políticas para destacar como a pesquisa nas ciências sociais e humanas melhora nossas vidas.'

A professora Melinda Mills (FBA, FAcSS) apresentará as principais conclusões do relatório e do painel online hoje em um evento de lançamento online da Academia Britânica e da Academia de Ciências Sociais.

A professora Melinda Mills disse: “Nosso uso de IA generativa, combinado com codificação humana e pesquisa qualitativa, nos permitiu descobrir mais de 80 áreas principais de impacto, todas as quais podem ser exploradas em nosso painel interativo online. A investigação de alto impacto é também claramente mais inter e multidisciplinar, com investigadores de ciências sociais e humanas frequentemente a causar impacto nos domínios das ciências médicas e físicas, destacando a importância deste tipo de investigação dentro das STEM e não só.