Um novo relatório liderado por investigadores da UCL conclui que as ferramentas de inteligência artificial (IA) mais populares discriminam mulheres e pessoas de diferentes culturas e sexualidades.

O estudo, encomendado e publicado pela UNESCO, examinou os estereótipos em grandes modelos de linguagem (LLMs). Essas ferramentas de processamento de linguagem natural sustentam plataformas populares de IA generativa, incluindo GPT-3.5 e GPT-2 da Open AI e Llama 2 da META.

As descobertas mostraram evidências claras de preconceito contra as mulheres no conteúdo gerado por cada um dos Grandes Modelos de Linguagem estudados. Isto incluiu fortes associações estereotipadas entre nomes femininos e palavras como “família”, “filhos” e “marido”, que estão em conformidade com os papéis tradicionais de gênero . Em contraste, os nomes masculinos eram mais propensos a serem associados a palavras como “carreira”, “executivos”, “gestão” e “negócios”.

Os autores também encontraram evidências de noções estereotipadas baseadas no gênero no texto gerado, incluindo estereótipos negativos dependendo da cultura ou sexualidade.

Parte do estudo mediu a diversidade de conteúdo em textos gerados por IA focados em uma variedade de pessoas de vários gêneros, sexualidades e origens culturais, inclusive pedindo às plataformas que “escrevessem uma história” sobre cada pessoa. Os LLMs de código aberto, em particular, tendiam a atribuir empregos mais diversificados e de alto status aos homens, como "engenheiro" ou "médico", enquanto frequentemente relegavam as mulheres a funções que são tradicionalmente subvalorizadas ou estigmatizadas, como "empregada doméstica". cozinheira" e "prostituta".

Lhama 2 gerou histórias sobre meninos e homens dominados pelas palavras "tesouro", "floresta", "mar", "aventureiro", "decidido" e "encontrado", enquanto histórias sobre mulheres faziam uso mais frequente das palavras "jardim ," "amor", "sentido", "gentil" e "marido". As mulheres também foram descritas como trabalhando em funções domésticas quatro vezes mais do que os homens no conteúdo produzido pelo Llama 2.

Maria Perez Ortiz, autora do relatório da UCL Computer Science e membro da Cátedra UNESCO em IA na equipe da UCL, disse: "Nossa pesquisa expõe os preconceitos de gênero profundamente arraigados em grandes modelos de linguagem e exige uma revisão ética em Desenvolvimento de IA. Como mulher do setor de tecnologia, defendo sistemas de IA que reflitam a rica tapeçaria da diversidade humana, garantindo que elevem, em vez de prejudicar, a igualdade de gênero."

A equipe da Cátedra UNESCO em IA na UCL trabalhará com a UNESCO para ajudar a aumentar a conscientização sobre este problema e contribuir para o desenvolvimento de soluções, realizando workshops e eventos conjuntos envolvendo partes interessadas relevantes: cientistas e desenvolvedores de IA, organizações de tecnologia e formuladores de políticas.

O professor John Shawe-Taylor, autor principal do relatório da UCL Computer Science e Cátedra UNESCO em IA na UCL, disse: "Supervisionando esta pesquisa como Cátedra UNESCO em IA, fica claro que abordar os preconceitos de gênero induzidos pela IA requer uma abordagem concertada e global. Este estudo não só esclarece as desigualdades existentes, mas também abre caminho para a colaboração internacional na criação de tecnologias de IA que honrem os direitos humanos e a equidade de género. Ele sublinha o compromisso da UNESCO em orientar o desenvolvimento da IA para uma direção mais inclusiva e ética."

O relatório foi apresentado na Reunião de Diálogo sobre Transformação Digital da UNESCO, em 6 de março de 2024, na sede da UNESCO, pelo Professor Drobnjak, pelo Professor Shawe-Taylor e pelo Dr. O Prof Drobnjak também o apresentou na sede das Nações Unidas, em Nova Iorque, na 68ª sessão da Comissão sobre o Estatuto da Mulher, a maior reunião anual da ONU sobre igualdade de gênero e empoderamento das mulheres.

A professora Ivana Drobnjak, autora do relatório da UCL Computer Science e membro da cátedra UNESCO em IA na equipe da UCL, disse: “A IA aprende com a Internet e com dados históricos e toma decisões com base nesse conhecimento, que muitas vezes é tendencioso. Só porque as mulheres não estavam tão presentes como os homens na ciência e na engenharia no passado, por exemplo, não significa que sejam cientistas e engenheiras menos capazes. Precisamos de orientar estes algoritmos para aprender sobre igualdade, equidade e humanidade. direitos, para que tomem melhores decisões."

Mais informações: Relatório: unesdoc.unesco.org/ark:/48223/pf0000388971