Tecnologia Científica

Injetando justia§a em modelos de aprendizado de ma¡quina
Os pesquisadores criaram uma técnica para introduzir justia§a diretamente na própria representaa§a£o interna do modelo. Isso permite que o modelo produza resultados justos, mesmo que seja treinado em dados injustos, o que éespecialmente...
Por Adam Zewe - 02/03/2022


Pesquisadores do MIT descobriram que, se um certo tipo de modelo de aprendizado de ma¡quina for treinado usando um conjunto de dados desequilibrado, o vianãs que ele aprende éimpossí­vel de corrigir após o fato. Eles desenvolveram uma técnica que induz justia§a diretamente no modelo, não importa o quanto desequilibrado o conjunto de dados de treinamento fosse, o que pode aumentar o desempenho do modelo em tarefas de downstream. Imagem: Jose-Luis Olivares, MIT

Se um modelo de aprendizado de ma¡quina for treinado usando um conjunto de dados desequilibrado, como um que contanãm muito mais imagens de pessoas com pele mais clara do que pessoas com pele mais escura, háum sanãrio risco de que as previsaµes do modelo sejam injustas quando implantadas no mundo real .

Mas esta éapenas uma parte do problema. Pesquisadores do MIT descobriram que os modelos de aprendizado de ma¡quina que são populares para tarefas de reconhecimento de imagem na verdade codificam vianãs quando treinados em dados desequilibrados. Esse vianãs dentro do modelo éimpossí­vel de corrigir mais tarde, mesmo com técnicas de aprimoramento de justia§a de última geração e mesmo ao retreinar o modelo com um conjunto de dados balanceado.      

Assim, os pesquisadores criaram uma técnica para introduzir justia§a diretamente na própria representação interna do modelo. Isso permite que o modelo produza resultados justos, mesmo que seja treinado em dados injustos, o que éespecialmente importante porque hámuito poucos conjuntos de dados bem balanceados para aprendizado de ma¡quina.

A solução que eles desenvolveram não apenas leva a modelos que fazem previsaµes mais equilibradas, mas também melhora seu desempenho em tarefas posteriores, como reconhecimento facial e classificação de espanãcies animais.

“No aprendizado de ma¡quina, écomum culpar os dados pelo vianãs nos modelos. Mas nem sempre temos dados equilibrados. Portanto, precisamos encontrar manãtodos que realmente resolvam o problema com dados desequilibrados ”, diz a principal autora Natalie Dullerud, estudante de pós-graduação do Grupo de ML Sauda¡vel do Laborata³rio de Ciência da Computação e Inteligaªncia Artificial (CSAIL) do MIT.

Os coautores de Dullerud incluem Kimia Hamidieh, estudante de pós-graduação do Healthy ML Group; Karsten Roth, ex-pesquisador visitante que agora éestudante de pós-graduação na Universidade de Ta¼bingen; Nicolas Papernot, professor assistente do Departamento de Engenharia Elanãtrica e Ciência da Computação da Universidade de Toronto; e o autor saªnior Marzyeh Ghassemi, professor assistente e chefe do Healthy ML Group. A pesquisa seráapresentada na Conferência Internacional sobre Representações de Aprendizagem.

Definindo justia§a

A técnica de aprendizado de ma¡quina que os pesquisadores estudaram éconhecida como aprendizado manãtrico profundo, que éuma forma ampla de aprendizado de representação. No aprendizado manãtrico profundo, uma rede neural aprende a semelhança entre objetos mapeando fotos semelhantes próximas e fotos diferentes distantes. Durante o treinamento, essa rede neural mapeia as imagens em um “Espaço de incorporação” onde uma manãtrica de similaridade entre as fotos corresponde a  distância entre elas.

Por exemplo, se um modelo de aprendizado manãtrico profundo estiver sendo usado para classificar espanãcies de pa¡ssaros, ele mapeara¡ fotos de tentilhaµes dourados juntos em uma parte do espaço de incorporação e cardeais juntos em outra parte do espaço de incorporação. Uma vez treinado, o modelo pode medir efetivamente a similaridade de novas imagens que não viu antes. Ele aprenderia a agrupar imagens de uma espanãcie de pa¡ssaro invisível perto umas das outras, mas mais longe de cardeais ou tentilhaµes dourados dentro do espaço de incorporação.

As manãtricas de similaridade que o modelo aprende são muito robustas, e épor isso que o aprendizado de manãtricas profundas éfrequentemente empregado para reconhecimento facial, diz Dullerud. Mas ela e seus colegas se perguntaram como determinar se uma manãtrica de similaridade étendenciosa.

“Sabemos que os dados refletem os vieses dos processos na sociedade. Isso significa que temos que mudar nosso foco para projetar manãtodos mais adequados a  realidade”, diz Ghassemi.

Os pesquisadores definiram duas maneiras pelas quais uma manãtrica de similaridade pode ser injusta. Usando o exemplo do reconhecimento facial, a manãtrica seráinjusta se for mais prova¡vel incorporar indivíduos com rostos de pele mais escura mais pra³ximos uns dos outros, mesmo que não sejam a mesma pessoa, do que se essas imagens fossem pessoas com pele mais clara. rostos esfolados. Em segundo lugar, seráinjusto se as caracteri­sticas aprendidas para medir a similaridade forem melhores para o grupo majorita¡rio do que para o grupo minorita¡rio.

Os pesquisadores realizaram uma sanãrie de experimentos em modelos com manãtricas de similaridade injustas e não conseguiram superar o vianãs que o modelo havia aprendido em seu espaço de incorporação.

“Isso ébastante assustador porque éuma prática muito comum as empresas lana§arem esses modelos de incorporação e, em seguida, as pessoas os ajustam para alguma tarefa de classificação posterior. Mas não importa o que vocêfaz downstream, vocêsimplesmente não pode corrigir os problemas de justia§a que foram induzidos no espaço de incorporação”, diz Dullerud.

Mesmo que um usua¡rio retreine o modelo em um conjunto de dados balanceado para a tarefa downstream, que éo melhor cena¡rio para corrigir o problema de justia§a, ainda hálacunas de desempenho de pelo menos 20%, diz ela.

A única maneira de resolver esse problema égarantir que o espaço de incorporação seja justo para comea§ar.

Aprender manãtricas separadas

A solução dos pesquisadores, chamada Parcial Attribute Decorrelation (PARADE), envolve treinar o modelo para aprender uma manãtrica de similaridade separada para um atributo sensa­vel, como tom de pele, e então descorrelatar a manãtrica de similaridade de tom de pele da manãtrica de similaridade direcionada. Se o modelo estiver aprendendo as manãtricas de semelhança de diferentes rostos humanos, ele aprendera¡ a mapear rostos semelhantes pra³ximos e rostos diferentes distantes usando outros recursos além do tom de pele.

Qualquer número de atributos sensa­veis pode ser descorrelacionado da manãtrica de similaridade de destino dessa maneira. E como a manãtrica de similaridade para o atributosensíveléaprendida em um espaço de incorporação separado, ela édescartada após o treinamento para que apenas a manãtrica de similaridade alvo permanea§a no modelo.

Seu manãtodo éaplica¡vel a muitas situações porque o usua¡rio pode controlar a quantidade de descorrelação entre as manãtricas de similaridade. Por exemplo, se o modelo for diagnosticar câncer de mama a partir de imagens de mamografia, um cla­nico provavelmente deseja que algumas informações sobre sexo biola³gico permanea§am no espaço de incorporação final, porque émuito mais prova¡vel que as mulheres tenham câncer de mama do que os homens, explica Dullerud.

Eles testaram seu manãtodo em duas tarefas, reconhecimento facial e classificação de espanãcies de aves, e descobriram que reduzia as lacunas de desempenho causadas por vianãs, tanto no espaço de incorporação quanto na tarefa downstream, independentemente do conjunto de dados usado.

Avana§ando, Dullerud estãointeressado em estudar como forçar um modelo de aprendizado manãtrico profundo para aprender bons recursos em primeiro lugar.

“Como vocêaudita adequadamente a justia§a? Essa éuma questãoem aberto agora. Como vocêpode dizer que um modelo vai ser justo, ou que são vai ser justo em certas situações, e quais são essas situações? Essas são questões que eu estou realmente interessada em seguir em frente”, diz ela.

 

.
.

Leia mais a seguir