Tecnologia Científica

Quando os algoritmos competem, quem ganha?
Com o tempo, os algoritmos de previsão tornam-se especializados para uma fatia cada vez mais estreita da população, e a qualidade média de suas previsões diminui.
Por Katharine Miller - 03/11/2020


Taka e PPRS

Empresas como serviços de streaming online competem para fornecer as melhores recomendações. Mas a dinâmica de feedback do algoritmo pode criar um problema real, mostra uma nova pesquisa. 

Empresas como Netflix e Hulu competem por assinantes para garantir que seus negócios prosperem. Mas há outro tipo de competição em ação que recebe muito menos atenção - a competição entre os algoritmos de aprendizado de máquina usados ​​por esses tipos de empresas concorrentes.

James Zou , professor assistente de ciência de dados biomédicos de Stanford e membro do corpo docente afiliado do Instituto de Inteligência Artificial Centrada no Homem de Stanford , afirma que, à medida que os algoritmos competem por cliques e dados de usuário associados, eles se tornam mais especializados para subpopulações que gravitam em seus sites . E isso, ele descobriu em um novo artigo com o estudante de graduação Antonio Ginart e a graduanda Eva Zhang , pode ter sérias implicações tanto para empresas quanto para consumidores. 

Talvez os consumidores não se importem se as recomendações do Hulu parecem destinadas a adolescentes urbanos ou o Netflix oferece melhores opções para homens rurais de meia-idade, mas quando se trata de prever quem deve receber um empréstimo bancário ou cujo currículo deve chegar a um gerente de contratação, esses algoritmos têm repercussões no mundo real. 

“O principal insight é que isso não acontece porque as empresas estão optando por se especializar em uma faixa etária ou demográfica específica”, diz Ginart. “Isso acontece por causa da dinâmica de feedback da competição.” 

Especialização inevitável 

Antes de iniciar sua pesquisa, a equipe de Zou reconheceu que há uma dinâmica de feedback em jogo se os algoritmos de aprendizado de máquina das empresas estão competindo por usuários ou clientes e, ao mesmo tempo, usam dados do cliente para treinar seu modelo. “Ao conquistar clientes, eles estão obtendo um novo conjunto de dados desses clientes e, em seguida, atualizando seus modelos neste novo conjunto de dados, eles estão na verdade mudando o modelo e direcionando-o para os novos clientes que conquistaram acabou ”, diz Ginart.

A equipe se perguntou: como esse feedback pode afetar a capacidade dos algoritmos de fornecer recomendações de qualidade? Para obter uma resposta, eles analisaram matematicamente a competição algorítmica e a simularam usando alguns conjuntos de dados padrão. No final, eles descobriram que quando algoritmos de aprendizado de máquina competem, eles eventualmente (e inevitavelmente) se especializam, tornando-se melhores em prever as preferências de uma subpopulação de usuários. 

“Não importa quantos dados você tem, você sempre verá esses efeitos”, diz Zou. Além disso, “a disparidade fica cada vez maior com o tempo - é amplificada por causa dos ciclos de feedback”.

Além disso, a equipe mostrou que, além de um certo número de competidores matematicamente calculável, a qualidade das previsões diminui para a população em geral. “Na verdade, existe um ponto ideal - um número ideal de concorrentes que otimiza a experiência do usuário”, diz Ginart. Além desse número, cada agente de IA tem acesso aos dados de uma fração menor de usuários, reduzindo sua capacidade de gerar previsões de qualidade.

Os teoremas matemáticos da equipe se aplicam sempre que uma plataforma digital online está competindo para fornecer previsões aos usuários, diz Ginart. Exemplos no mundo real incluem empresas que usam aprendizado de máquina para prever as preferências de entretenimento dos usuários (Netflix, Hulu, Amazon) ou gostos de restaurantes (Yelp, TripAdvisor), bem como empresas especializadas em pesquisa, como Google, Bing e DuckDuckGo . 

“Se formos ao Google ou Bing e digitarmos uma consulta de pesquisa, você poderia dizer que o que o Google está tentando fazer é prever quais links consideraremos mais relevantes”, diz Ginart. E se o Bing fizer um trabalho melhor ao fazer essas previsões, talvez estejamos mais inclinados a usar essa plataforma, que por sua vez altera a entrada nesse sistema de aprendizado de máquina e muda a maneira como faz previsões no futuro.

Os teoremas também se aplicam a empresas que preveem o risco de crédito dos usuários ou mesmo a probabilidade de que eles sejam libertados. Por exemplo, um banco pode se tornar muito bom em prever a qualidade de crédito de uma coorte muito específica de pessoas - digamos, pessoas com mais de 45 anos ou pessoas de uma faixa de renda específica - simplesmente porque eles reuniram muitos dados para essa coorte . “Quanto mais dados eles tiverem para essa coorte, melhor poderão atendê-los”, diz Ginart. E embora esses algoritmos melhorem em fazer previsões precisas para uma subpopulação, a qualidade média do serviço na verdade diminui à medida que suas previsões para outros grupos se tornam cada vez menos precisas. 

Imagine um algoritmo de empréstimo bancário que depende de dados de clientes brancos de meia-idade e, portanto, torna-se hábil em prever quais membros dessa população devem receber empréstimos. Essa empresa está realmente perdendo a oportunidade de identificar com precisão os membros de outros grupos (Latinx millennials, por exemplo) que também seriam um bom risco de crédito. Essa falha, por sua vez, envia esses clientes para outro lugar, reforçando a especialização de dados do algoritmo, sem mencionar a crescente desigualdade estrutural.  

Buscando Soluções 

Em termos das próximas etapas, a equipe está analisando o efeito que a compra de conjuntos de dados (em vez de coletar dados apenas de clientes) pode ter na competição algorítmica. Zou também está interessado em identificar algumas soluções prescritivas que sua equipe pode recomendar aos formuladores de políticas ou empresas individuais. “O que fazemos para reduzir esse tipo de preconceito, agora que identificamos o problema?” ele diz.

“Este ainda é um trabalho muito novo e de ponta”, diz Zou. “Espero que este artigo estimule os pesquisadores a estudar a competição entre algoritmos de IA, bem como o impacto social dessa competição.”

 

.
.

Leia mais a seguir