
Taka e PPRS
Empresas como servia§os de streaming online competem para fornecer as melhores recomendações. Mas a dina¢mica de feedback do algoritmo pode criar um problema real, mostra uma nova pesquisa.Â
Empresas como Netflix e Hulu competem por assinantes para garantir que seus nega³cios prosperem. Mas háoutro tipo de competição em ação que recebe muito menos atenção - a competição entre os algoritmos de aprendizado de ma¡quina usados ​​por esses tipos de empresas concorrentes.
James Zou , professor assistente de ciência de dados biomédicos de Stanford e membro do corpo docente afiliado do Instituto de Inteligaªncia Artificial Centrada no Homem de Stanford , afirma que, a medida que os algoritmos competem por cliques e dados de usua¡rio associados, eles se tornam mais especializados para subpopulações que gravitam em seus sites . E isso, ele descobriu em um novo artigo com o estudante de graduação Antonio Ginart e a graduanda Eva Zhang , pode ter sanãrias implicações tanto para empresas quanto para consumidores.Â
Talvez os consumidores não se importem se as recomendações do Hulu parecem destinadas a adolescentes urbanos ou o Netflix oferece melhores opções para homens rurais de meia-idade, mas quando se trata de prever quem deve receber um empréstimo banca¡rio ou cujo curraculo deve chegar a um gerente de contratação, esses algoritmos tem repercussaµes no mundo real.Â
“O principal insight éque isso não acontece porque as empresas estãooptando por se especializar em uma faixa eta¡ria ou demogra¡fica especaficaâ€, diz Ginart. “Isso acontece por causa da dina¢mica de feedback da competição.â€Â
Especialização inevita¡velÂ
Antes de iniciar sua pesquisa, a equipe de Zou reconheceu que háuma dina¢mica de feedback em jogo se os algoritmos de aprendizado de ma¡quina das empresas estãocompetindo por usuários ou clientes e, ao mesmo tempo, usam dados do cliente para treinar seu modelo. “Ao conquistar clientes, eles estãoobtendo um novo conjunto de dados desses clientes e, em seguida, atualizando seus modelos neste novo conjunto de dados, eles estãona verdade mudando o modelo e direcionando-o para os novos clientes que conquistaram acabou â€, diz Ginart.
A equipe se perguntou: como esse feedback pode afetar a capacidade dos algoritmos de fornecer recomendações de qualidade? Para obter uma resposta, eles analisaram matematicamente a competição algoratmica e a simularam usando alguns conjuntos de dados padra£o. No final, eles descobriram que quando algoritmos de aprendizado de ma¡quina competem, eles eventualmente (e inevitavelmente) se especializam, tornando-se melhores em prever as preferaªncias de uma subpopulação de usuários.Â
“Nãoimporta quantos dados vocêtem, vocêsempre vera¡ esses efeitosâ€, diz Zou. Além disso, “a disparidade fica cada vez maior com o tempo - éamplificada por causa dos ciclos de feedbackâ€.
Além disso, a equipe mostrou que, além de um certo número de competidores matematicamente calcula¡vel, a qualidade das previsaµes diminui para a população em geral. “Na verdade, existe um ponto ideal - um número ideal de concorrentes que otimiza a experiência do usua¡rioâ€, diz Ginart. Além desse número, cada agente de IA tem acesso aos dados de uma fração menor de usuários, reduzindo sua capacidade de gerar previsaµes de qualidade.
Os teoremas matema¡ticos da equipe se aplicam sempre que uma plataforma digital online estãocompetindo para fornecer previsaµes aos usuários, diz Ginart. Exemplos no mundo real incluem empresas que usam aprendizado de ma¡quina para prever as preferaªncias de entretenimento dos usuários (Netflix, Hulu, Amazon) ou gostos de restaurantes (Yelp, TripAdvisor), bem como empresas especializadas em pesquisa, como Google, Bing e DuckDuckGo .Â
“Se formos ao Google ou Bing e digitarmos uma consulta de pesquisa, vocêpoderia dizer que o que o Google estãotentando fazer éprever quais links consideraremos mais relevantesâ€, diz Ginart. E se o Bing fizer um trabalho melhor ao fazer essas previsaµes, talvez estejamos mais inclinados a usar essa plataforma, que por sua vez altera a entrada nesse sistema de aprendizado de ma¡quina e muda a maneira como faz previsaµes no futuro.
Os teoremas também se aplicam a empresas que preveem o risco de cranãdito dos usuários ou mesmo a probabilidade de que eles sejam libertados. Por exemplo, um banco pode se tornar muito bom em prever a qualidade de cranãdito de uma coorte muito especafica de pessoas - digamos, pessoas com mais de 45 anos ou pessoas de uma faixa de renda especafica - simplesmente porque eles reuniram muitos dados para essa coorte . “Quanto mais dados eles tiverem para essa coorte, melhor podera£o atendaª-losâ€, diz Ginart. E embora esses algoritmos melhorem em fazer previsaµes precisas para uma subpopulação, a qualidade média do serviço na verdade diminui a medida que suas previsaµes para outros grupos se tornam cada vez menos precisas.Â
Imagine um algoritmo de empréstimo banca¡rio que depende de dados de clientes brancos de meia-idade e, portanto, torna-se ha¡bil em prever quais membros dessa população devem receber empréstimos. Essa empresa estãorealmente perdendo a oportunidade de identificar com precisão os membros de outros grupos (Latinx millennials, por exemplo) que também seriam um bom risco de cranãdito. Essa falha, por sua vez, envia esses clientes para outro lugar, reforçando a especialização de dados do algoritmo, sem mencionar a crescente desigualdade estrutural. Â
Buscando SoluçõesÂ
Em termos das próximas etapas, a equipe estãoanalisando o efeito que a compra de conjuntos de dados (em vez de coletar dados apenas de clientes) pode ter na competição algoratmica. Zou também estãointeressado em identificar algumas soluções prescritivas que sua equipe pode recomendar aos formuladores de políticas ou empresas individuais. “O que fazemos para reduzir esse tipo de preconceito, agora que identificamos o problema?†ele diz.
“Este ainda éum trabalho muito novo e de pontaâ€, diz Zou. “Espero que este artigo estimule os pesquisadores a estudar a competição entre algoritmos de IA, bem como o impacto social dessa competição.â€