A aluna do Laborata³rio de Sistemas de Informação e Decisão (LIDS), Sarah Cen, lembra-se da palestra que a levou a uma questãoascendente.

Em uma palestra sobre inteligaªncia artificial anãtica, o palestrante trouxe uma variação do famoso problema do bonde, que delineia uma escolha filosãofica entre dois resultados indesejáveis.

O cena¡rio do orador: digamos que um carro auta´nomo esteja viajando por um beco estreito com uma mulher idosa andando de um lado e uma criana§a pequena do outro, e não hácomo passar entre os dois sem uma fatalidade. Quem o carro deve bater?

Foi quando as coisas deram certo para Cen . Em vez de considerar o ponto de impacto, um carro auta´nomo poderia ter evitado escolher entre dois maus resultados tomando uma decisão anterior oso palestrante ressaltou que, ao entrar no beco, o carro poderia ter determinado que o espaço era estreito e desacelerado a uma velocidade que manteria todos seguros.

Reconhecendo que as abordagens de segurança de IA atuais muitas vezes se assemelham ao problema do carrinho, concentrando-se na regulamentação a jusante, como responsabilidade depois que alguém fica sem boas escolhas, Cen se perguntou: E se pudanãssemos projetar melhores salvaguardas a montante e a jusante para esses problemas? Esta pergunta informou muito do trabalho de Cen.

“Os sistemas de engenharia não estãodivorciados dos sistemas sociais nos quais intervaªm”, diz Cen. Ignorar esse fato corre o risco de criar ferramentas que não são aºteis quando implantadas ou, mais preocupante, que são prejudiciais.

O Cen chegou ao LIDS em 2018 por uma rota ligeiramente indireta. Ela começou a gostar de pesquisa durante sua graduação na Universidade de Princeton, onde se formou em engenharia meca¢nica. Para o mestrado, ela mudou de curso, trabalhando em soluções de radar em roba³tica ma³vel (principalmente para carros auta´nomos) na Universidade de Oxford. La¡, ela desenvolveu um interesse em algoritmos de IA, curiosa sobre quando e por que eles se comportam mal. Então, ela veio para o MIT e LIDS para sua pesquisa de doutorado, trabalhando com o professor Devavrat Shah no Departamento de Engenharia Elanãtrica e Ciência da Computação, para uma base tea³rica mais forte em sistemas de informação.

Juntamente com Shah e outros colaboradores, Cen trabalhou em uma ampla gama de projetos durante seu tempo no LIDS, muitos dos quais estãodiretamente ligados ao seu interesse nas interações entre humanos e sistemas computacionais. Em um desses projetos, Cen estuda opções para regular as ma­dias sociais. Seu trabalho recente fornece um manãtodo para traduzir regulamentos lega­veis por humanos em auditorias implementa¡veis.

Para se ter uma ideia do que isso significa, suponha que os reguladores exijam que qualquer conteaºdo de saúde pública ospor exemplo, sobre vacinas osnão seja muito diferente para usuários politicamente de esquerda e de direita. Como os auditores devem verificar se uma plataforma de ma­dia social estãoem conformidade com este regulamento? Uma plataforma pode ser feita para cumprir o regulamento sem prejudicar seus resultados? E como a conformidade afeta o conteaºdo real que os usuários veem?

Projetar um procedimento de auditoria édifa­cil em grande parte porque hámuitas partes interessadas quando se trata de ma­dia social. Os auditores precisam inspecionar o algoritmo sem acessar dados confidenciais do usua¡rio. Eles também precisam contornar segredos comerciais complicados, o que pode impedi-los de examinar de perto o pra³prio algoritmo que estãoauditando, porque esses algoritmos são legalmente protegidos. Outras considerações também entram em jogo, como equilibrar a remoção de desinformação com a proteção da liberdade de expressão.

Para enfrentar esses desafios, Cen e Shah desenvolveram um procedimento de auditoria que não precisa mais do que o acesso de caixa preta ao algoritmo de ma­dia social (que respeita segredos comerciais), não remove conteaºdo (o que evita questões de censura) e não exige acesso aos usuários (o que preserva a privacidade dos usuários).

Em seu processo de design, a equipe também analisou as propriedades de seu procedimento de auditoria, descobrindo que ele garante uma propriedade desejável que eles chamam de robustez de decisão. Como uma boa nota­cia para a plataforma, eles mostram que uma plataforma pode passar na auditoria sem sacrificar os lucros. Curiosamente, eles também descobriram que a auditoria incentiva naturalmente a plataforma a mostrar aos usuários conteaºdo diversificado, o que éconhecido por ajudar a reduzir a disseminação de desinformação, neutralizar as ca¢maras de eco e muito mais.

Em outra linha de pesquisa , Cen analisa se as pessoas podem obter bons resultados a longo prazo quando não apenas competem por recursos, mas também não sabem antecipadamente quais recursos são melhores para elas.

Algumas plataformas, como plataformas de busca de emprego ou aplicativos de compartilhamento de viagens, fazem parte do chamado mercado de correspondaªncia, que usa um algoritmo para combinar um conjunto de indivíduos (como trabalhadores ou passageiros) com outro (como empregadores ou motoristas). ). Em muitos casos, os indivíduos tem preferaªncias correspondentes que aprendem por tentativa e erro. Nos mercados de trabalho, por exemplo, os trabalhadores aprendem suas preferaªncias sobre os tipos de trabalho que desejam, e os empregadores aprendem suas preferaªncias sobre as qualificações que buscam dos trabalhadores.

Mas o aprendizado pode ser interrompido pela competição. Se trabalhadores com um hista³rico especa­fico são repetidamente negados a empregos em tecnologia por causa da alta competição por empregos de tecnologia, por exemplo, eles podem nunca obter o conhecimento necessa¡rio para tomar uma decisão informada sobre se desejam trabalhar em tecnologia. Da mesma forma, os empregadores de tecnologia podem nunca ver e aprender o que esses trabalhadores poderiam fazer se fossem contratados.

O trabalho de Cen examina essa interação entre aprendizado e competição, estudando se épossí­vel que indivíduos de ambos os lados do mercado de correspondaªncia saiam felizes.

Modelando esses mercados correspondentes, Cen e Shah descobriram que érealmente possí­vel obter um resultado esta¡vel (os trabalhadores não são incentivados a deixar o mercado correspondente), com baixo arrependimento (os trabalhadores estãosatisfeitos com seus resultados a longo prazo), justia§a ( a felicidade édistribua­da uniformemente) e alto bem-estar social.

Curiosamente, não éa³bvio que seja possí­vel obter estabilidade, baixo arrependimento, justia§a e alto bem-estar social simultaneamente. Portanto, outro aspecto importante da pesquisa foi descobrir quando épossí­vel atingir todos os quatro critanãrios de uma vez e explorar as implicações dessas condições.

Para os pra³ximos anos, poranãm, Cen planeja trabalhar em um novo projeto, estudando como quantificar o efeito de uma ação X em um resultado Y quando écaro - ou impossí­vel - medir esse efeito, concentrando-se em sistemas que tem comportamentos sociais complexos.

Por exemplo, quando os casos de Covid-19 aumentaram na pandemia, muitas cidades tiveram que decidir quais restrições adotar, como mandatos de ma¡scaras, fechamento de nega³cios ou ordens de ficar em casa. Eles tiveram que agir rápido e equilibrar a saúde pública com as necessidades da comunidade e das empresas, gastos paºblicos e uma sanãrie de outras considerações.

Normalmente, para estimar o efeito das restrições na taxa de infecção, pode-se comparar as taxas de infecção em áreas que sofreram diferentes intervenções. Se um condado tem um mandato de ma¡scara enquanto o condado vizinho não, pode-se pensar que comparar as taxas de infecção dos condados revelaria a eficácia dos mandatos de ma¡scara. 

Mas éclaro que nenhum condado existe no va¡cuo. Se, por exemplo, pessoas de ambos os condados se reaºnem para assistir a um jogo de futebol no condado sem ma¡scara todas as semanas, as pessoas de ambos os condados se misturam. Essas interações complexas são importantes, e Sarah planeja estudar questões de causa e efeito nesses ambientes.

“Estamos interessados ​​em como as decisaµes ou intervenções afetam um resultado de interesse, como a reforma da justia§a criminal afeta as taxas de encarceramento ou como uma campanha publicita¡ria pode mudar o comportamento do paºblico”, diz Cen.

Cen também aplicou os princa­pios de promoção da inclusão ao seu trabalho na comunidade do MIT.

Como uma das três copresidentes do grupo de estudantes Graduate Women in MIT EECS, ela ajudou a organizar a cúpula de pesquisa inaugural do GW6 apresentando a pesquisa de mulheres estudantes de pós-graduação - não apenas para mostrar modelos positivos para os alunos, mas também para destacar os muitos sucessos mulheres graduadas no MIT que não devem ser subestimadas.

Seja na computação ou na comunidade, um sistema que toma medidas para lidar com o preconceito éaquele que goza de legitimidade e confiana§a, diz Cen. “Responsabilidade, legitimidade, confianção osesses princa­pios desempenham papanãis cruciais na sociedade e, em última análise, determinara£o quais sistemas perduram com o tempo”.