Tecnologia Científica

Kate Vredenburgh: O direito a uma explicação
Temos o direito de saber como a IA toma decisaµes que afetam nossas vidas? Uma filosofa pola­tico compartilha sua perspectiva.
Por Katharine Miller - 25/06/2020


Kate Vredenburgh, colega da HAI: Devemos  explicações quando a IA toma decisaµes sobre nós.

Os bancos usam a IA para negar cranãdito a s pessoas ; os proprieta¡rios usam verificações de antecedentes automatizadas para negar moradia aos requerentes; e os jua­zes recorrem aos sistemas de IA para ajuda¡-los a decidir quem deve receber a fiana§a negada . Freqa¼entemente, esses tomadores de decisão fornecem pouca ou nenhuma razãopara suas ações, o que significa que as pessoas afetadas não tem base para objetar.  

Kate Vredenburgh diz que os indivíduos devem, de fato, explicações quando a IA toma decisaµes que afetam nossas vidas. Vredenburgh, que épa³s-doutorado em 2019-2020 no McCoy Family Center for Ethics in Society e no Institute for Human Centered Human Intelligence na Stanford University, em breve iniciara¡ um cargo de professor assistente no Departamento de Filosofia, La³gica e Manãtodo Cienta­fico da London School of Economics.  

Aqui, ela fala sobre como se interessou pelo direito a uma explicação e o que significaria implementar esse direito.    

Como vocêdesenvolveu um interesse em anãtica e tecnologia?  

Fiz meu doutorado em filosofia em Harvard e, enquanto estava la¡, tive a oportunidade de fazer algum ensino de anãtica em ciência da computação como parte de um programa chamado Embedded EthiCS. Na verdade, eu entrei nisso sem saber muito sobre ciência da computação. Então, do lado deles, os cientistas da computação estavam se perguntando: "a‰ticos, quem são eles e o que fazem?" enquanto eu pensava: "Cientistas da computação, quem são eles e o que fazem?" Mas acontece que, ao pensar nos aspectos morais da tecnologia, érealmente incrivelmente valioso ter um entendimento detalhado da própria tecnologia e de quais são os impactos sociais. 

Existem muitos tópicos que não estariam no meu radar se eu não tivesse tido a experiência do EthiCS incorporado de entrar nessas salas de aula e projetar ma³dulos de anãtica destinados a mostrar aos alunos que eles estavam fazendo algumas suposições morais em suas pesquisas em ciência da computação, ou que a tecnologia que estavam desenvolvendo teve sanãrios impactos sociais que precisavam considerar. Por meio dessas experiências, percebi que havia muito espaço para pesquisas interdisciplinares fruta­feras, bem como de filosofia moral direta, sobre as preocupações morais levantadas pela tecnologia. 

Como vocêconheceu o “direito a uma explicação” e o que o levou a estuda¡-la?  

Primeiro, o Regulamento Geral de Proteção de Dados (GDPR) da Unia£o Europeia prevaª que as pessoas tenham direito a "informações significativas" sobre a lógica por trás das decisaµes automatizadas usando seus dados. Essa lei, de uma maneira interessante e potencialmente radical, parece exigir que qualquer tomada de decisão automatizada a que as pessoas estejam sujeitas seja explica¡vel a  pessoa afetada. Isso me fez pensar: o que isso significa? Como implementamos isso? E o que explicação realmente significa aqui?

Mas também cheguei a esse ta³pico atravanãs dos tipos de experiências cotidianas que a maioria de nosteve ao enfrentar instituições complexas que tomam decisaµes que impactam muito nossas vidas - e onde podemos não entender o que estãoacontecendo. 

O exemplo que eu gosto de usar éO julgamento de Kafka [no qual o personagem principal, Josef K, épreso, preso e executado sem nunca saber o que ele éacusado]. O julgamento étão horra­vel para nós, não apenas porque uma pessoa inocente épunida, mas também porque o personagem principal não pode fazer as coisas para tornar o processo justo. Ele não pode responder a  acusação de contesta¡-la. a‰ profundamente preocupante para nós, porque ele não tem as informações necessa¡rias para que as instituições ba¡sicas da sociedade funcionem moralmente bem. 

Esses exemplos gaªmeos me fizeram pensar sobre o uso de tecnologia e algoritmos no sistema de justia§a criminal para ajudar a definir a fiana§a, por exemplo, onde a tecnologia talvez seja proprieta¡ria ou complexa e difa­cil de entender. Vocaª se preocupa que, nesses contextos, as pessoas não tenham as informações necessa¡rias para tornar a justia§a criminal ou outros processos de tomada de decisão justos.

Por que éútil pensar em ter esse direito?

Quando identificamos algo como um direito, pensamos: "isso éalgo de suprema importa¢ncia moral, de modo que os custos teriam que ser bastante altos se não fosse para implementa¡-lo". Olhe para algo como assistaªncia médica. Isso éalgo de suprema importa¢ncia moral, de tal forma que teria de ter um custo muito alto para nós, como sociedade, para não fornecer assistaªncia médica a alguém .

Obviamente, quando vocêestãopensando em implementar um novo direito, precisa garantir que ele não crie custos ainda maiores ou levante objeções ainda maiores. Por exemplo, se implementar um direito a uma explicação significa que os tomadores de decisão precisam explicar todas as suas decisaµes, alguns podem objetar que isso seria tão caro que não devemos implementa¡-lo. Ou eles podem objetar que alguns algoritmos proprieta¡rios complexos podem ter vantagens, mesmo que sejam opacos. Por exemplo, talvez eles encontrem padraµes complexos e produzam decisaµes que tornem o mundo mais justo e tera­amos que desistir disso porque são muito difa­ceis de explicar. Se vocêestiver desenvolvendo uma proposta para implementar o direito a uma explicação, éimportante lidar com esses custos.

No entanto, se vocêfizer uma análise de custo-benefa­cio sem levar em conta a importa¢ncia moral das explicações, podera¡ apresentar o que temos agora, para ser honesto. Que os empregadores não precisam explicar por que despedem pessoas e, definitivamente, não precisam explicar por que não contrataram alguém . No sistema de justia§a criminal, vocêobtanãm muitos algoritmos proprieta¡rios, nos quais eles podem dizer que fizeram uma análise de custo-benefa­cio e, em geral, parece mais eficiente ou melhor para o bem-estar, mas a justificativa anã, na melhor das hipa³teses, incompleta.  

Mas a força de identificar algo como um direito éque eu, como indiva­duo, posso objetar que, mesmo que o sistema seja melhor no geral, na verdade meus direitos estãosendo violados, então teremos que redesenhar o sistema para torna¡-lo justo.

A implementação desse direito potencialmente sobrecarregaria os indivíduos a procurar explicações sobre tecnologias complexas?  

NasuperfÍcie, parece colocar um fardo enorme para os indiva­duos. Na³s mal temos tempo para manter contato com os entes queridos e lavar nossas roupas e loua§a. Como podemos esperar que as pessoas coloquem e lidem com essas novas informações?

Por esse motivo, quaisquer alterações tera£o que ser estruturais. Por exemplo, o direito a uma explicação pode significar que cada um de nostem um representante fiducia¡rio para nossos dados. Essa poderia ser uma estrutura mais realista e também desejável para uma proposta - terceiros que tem esse trabalho em que as pessoas podem ir atéelas e dizer: "Estou confuso sobre o motivo de isso estar acontecendo comigo, vocêpode me esclarecer?" a€s vezes, todos precisamos de um especialista, e muitas vezes o que torna os resultados injustos éque as pessoas não podem pagar por esses especialistas, para obter resultados piores.  

Existem áreas em que esse direito émais ou menos importante?

Na³s, como sociedade, temos que assumir alguns compromissos morais fundamentais sobre o que os tomadores de decisão em diferentes tipos de doma­nios devem a s pessoas. Por exemplo, no campo da lei, érealmente importante que as regras sejam claras, para que possamos evitar ser presos, pois isso pode afetar seriamente nossas vidas.  

Agora pegue o caso da contratação. Podemos decidir - e de fato parecemos ter decidido - que não precisamos de tantas explicações nesse doma­nio. Talvez seja porque pensamos que éo setor privado e, portanto, a eficiência ésuper importante. Portanto, talvez a melhor história moral disso seja: "Ei, esta¡vamos sendo eficientes, e sua aplicação não era boa o suficiente, eis algumas dicas gerais do porquaª", mas isso étudo o que o tomador de decisão deve a s pessoas que não ' não contrate.   

a‰ importante ir atéos fundamentos morais e dizer, para cada tipo de doma­nio, o que émoralmente mais importante e que tipo de informação precisamos fornecer a s pessoas. 

Poderia exigir explicações incentivando os projetistas de algoritmos a projetar algoritmos moralmente justifica¡veis ​​desde o ina­cio? Em vez de pensar: "Eu tenho esse algoritmo e agora tenho que explica¡-lo", os engenheiros devem pensar: "Vou ter que explicar isso no futuro, para que seja melhor fazer da sociedade uma coisa boa"?

Isso estãoabsolutamente certo. Eu acho que as explicações são incrivelmente importantes, mas a s vezes ficamos muito confusos se as regras são transparentes ou se a metodologia do algoritmo éclara. a€s vezes, o que émais importante ou censura¡vel éque devera­amos estar fazendo isso? O objetivo para o qual construa­mos esse algoritmo foi um bom objetivo? E, se sim, fizemos isso bem?  

Se as pessoas que constroem tecnologia na esfera pública ou privada sabem que, quando implementam um sistema, tera£o que justifica¡-la com precisão, então esperamos que isso crie incentivos para a criação de algoritmos moralmente justifica¡veis. Além disso, criara¡ uma expectativa entre as pessoas da sociedade em geral de que éisso que elas podem esperar. E se não éisso que eles recebem, eles podem responsabilizar os tomadores de decisão e ter uma conversa robusta e inclusiva sobre se os sistemas tecnola³gicos correspondem a  nossa visão moral individual ou compartilhada de como a sociedade deveria ser.

 

.
.

Leia mais a seguir