Tecnologia Científica

Kate Vredenburgh: O direito a uma explicação
Temos o direito de saber como a IA toma decisões que afetam nossas vidas? Uma filosofa político compartilha sua perspectiva.
Por Katharine Miller - 25/06/2020


Kate Vredenburgh, colega da HAI: Devemos  explicações quando a IA toma decisões sobre nós.

Os bancos usam a IA para negar crédito às pessoas ; os proprietários usam verificações de antecedentes automatizadas para negar moradia aos requerentes; e os juízes recorrem aos sistemas de IA para ajudá-los a decidir quem deve receber a fiança negada . Freqüentemente, esses tomadores de decisão fornecem pouca ou nenhuma razão para suas ações, o que significa que as pessoas afetadas não têm base para objetar.  

Kate Vredenburgh diz que os indivíduos devem, de fato, explicações quando a IA toma decisões que afetam nossas vidas. Vredenburgh, que é pós-doutorado em 2019-2020 no McCoy Family Center for Ethics in Society e no Institute for Human Centered Human Intelligence na Stanford University, em breve iniciará um cargo de professor assistente no Departamento de Filosofia, Lógica e Método Científico da London School of Economics.  

Aqui, ela fala sobre como se interessou pelo direito a uma explicação e o que significaria implementar esse direito.    

Como você desenvolveu um interesse em ética e tecnologia?  

Fiz meu doutorado em filosofia em Harvard e, enquanto estava lá, tive a oportunidade de fazer algum ensino de ética em ciência da computação como parte de um programa chamado Embedded EthiCS. Na verdade, eu entrei nisso sem saber muito sobre ciência da computação. Então, do lado deles, os cientistas da computação estavam se perguntando: "Éticos, quem são eles e o que fazem?" enquanto eu pensava: "Cientistas da computação, quem são eles e o que fazem?" Mas acontece que, ao pensar nos aspectos morais da tecnologia, é realmente incrivelmente valioso ter um entendimento detalhado da própria tecnologia e de quais são os impactos sociais. 

Existem muitos tópicos que não estariam no meu radar se eu não tivesse tido a experiência do EthiCS incorporado de entrar nessas salas de aula e projetar módulos de ética destinados a mostrar aos alunos que eles estavam fazendo algumas suposições morais em suas pesquisas em ciência da computação, ou que a tecnologia que estavam desenvolvendo teve sérios impactos sociais que precisavam considerar. Por meio dessas experiências, percebi que havia muito espaço para pesquisas interdisciplinares frutíferas, bem como de filosofia moral direta, sobre as preocupações morais levantadas pela tecnologia. 

Como você conheceu o “direito a uma explicação” e o que o levou a estudá-la?  

Primeiro, o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia prevê que as pessoas tenham direito a "informações significativas" sobre a lógica por trás das decisões automatizadas usando seus dados. Essa lei, de uma maneira interessante e potencialmente radical, parece exigir que qualquer tomada de decisão automatizada a que as pessoas estejam sujeitas seja explicável à pessoa afetada. Isso me fez pensar: o que isso significa? Como implementamos isso? E o que explicação realmente significa aqui?

Mas também cheguei a esse tópico através dos tipos de experiências cotidianas que a maioria de nós teve ao enfrentar instituições complexas que tomam decisões que impactam muito nossas vidas - e onde podemos não entender o que está acontecendo. 

O exemplo que eu gosto de usar é O julgamento de Kafka [no qual o personagem principal, Josef K, é preso, preso e executado sem nunca saber o que ele é acusado]. O julgamento é tão horrível para nós, não apenas porque uma pessoa inocente é punida, mas também porque o personagem principal não pode fazer as coisas para tornar o processo justo. Ele não pode responder à acusação de contestá-la. É profundamente preocupante para nós, porque ele não tem as informações necessárias para que as instituições básicas da sociedade funcionem moralmente bem. 

Esses exemplos gêmeos me fizeram pensar sobre o uso de tecnologia e algoritmos no sistema de justiça criminal para ajudar a definir a fiança, por exemplo, onde a tecnologia talvez seja proprietária ou complexa e difícil de entender. Você se preocupa que, nesses contextos, as pessoas não tenham as informações necessárias para tornar a justiça criminal ou outros processos de tomada de decisão justos.

Por que é útil pensar em ter esse direito?

Quando identificamos algo como um direito, pensamos: "isso é algo de suprema importância moral, de modo que os custos teriam que ser bastante altos se não fosse para implementá-lo". Olhe para algo como assistência médica. Isso é algo de suprema importância moral, de tal forma que teria de ter um custo muito alto para nós, como sociedade, para não fornecer assistência médica a alguém.

Obviamente, quando você está pensando em implementar um novo direito, precisa garantir que ele não crie custos ainda maiores ou levante objeções ainda maiores. Por exemplo, se implementar um direito a uma explicação significa que os tomadores de decisão precisam explicar todas as suas decisões, alguns podem objetar que isso seria tão caro que não devemos implementá-lo. Ou eles podem objetar que alguns algoritmos proprietários complexos podem ter vantagens, mesmo que sejam opacos. Por exemplo, talvez eles encontrem padrões complexos e produzam decisões que tornem o mundo mais justo e teríamos que desistir disso porque são muito difíceis de explicar. Se você estiver desenvolvendo uma proposta para implementar o direito a uma explicação, é importante lidar com esses custos.

No entanto, se você fizer uma análise de custo-benefício sem levar em conta a importância moral das explicações, poderá apresentar o que temos agora, para ser honesto. Que os empregadores não precisam explicar por que despedem pessoas e, definitivamente, não precisam explicar por que não contrataram alguém. No sistema de justiça criminal, você obtém muitos algoritmos proprietários, nos quais eles podem dizer que fizeram uma análise de custo-benefício e, em geral, parece mais eficiente ou melhor para o bem-estar, mas a justificativa é, na melhor das hipóteses, incompleta.  

Mas a força de identificar algo como um direito é que eu, como indivíduo, posso objetar que, mesmo que o sistema seja melhor no geral, na verdade meus direitos estão sendo violados, então teremos que redesenhar o sistema para torná-lo justo.

A implementação desse direito potencialmente sobrecarregaria os indivíduos a procurar explicações sobre tecnologias complexas?  

Na superfície, parece colocar um fardo enorme para os indivíduos. Nós mal temos tempo para manter contato com os entes queridos e lavar nossas roupas e louça. Como podemos esperar que as pessoas coloquem e lidem com essas novas informações?

Por esse motivo, quaisquer alterações terão que ser estruturais. Por exemplo, o direito a uma explicação pode significar que cada um de nós tem um representante fiduciário para nossos dados. Essa poderia ser uma estrutura mais realista e também desejável para uma proposta - terceiros que têm esse trabalho em que as pessoas podem ir até elas e dizer: "Estou confuso sobre o motivo de isso estar acontecendo comigo, você pode me esclarecer?" Às vezes, todos precisamos de um especialista, e muitas vezes o que torna os resultados injustos é que as pessoas não podem pagar por esses especialistas, para obter resultados piores.  

Existem áreas em que esse direito é mais ou menos importante?

Nós, como sociedade, temos que assumir alguns compromissos morais fundamentais sobre o que os tomadores de decisão em diferentes tipos de domínios devem às pessoas. Por exemplo, no campo da lei, é realmente importante que as regras sejam claras, para que possamos evitar ser presos, pois isso pode afetar seriamente nossas vidas.  

Agora pegue o caso da contratação. Podemos decidir - e de fato parecemos ter decidido - que não precisamos de tantas explicações nesse domínio. Talvez seja porque pensamos que é o setor privado e, portanto, a eficiência é super importante. Portanto, talvez a melhor história moral disso seja: "Ei, estávamos sendo eficientes, e sua aplicação não era boa o suficiente, eis algumas dicas gerais do porquê", mas isso é tudo o que o tomador de decisão deve às pessoas que não ' não contrate.   

É importante ir até os fundamentos morais e dizer, para cada tipo de domínio, o que é moralmente mais importante e que tipo de informação precisamos fornecer às pessoas. 

Poderia exigir explicações incentivando os projetistas de algoritmos a projetar algoritmos moralmente justificáveis ​​desde o início? Em vez de pensar: "Eu tenho esse algoritmo e agora tenho que explicá-lo", os engenheiros devem pensar: "Vou ter que explicar isso no futuro, para que seja melhor fazer da sociedade uma coisa boa"?

Isso está absolutamente certo. Eu acho que as explicações são incrivelmente importantes, mas às vezes ficamos muito confusos se as regras são transparentes ou se a metodologia do algoritmo é clara. Às vezes, o que é mais importante ou censurável é que deveríamos estar fazendo isso? O objetivo para o qual construímos esse algoritmo foi um bom objetivo? E, se sim, fizemos isso bem?  

Se as pessoas que constroem tecnologia na esfera pública ou privada sabem que, quando implementam um sistema, terão que justificá-la com precisão, então esperamos que isso crie incentivos para a criação de algoritmos moralmente justificáveis. Além disso, criará uma expectativa entre as pessoas da sociedade em geral de que é isso que elas podem esperar. E se não é isso que eles recebem, eles podem responsabilizar os tomadores de decisão e ter uma conversa robusta e inclusiva sobre se os sistemas tecnológicos correspondem à nossa visão moral individual ou compartilhada de como a sociedade deveria ser.

 

.
.

Leia mais a seguir