Tecnologia Científica

A abordagem de um monge budista zen na democratização da IA
O cientista social discute a narrativa problemática da IA ​​e o que perdemos em uma corrida armamentista na China / EUA.
Por Katharine Miller - 30/05/2020


Colin Garvey é pesquisador do Instituto de Inteligência Artificial Centrado no Homem
de Stanford. 

Colin Garvey, pesquisador de pós-doutorado no Centro de Segurança e Cooperação Internacional da Universidade de Stanford (CISAC) e no Instituto de Inteligência Artificial Centrada no Homem (HAI), seguiu um caminho incomum em seus estudos nas ciências sociais da tecnologia. Depois de se formar na faculdade, ele ensinou inglês no Japão por quatro anos, período durante o qual também se tornou um monge zen-budista. Em 2014, ele retornou aos EUA, onde ingressou em um programa de doutorado em estudos de ciência e tecnologia no Rensselaer Polytechnic Institute. Logo depois, Stephen Hawking foi co-autor de um editorial no The Guardian avisando que a inteligência artificial pode ter consequências catastróficas se não aprendermos a evitar os riscos que ela representa. Em seu trabalho de pós-graduação, Garvey começou a entender quais são esses riscos e como pensar sobre eles de forma produtiva. 

Como bolsista da HAI, Garvey está trabalhando para transformar sua tese de doutorado em um livro intitulado Terminado? Como as sociedades podem evitar a próxima catástrofe da IA . Ele também está preparando um relatório de política sobre governança de risco de IA para um think tank baseado em Washington, DC, e edição de convidado “AI and Its Discontents”, uma edição especial da Interdisciplinary Science Reviews, apresentando diversas contribuições de sociólogos a cientistas da computação, devido a isso. Dezembro.

Aqui ele discute a necessidade de mudar a maneira como pensamos e conversamos sobre a IA e a importância de democratizar a IA de maneira significativa.

Como a tendência do público de ver a IA em termos utópicos ou distópicos afeta nossa capacidade de entender a IA?

O risco de aceitar a narrativa utópica ou distópica é que ela reforça uma atitude muito comum em relação à evolução da IA ​​e da tecnologia em geral, que alguns estudiosos descrevem como determinismo tecnológico. Ou as forças do mercado são inevitáveis ​​ou, como alguns defensores da IA ​​podem dizer, é o destino humano desenvolver uma máquina mais inteligente que os humanos e esse é o próximo passo na evolução. 

Eu acho que essa narrativa sobre inevitabilidade é realmente implementada politicamente para prejudicar a capacidade do público de pensar claramente sobre essa tecnologia. Se parece inevitável, o que mais há a dizer, exceto "é melhor eu me adaptar"? Quando a deliberação sobre a IA é estruturada como viver com o impacto, isso é muito diferente de deliberar e aplicar o controle público sobre a escolha do tipo de impacto que as pessoas desejam. Narrativas de inevitabilidade, em última análise, ajudam a avançar a agenda dos beneficiários da IA, enquanto marginalizam os que estão em risco, deixando muito poucas opções.  

Outro problema é que essa maneira boa ou ruim de enquadrar o assunto reduz a IA a uma coisa, e essa não é uma boa maneira de pensar em problemas complexos. Tento dividir isso mapeando riscos em domínios específicos - político, militar, econômico, psicossocial, existencial etc. - para mostrar que há lugares onde a tomada de decisão pode ser diferente. Por exemplo, dentro de um domínio, podemos identificar quem está se beneficiando e quem está em risco. Isso nos permite fugir dessa imagem muito poderosa de um robô Terminator matando todo mundo, que é implantado com bastante frequência nesses tipos de conversas.  

A IA não é a primeira tecnologia a inspirar preocupações distópicas. Os pesquisadores de IA podem aprender com as formas como a sociedade lidou com os riscos de outras tecnologias, como energia nuclear e engenharia genética?  

Em meados do século 20, os cientistas sociais que criticaram a tecnologia eram muito pessimistas quanto à possibilidade de a humanidade controlar essas tecnologias, especialmente as nucleares. Havia uma grande preocupação com a possibilidade de desencadear algo fora do nosso controle. Mas no final da década de 1980, uma segunda geração de críticos em ciência e tecnologia analisou a situação e disse: aqui estamos e não explodimos o mundo com armas nucleares, não lançamos uma praga sintética que causou câncer no mundo. maioria da população. Poderia ter sido muito pior, e por que não? Meu orientador, Ned Woodhouse, analisou esses exemplos e perguntou, quando tudo deu certo, por quê? Como a catástrofe foi evitada? E ele identificou cinco estratégias que formam a abordagem de tentativa e erro inteligente sobre a qual eu escrevi em relação à IA.

Uma das estratégias inteligentes de tentativa e erro é a deliberação pública. Especificamente, para evitar desastres, a deliberação deve ser implantada no início do desenvolvimento; uma ampla diversidade de preocupações deve ser debatida; os participantes devem estar bem informados; e as deliberações devem ser profundas e recorrentes. Você acha que a IA está indo bem nesse sentido?

Eu diria que a estratégia de deliberação poderia ser utilizada mais profundamente na tomada de decisões sobre riscos na IA. A IA provocou muitas conversas desde 2015. Mas a AI teve origem nos anos 50. Uma coisa que eu descobri é que o ciclo de boom e busto do hype da IA ​​levando à desilusão e a um acidente, que aconteceu aproximadamente duas vezes na história da IA, foi paralelo a uma deliberação bastante difundida em torno da IA. Por exemplo, nos anos 50 e 60, houve conversas sobre cibernética e automação. E nos anos 80, houve muita deliberação sobre a IA também. Por exemplo, na reunião de 1984 da ACM [Association for Computing Machinery], houve painéis científicos sociais sobre os impactos sociais da IA ​​na conferência principal. Portanto, houve muita deliberação sobre o risco de IA, mas é esquecido toda vez que a IA entra em colapso e desaparece no que é conhecido popularmente como "inverno da IA". Considerando que, com a tecnologia nuclear, a preocupação tem sido mais constante e isso influenciou a trajetória da indústria nuclear.  

Uma maneira de observar o quão pouca deliberação está acontecendo é examinar exemplos de violações de privacidade em que nossos dados são usados ​​por uma empresa de IA para treinar um modelo sem o nosso consentimento. Poderíamos dizer que é um problema ético, mas isso não diz como resolvê-lo. Eu o reformularia como um problema que surgiu porque as decisões foram tomadas sem representantes do público na sala para defender o direito à privacidade dos cidadãos. Isso coloca um quadro sociológico claro em torno do problema e sugere uma estratégia potencial para abordá-lo em um ambiente institucional de tomada de decisão.  

Google, Microsoft e outras grandes empresas disseram que querem democratizar a IA, mas parecem se concentrar em tornar o software aberto e compartilhar dados e códigos. O que você acha que deveria significar para a IA ser democratizada? 

Ao contrário da democratização econômica, que significa fornecer acesso a um produto ou tecnologia, estou falando de democratização política, que significa algo mais como controle popular. Isso não é regra da máfia; a prudência é uma parte essencial da estrutura. A afirmação fundamental é que o sistema político de tomada de decisão democrática é uma maneira de alcançar resultados mais inteligentes em geral, em comparação com as alternativas. A sabedoria das multidões é um efeito de ordem superior que pode surgir quando grupos de pessoas interagem.

Acho que a IA nos apresenta esse desafio para a tomada de decisões institucionais e sociais, na medida em que você obtém máquinas mais inteligentes, precisará de democracias mais inteligentes para governar. Meu livro, baseado em minha dissertação, oferece algumas estratégias para melhorar a inteligência da tomada de decisão.

Qual é um exemplo de como a IA democratizante pode fazer a diferença hoje?

Uma área em que estou assistindo de perto e trabalhando é a corrida armamentista de IA com a China. É pintado como uma imagem da China autoritária, por um lado, e da democracia, por outro. E o governo atual está financiando o que eles chamam de "IA com valores americanos". Eu diria que é ótimo, mas onde está a democracia entre esses valores? Porque se eles se referem apenas aos valores do mercado, esses são valores chineses agora. Não há nada de distinto nos valores de mercado em um mundo de capitalismo global. Portanto, se a democracia é a característica distintiva da América, eu gostaria de ver as grandes empresas de tecnologia construídas com essa força, em vez de, como vejo agora, convencer os formuladores de políticas e funcionários do governo a gastar mais em IA militar. Se aprendemos alguma coisa com a última corrida armamentista da Guerra Fria, é que realmente não há vencedores. Acho que uma guerra fria de várias décadas com a China por causa da IA ​​seria uma corrida ao fundo. Muitos cientistas da IA ​​provavelmente concordariam, mas a mesma narrativa enquadrada em termos de inevitabilidade e determinismo tecnológico é frequentemente usada aqui no espaço de segurança para dizer: "Não temos escolha, temos que derrotar a China". Será interessante ver o que a P&D da IA ​​se justifica por essa narrativa. 

Existe uma conexão entre seu budismo e seu interesse em IA?

Quando as pessoas ouvem que eu sou um monge zen-budista, costumam dizer: você deve pedir aos programadores para meditar. Mas minha preocupação tem mais a ver com a redução do sofrimento no mundo. Eu vejo um enorme risco de um tipo profundo de sofrimento espiritual do qual já estamos obtendo alguma evidência. Mortes de desespero são uma epidemia nos Estados Unidos; e há um aumento acentuado de suicídio e depressão entre os adolescentes, mesmo na classe média. Portanto, existem alguns lugares surpreendentes onde a abundância material não se traduz em felicidade ou significado. As pessoas muitas vezes são capazes de suportar um sofrimento grave se souberem que é significativo. Mas sei que muitos jovens veem um futuro bastante sombrio para a humanidade e não sabem ao certo o significado disso tudo. E eu adoraria ver a IA desempenhando um papel mais positivo na solução desses graves problemas sociais. Mas também vejo um potencial de aumento de risco e sofrimento, fisicamente, talvez com robôs assassinos e carros sem motorista, mas potencialmente também sofrimento psicológico e pessoal. Tudo o que posso fazer para reduzir isso dá à minha bolsa uma orientação e um significado.  

Em um mundo em que grande parte da pesquisa e desenvolvimento de IA é privatizada e impulsionada por motivos de lucro capitalistas em empresas de todo o mundo, é possível que os líderes de pensamento de um lugar como Stanford façam a diferença na trajetória da pesquisa de IA em geral? 

Stanford certamente tem o capital institucional e o cachê cultural para influenciar a indústria de IA; a questão é como ele usará esse poder. Os principais problemas do século XXI são problemas de distribuição, não de produção. Já existe o suficiente para dar a volta; o problema é que uma pequena fração da humanidade monopoliza os recursos. Nesse contexto, tornar a IA mais “centrada no ser humano” exige foco nos problemas que a maioria da humanidade enfrenta, e não no Vale do Silício. 

Para ser pioneiro em uma agenda de pesquisa e desenvolvimento de IA centrada no ser humano, os líderes da HAI de Stanford e de outros países terão que resistir aos poderosos incentivos do capitalismo global e promover coisas como financiar a pesquisa de IA que aborda os problemas das pessoas pobres; incentivar a participação do público na tomada de decisões sobre o que a IA é necessária e onde; avançar a IA para o bem público, mesmo quando reduz lucros privados; educar o público honestamente sobre os riscos da IA; e desenvolver políticas que diminuam o ritmo da inovação para permitir que as instituições sociais lidem melhor com as mudanças tecnológicas. 

Stanford tem a chance de liderar o mundo com abordagens inovadoras para resolver grandes problemas com a IA, mas que problemas ele escolherá?

 

.
.

Leia mais a seguir