Isso é de acordo com pesquisadores do Centro Leverhulme da Universidade de Cambridge para o Futuro da Inteligência (CFI) em dois artigos, publicados hoje no British Medical Journal, alertando contra o uso cego de IA para coleta de dados e tomada de decisões médicas enquanto lutamos para recuperar alguma normalidade em 2021.

"Relaxar os requisitos éticos em uma crise pode ter consequências prejudiciais não intencionais que duram muito além da vida da pandemia", disse o Dr. Stephen Cave, diretor do CFI e autor principal de um dos artigos .

"A introdução repentina de IA complexa e opaca, automatizando julgamentos antes feitos por humanos e sugando informações pessoais, pode prejudicar a saúde de grupos desfavorecidos, bem como a confiança pública de longo prazo na tecnologia."

Em outro artigo , de coautoria da Dra. Alexa Hagerty do CFI, os pesquisadores destacam as consequências potenciais decorrentes da IA ​​agora fazendo escolhas clínicas em escala - prevendo taxas de deterioração de pacientes que podem precisar de ventilação, por exemplo - se o fizer com base em dados tendenciosos .

Os conjuntos de dados usados ​​para "treinar" e refinar algoritmos de aprendizado de máquina são inevitavelmente distorcidos contra grupos que acessam serviços de saúde com menos frequência, como comunidades étnicas minoritárias e aqueles de "status socioeconômico inferior".

"COVID-19 já teve um impacto desproporcional nas comunidades vulneráveis. Sabemos que esses sistemas podem discriminar, e qualquer viés algorítmico no tratamento da doença pode acertar um golpe mais brutal", disse Hagerty.

Em dezembro, protestos ocorreram quando o algoritmo do Centro Médico de Stanford priorizou os trabalhadores domésticos para vacinação em vez daqueles nas enfermarias de Covid. "Os algoritmos agora são usados ​​em escala local, nacional e global para definir a alocação de vacinas. Em muitos casos, a IA desempenha um papel central na determinação de quem está melhor colocado para sobreviver à pandemia", disse Hagerty.

"Em uma crise de saúde dessa magnitude, as apostas para justiça e equidade são extremamente altas."

Junto com colegas, Hagerty destaca o "aumento da discriminação" bem estabelecido encontrado na IA que usa a tecnologia de "processamento de linguagem natural" para coletar perfis de sintomas de registros médicos - refletindo e exacerbando preconceitos contra minorias já nas anotações do caso.

Eles ressaltam que alguns hospitais já usam essas tecnologias para extrair informações diagnósticas de uma série de registros, e alguns agora estão usando essa IA para identificar sintomas de infecção por COVID-19.

Da mesma forma, o uso de aplicativos de rastreamento e rastreamento cria o potencial para conjuntos de dados tendenciosos. Os pesquisadores escrevem que, no Reino Unido, mais de 20% das pessoas com mais de 15 anos não possuem habilidades digitais essenciais, e até 10% de alguns "subgrupos" da população não possuem smartphones.

"Quer se originem de registros médicos ou tecnologias cotidianas, conjuntos de dados tendenciosos aplicados de uma maneira única para lidar com o COVID-19 podem ser prejudiciais para aqueles que já estão em desvantagem", disse Hagerty.

Nos artigos do BMJ, os pesquisadores apontam exemplos como o fato de que a falta de dados sobre a cor da pele torna quase impossível para os modelos de IA produzir cálculos precisos em grande escala dos níveis de oxigênio no sangue. Ou como uma ferramenta algorítmica usada pelo sistema prisional dos EUA para calibrar a reincidência - e comprovadamente tendenciosa - foi reaproveitada para gerenciar seu risco de infecção por COVID-19.

O Centro Leverhulme para o Futuro da Inteligência lançou recentemente o primeiro curso de mestrado do Reino Unido em ética em IA . Para Cave e colegas, o aprendizado de máquina na era Covid deveria ser visto pelo prisma da ética biomédica - em particular os "quatro pilares".

O primeiro é a beneficência. "O uso de IA tem como objetivo salvar vidas, mas isso não deve ser usado como uma justificativa geral para estabelecer precedentes indesejáveis, como o uso generalizado de software de reconhecimento facial", disse Cave.

Na Índia, os programas de identidade biométrica podem ser vinculados à distribuição de vacinação, levantando preocupações quanto à privacidade e segurança dos dados. Outros algoritmos de alocação de vacina, incluindo alguns usados ​​pela aliança COVAX, são conduzidos por IA privada, diz Hagerty. "Algoritmos proprietários tornam difícil olhar para a 'caixa preta' e ver como eles determinam as prioridades das vacinas."

A segunda é a 'não maleficência', ou seja, evitar danos desnecessários. Um sistema programado exclusivamente para preservar a vida não levará em consideração as taxas de 'longa cobiça', por exemplo. Em terceiro lugar, a autonomia humana deve fazer parte do cálculo. Os profissionais precisam confiar nas tecnologias, e os designers devem considerar como os sistemas afetam o comportamento humano - desde precauções pessoais até decisões de tratamento.

Finalmente, a IA baseada em dados deve ser sustentada por ideais de justiça social. "Precisamos envolver diversas comunidades e consultar uma gama de especialistas, de engenheiros a equipes médicas de linha de frente. Devemos ser abertos sobre os valores e compensações inerentes a esses sistemas", disse Cave.

"A IA tem o potencial de nos ajudar a resolver problemas globais, e a pandemia é indiscutivelmente importante. Mas contar com uma IA poderosa neste tempo de crise traz desafios éticos que devem ser considerados para garantir a confiança do público."