Isso éde acordo com pesquisadores do Centro Leverhulme da Universidade de Cambridge para o Futuro da Inteligaªncia (CFI) em dois artigos, publicados hoje no British Medical Journal, alertando contra o uso cego de IA para coleta de dados e tomada de decisaµes médicas enquanto lutamos para recuperar alguma normalidade em 2021.

"Relaxar os requisitos anãticos em uma crise pode ter consequaªncias prejudiciais não intencionais que duram muito além da vida da pandemia", disse o Dr. Stephen Cave, diretor do CFI e autor principal de um dos artigos .

"A introdução repentina de IA complexa e opaca, automatizando julgamentos antes feitos por humanos e sugando informações pessoais, pode prejudicar a saúde de grupos desfavorecidos, bem como a confianção pública de longo prazo na tecnologia."

Em outro artigo , de coautoria da Dra. Alexa Hagerty do CFI, os pesquisadores destacam as consequaªncias potenciais decorrentes da IA ​​agora fazendo escolhas cla­nicas em escala - prevendo taxas de deterioração de pacientes que podem precisar de ventilação, por exemplo - se o fizer com base em dados tendenciosos .

Os conjuntos de dados usados ​​para "treinar" e refinar algoritmos de aprendizado de ma¡quina são inevitavelmente distorcidos contra grupos que acessam servia§os de saúde com menos frequência, como comunidades anãtnicas minorita¡rias e aqueles de "status socioecona´mico inferior".

"COVID-19 já teve um impacto desproporcional nas comunidades vulnera¡veis. Sabemos que esses sistemas podem discriminar, e qualquer vianãs algora­tmico no tratamento da doença pode acertar um golpe mais brutal", disse Hagerty.

Em dezembro, protestos ocorreram quando o algoritmo do Centro Manãdico de Stanford priorizou os trabalhadores domanãsticos para vacinação em vez daqueles nas enfermarias de Covid. "Os algoritmos agora são usados ​​em escala local, nacional e global para definir a alocação de vacinas. Em muitos casos, a IA desempenha um papel central na determinação de quem estãomelhor colocado para sobreviver a  pandemia", disse Hagerty.

"Em uma crise de saúde dessa magnitude, as apostas para justia§a e equidade são extremamente altas."

Junto com colegas, Hagerty destaca o "aumento da discriminação" bem estabelecido encontrado na IA que usa a tecnologia de "processamento de linguagem natural" para coletar perfis de sintomas de registros médicos - refletindo e exacerbando preconceitos contra minorias já nas anotações do caso.

Eles ressaltam que alguns hospitais já usam essas tecnologias para extrair informações diagnósticas de uma sanãrie de registros, e alguns agora estãousando essa IA para identificar sintomas de infecção por COVID-19.

Da mesma forma, o uso de aplicativos de rastreamento e rastreamento cria o potencial para conjuntos de dados tendenciosos. Os pesquisadores escrevem que, no Reino Unido, mais de 20% das pessoas com mais de 15 anos não possuem habilidades digitais essenciais, e até10% de alguns "subgrupos" da população não possuem smartphones.

"Quer se originem de registros médicos ou tecnologias cotidianas, conjuntos de dados tendenciosos aplicados de uma maneira única para lidar com o COVID-19 podem ser prejudiciais para aqueles que já estãoem desvantagem", disse Hagerty.

Nos artigos do BMJ, os pesquisadores apontam exemplos como o fato de que a falta de dados sobre a cor da pele torna quase impossí­vel para os modelos de IA produzir ca¡lculos precisos em grande escala dos na­veis de oxigaªnio no sangue. Ou como uma ferramenta algora­tmica usada pelo sistema prisional dos EUA para calibrar a reincidaªncia - e comprovadamente tendenciosa - foi reaproveitada para gerenciar seu risco de infecção por COVID-19.

O Centro Leverhulme para o Futuro da Inteligaªncia lançou recentemente o primeiro curso de mestrado do Reino Unido em anãtica em IA . Para Cave e colegas, o aprendizado de ma¡quina na era Covid deveria ser visto pelo prisma da anãtica biomédica - em particular os "quatro pilares".

O primeiro éa beneficaªncia. "O uso de IA tem como objetivo salvar vidas, mas isso não deve ser usado como uma justificativa geral para estabelecer precedentes indesejáveis, como o uso generalizado de software de reconhecimento facial", disse Cave.

Na andia, os programas de identidade biomanãtrica podem ser vinculados a  distribuição de vacinação, levantando preocupações quanto a  privacidade e segurança dos dados. Outros algoritmos de alocação de vacina, incluindo alguns usados ​​pela aliana§a COVAX, são conduzidos por IA privada, diz Hagerty. "Algoritmos proprieta¡rios tornam difa­cil olhar para a 'caixa preta' e ver como eles determinam as prioridades das vacinas."

A segunda éa 'não maleficaªncia', ou seja, evitar danos desnecessa¡rios. Um sistema programado exclusivamente para preservar a vida não levara¡ em consideração as taxas de 'longa cobia§a', por exemplo. Em terceiro lugar, a autonomia humana deve fazer parte do ca¡lculo. Os profissionais precisam confiar nas tecnologias, e os designers devem considerar como os sistemas afetam o comportamento humano - desde precauções pessoais atédecisaµes de tratamento.

Finalmente, a IA baseada em dados deve ser sustentada por ideais de justia§a social. "Precisamos envolver diversas comunidades e consultar uma gama de especialistas, de engenheiros a equipes médicas de linha de frente. Devemos ser abertos sobre os valores e compensações inerentes a esses sistemas", disse Cave.

"A IA tem o potencial de nos ajudar a resolver problemas globais, e a pandemia éindiscutivelmente importante. Mas contar com uma IA poderosa neste tempo de crise traz desafios anãticos que devem ser considerados para garantir a confianção do paºblico."