Quando Erik Duhaime PhD '19 estava trabalhando em sua tese no Centro de Inteligência Coletiva do MIT, ele notou que sua esposa, então estudante de medicina, passava horas estudando em aplicativos que ofereciam cartões flash e questionários. Sua pesquisa havia mostrado que, como um grupo, os estudantes de medicina podiam classificar as lesões de pele com mais precisão do que os dermatologistas profissionais; o truque era medir continuamente o desempenho de cada aluno em casos com respostas conhecidas, jogar fora as opiniões das pessoas que eram ruins na tarefa e agrupar de forma inteligente as opiniões das pessoas que eram boas.

Combinando os hábitos de estudo de sua esposa com sua pesquisa, Duhaime fundou a Centaur Labs, uma empresa que criou um aplicativo móvel chamado DiagnosUs para reunir as opiniões de especialistas médicos sobre dados científicos e biomédicos do mundo real. Por meio do aplicativo, os usuários analisam qualquer coisa, desde imagens de lesões de pele potencialmente cancerígenas ou clipes de áudio de sons cardíacos e pulmonares que possam indicar um problema. Se os usuários forem precisos, o Centaur usa suas opiniões e concede a eles pequenos prêmios em dinheiro. Essas opiniões, por sua vez, ajudam as empresas de IA médica a treinar e melhorar seus algoritmos.

A abordagem combina o desejo de especialistas médicos de aprimorar suas habilidades com a necessidade desesperada de dados médicos bem rotulados por empresas que usam IA para biotecnologia, desenvolvimento de produtos farmacêuticos ou comercialização de dispositivos médicos.

“Percebi que os estudos de minha esposa poderiam ser um trabalho produtivo para desenvolvedores de IA”, lembra Duhaime. “Hoje temos dezenas de milhares de pessoas usando nosso aplicativo, e cerca de metade são estudantes de medicina que ficam maravilhados por ganhar dinheiro no processo de estudo. Portanto, temos essa plataforma gamificada em que as pessoas competem entre si para treinar dados e ganhar dinheiro se forem boas e melhorarem suas habilidades ao mesmo tempo - e, ao fazer isso, estão rotulando dados para equipes que constroem IA que salva vidas.

Duhaime concluiu seu doutorado sob a orientação de Thomas Malone, professor de administração de Patrick J. McGovern e diretor fundador do Center for Collective Intelligence.

“O que me interessou foi a sabedoria do fenômeno das multidões”, diz Duhaime. “Pergunte a um grupo de pessoas quantas jujubas há em uma jarra e a média de resposta de todos é bem próxima. Eu estava interessado em saber como você lida com esse problema em uma tarefa que requer habilidade ou experiência. Obviamente, você não quer apenas perguntar a um grupo de pessoas aleatórias se você tem câncer, mas, ao mesmo tempo, sabemos que uma segunda opinião em cuidados de saúde pode ser extremamente valiosa. Você pode pensar em nossa plataforma como uma maneira superalimentada de obter uma segunda opinião.”

Duhaime começou a explorar maneiras de alavancar a inteligência coletiva para melhorar os diagnósticos médicos. Em um experimento, ele treinou grupos de leigos e estudantes de medicina que ele descreve como “semi-especialistas” para classificar as condições da pele, descobrindo que, combinando as opiniões dos melhores profissionais, ele poderia superar os dermatologistas profissionais. Ele também descobriu que, combinando algoritmos treinados para detectar câncer de pele com as opiniões de especialistas, ele poderia superar qualquer um dos métodos por conta própria.

“O insight principal foi que você faz duas coisas”, explica Duhaime. “A primeira coisa é medir o desempenho das pessoas – o que parece óbvio, mas mesmo na área médica isso é pouco feito. Se você perguntar a um dermatologista se ele é bom, ele dirá: 'Sim, claro, sou dermatologista'. Eles não necessariamente sabem o quão bons são em tarefas específicas. A segunda coisa é que quando você recebe opiniões múltiplas, você precisa identificar complementaridades entre as diferentes pessoas. Você precisa reconhecer que o conhecimento é multidimensional, então é um pouco mais como montar a equipe ideal de trivialidades do que reunir as cinco pessoas que são as melhores na mesma coisa. Por exemplo, um dermatologista pode ser melhor na identificação do melanoma, enquanto outro pode ser melhor na classificação da gravidade da psoríase.”

Enquanto ainda cursava seu doutorado, Duhaime fundou a Centaur e começou a usar o ecossistema empreendedor do MIT para desenvolver ainda mais a ideia. Ele recebeu financiamento do Sandbox Innovation Fund do MIT em 2017 e participou do acelerador de inicialização delta v administrado pelo Martin Trust Center for MIT Entrepreneurship no verão de 2018. A experiência o ajudou a entrar no prestigiado acelerador Y Combinator no final daquele ano.

O aplicativo DiagnosUs, desenvolvido por Duhaime com os cofundadores da Centaur, Zach Rausnitz e Tom Gellatly, foi projetado para ajudar os usuários a testar e melhorar suas habilidades. Duhaime diz que cerca de metade dos usuários são estudantes de medicina e a outra metade são principalmente médicos, enfermeiros e outros profissionais médicos.

“É melhor do que estudar para provas, onde você pode ter questões de múltipla escolha”, diz Duhaime. “Eles conseguem ver casos reais e praticar.”

A Centaur reúne milhões de opiniões todas as semanas de dezenas de milhares de pessoas em todo o mundo. Duhaime diz que a maioria das pessoas ganha dinheiro com café, embora a pessoa que mais ganhou com a plataforma seja um médico da Europa Oriental que ganhou cerca de US$ 10.000.

“As pessoas podem fazer isso no sofá, podem fazer no T”, diz Duhaime. “Não parece trabalho – é divertido.”

A abordagem contrasta fortemente com a rotulagem de dados tradicional e a moderação de conteúdo de IA, que normalmente são terceirizadas para países com poucos recursos.

A abordagem do Centauro também produz resultados precisos. Em um artigo com pesquisadores do Brigham and Women's Hospital, do Massachusetts General Hospital (MGH) e da Eindhoven University of Technology, a Centaur mostrou que suas opiniões coletivas rotularam os ultrassons pulmonares de maneira tão confiável quanto os especialistas. Outro estudo com pesquisadores do Memorial Sloan Kettering mostrou que a rotulagem colaborativa de imagens dermatoscópicas era mais precisa do que a de dermatologistas altamente experientes. Além das imagens, a plataforma da Centaur também trabalha com vídeo, áudio, texto de fontes como trabalhos de pesquisa ou conversas anônimas entre médicos e pacientes e ondas de eletroencefalogramas (EEGs) e eletrocardiografias (ECGs).

A Centaur descobriu que os melhores artistas vêm de lugares surpreendentes. Em 2021, para coletar opiniões de especialistas sobre padrões de EEG, os pesquisadores realizaram um concurso por meio do aplicativo DiagnosUs em uma conferência com cerca de 50 epileptologistas, cada um com mais de 10 anos de experiência. Os organizadores confeccionaram uma camisa personalizada para presentear o vencedor do concurso, que presumiram estar presente na conferência.

Mas quando os resultados chegaram, um par de estudantes de medicina em Gana, Jeffery Danquah e Andrews Gyabaah, havia derrotado todos os presentes. O participante da conferência com a classificação mais alta ficou em nono lugar.

“Comecei fazendo isso pelo dinheiro, mas percebi que na verdade começou a me ajudar muito”, disse Gyabaah à equipe de Centaur mais tarde. “Houve momentos na clínica em que percebi que estava me saindo melhor do que os outros por causa do que aprendi no aplicativo DiagnosUs.”

Como a IA continua a mudar a natureza do trabalho, Duhaime acredita que o Centaur Labs será usado como uma verificação contínua dos modelos de IA.

“No momento, estamos ajudando as pessoas a treinar algoritmos principalmente, mas cada vez mais acho que seremos usados ??para monitorar algoritmos e em conjunto com algoritmos, basicamente servindo como humanos no circuito para uma série de tarefas”, diz Duhaime. “Você pode pensar em nós menos como uma forma de treinar IA e mais como parte do ciclo de vida completo, onde estamos fornecendo feedback sobre os resultados dos modelos ou monitorando o modelo.”

Duhaime vê o trabalho de humanos e algoritmos de IA cada vez mais integrados e acredita que o Centaur Labs tem um papel importante a desempenhar nesse futuro.

“Não é apenas treinar algoritmo, implantar algoritmo”, diz Duhaime. “Em vez disso, haverá essas linhas de montagem digitais em toda a economia, e você precisa de julgamento humano especializado sob demanda infundido em diferentes lugares ao longo da cadeia de valor”.