Benjamin Warf, um renomado neurocirurgião do Hospital Infantil de Boston, está no Laboratório de Imersão do MIT.nano. A mais de 5.000 quilômetros de distância, seu avatar virtual está ao lado de Matheus Vasconcelos, no Brasil, enquanto o residente pratica uma delicada cirurgia em um modelo semelhante ao de uma boneca do cérebro de um bebê.

Com um par de óculos de realidade virtual, Vasconcelos é capaz de assistir o avatar de Warf demonstrar um procedimento de cirurgia cerebral antes de replicar ele mesmo a técnica e enquanto faz perguntas ao gêmeo digital de Warf.

“É uma experiência quase fora do corpo”, diz Warf ao observar seu avatar interagir com os residentes. “Talvez seja a sensação de ter um gêmeo idêntico?”

E esse é o objetivo: o gêmeo digital de Warf superou a distância, permitindo que ele estivesse funcionalmente em dois lugares ao mesmo tempo. “Foi meu primeiro treinamento com esse modelo e teve excelente desempenho”, diz Vasconcelos, residente de neurocirurgia da Faculdade de Ciências Médicas da Santa Casa de São Paulo, em São Paulo, Brasil. “Como residente, agora me sinto mais confiante e confortável ao aplicar a técnica em um paciente real sob a orientação de um professor.”

O avatar de Warf chegou por meio de um novo projeto lançado pela empresa de simuladores médicos e realidade aumentada (AR) EDUCSIM . A empresa faz parte da coorte 2023 do START.nano, o acelerador de tecnologia profunda do MIT.nano que oferece às startups em estágio inicial acesso com desconto aos laboratórios do MIT.nano.

Em março de 2023, Giselle Coelho, diretora científica do EDUCSIM e neurocirurgiã pediátrica da Santa Casa de São Paulo e do Hospital Infantil Sabará, começou a trabalhar com a equipe técnica do Laboratório de Imersão MIT.nano para criar o avatar de Warf. Em novembro, o avatar já treinava futuros cirurgiões como Vasconcelos.

“Tive a ideia de criar o avatar do Dr. Warf como prova de conceito e perguntei: 'Qual seria o lugar no mundo onde eles estariam trabalhando em tecnologias como essa?'”, diz Coelho. “Então encontrei o MIT.nano.”

Como residente em neurocirurgia, Coelho ficou tão frustrada com a falta de opções práticas de treinamento para cirurgias complexas que construiu seu próprio modelo de cérebro de bebê. O modelo físico contém todas as estruturas do cérebro e pode até sangrar, “simulando todas as etapas de uma cirurgia, desde a incisão até o fechamento da pele”, diz ela.

Ela logo descobriu que simuladores e demonstrações de realidade virtual (VR) reduziam a curva de aprendizado de seus próprios residentes. Coelho lançou o EDUCSIM em 2017 para ampliar a variedade e o alcance da formação para residentes e especialistas que buscam aprender novas técnicas.

Essas técnicas incluem um procedimento para tratar a hidrocefalia infantil que foi iniciado por Warf, diretor de neurocirurgia neonatal e congênita do Hospital Infantil de Boston. Coelho aprendeu a técnica diretamente com Warf e achou que seu avatar poderia ser o caminho para os cirurgiões que não podiam viajar para Boston se beneficiarem de sua experiência.

Para criar o avatar, Coelho trabalhou com Talis Reks, tecnólogo de TI de AR/VR/jogos/big data do Laboratório de Imersão.

“Muita tecnologia e hardware podem ser muito caros para as startups acessarem quando iniciam sua jornada empresarial”, explica Reks. “START.nano é uma maneira de permitir que eles utilizem e tenham recursos para as ferramentas e tecnologias que temos no Laboratório de Imersão do MIT.nano.”

Coelho e seus colegas precisavam de tecnologia de captura de movimento de alta fidelidade e alta resolução, captura de vídeo volumétrica e uma variedade de outras tecnologias VR/AR para capturar os movimentos hábeis dos dedos e as expressões faciais de Warf. Warf visitou o MIT.nano em diversas ocasiões para ser “capturado” digitalmente, incluindo a realização de uma operação no modelo físico do bebê enquanto usava luvas especiais e roupas com sensores embutidos.

“Essas tecnologias têm sido usadas principalmente para entretenimento ou VFX [efeitos visuais] ou CGI [imagens geradas por computador]”, diz Reks, “Mas este é um projeto único, porque estamos aplicando-o agora para a prática médica real e para o aprendizado real.”

Um dos maiores desafios, diz Reks, foi ajudar a desenvolver o que Coelho chama de “holotransporte” – transmitir a captura de vídeo 3D volumétrica de Warf em tempo real pela Internet para que seu avatar possa aparecer no treinamento médico transcontinental.

O avatar Warf possui modos síncronos e assíncronos. A formação que Vasconcelos recebeu foi na modalidade assíncrona, onde os residentes podem observar as demonstrações do avatar e colocar-lhe questões. As respostas, fornecidas em vários idiomas, vêm de algoritmos de IA baseados em pesquisas anteriores e em um extenso banco de perguntas e respostas fornecido por Warf.

No modo síncrono, Warf opera seu avatar à distância em tempo real, diz Coelho. “Ele podia andar pela sala, podia falar comigo, podia me orientar. É incrível."

Coelho, Warf, Reks e outros membros da equipe demonstraram uma combinação dos modos em uma segunda sessão no final de dezembro. Esta demonstração consistiu na captura volumétrica de vídeo ao vivo entre o Immersion Lab e o Brasil, espacializado e visível em tempo real através de headsets AR. Ele expandiu significativamente a demonstração anterior, que transmitia apenas dados volumétricos em uma direção por meio de uma exibição bidimensional.

Warf tem uma longa história de treinamento de neurocirurgiões pediátricos extremamente necessários em todo o mundo, mais recentemente por meio de sua organização sem fins lucrativos Neurokids. O treinamento remoto e simulado tem sido uma parte cada vez maior do treinamento desde a pandemia, diz ele, embora ele não sinta que algum dia substituirá completamente a instrução prática pessoal e a colaboração.

“Mas se de fato um dia pudéssemos ter avatares, como este da Giselle, em lugares remotos mostrando às pessoas como fazer as coisas e respondendo perguntas para elas, sem custo de viagem, sem custo de tempo e assim por diante, acho que seria pode ser realmente poderoso”, diz Warf.

O projeto avatar é especialmente importante para cirurgiões que atendem áreas remotas e carentes como a região amazônica do Brasil, diz Coelho. “Esta é uma forma de dar-lhes o mesmo nível de educação que obteriam em outros lugares e a mesma oportunidade de entrar em contato com o Dr. Warf.”

Um bebê tratado de hidrocefalia em uma clínica recente da Amazônia viajou 30 horas de barco para a cirurgia, segundo Coelho.

Treinar cirurgiões com o avatar, diz ela, “pode mudar a realidade deste bebê e pode mudar o futuro”.