Tecnologia Científica

Tecnologia projetada para ajudar deficientes visuais pode se beneficiar da colaboração entre humanos e IA
De acordo com pesquisadores do Penn State College of Information Sciences and Technology, existem alguns desafios que não podem ser resolvidos com as técnicas de visão computacional existentes . Em vez disso, os pesquisadores postulam
Por Jessica Hallman - 23/04/2022


Pixabay

A tecnologia de assistência à visão remota (RSA) – que conecta indivíduos com deficiência visual a agentes humanos por meio de uma chamada de vídeo ao vivo em seus smartphones – ajuda pessoas com visão reduzida ou sem visão a navegar em tarefas que exigem visão. Mas o que acontece quando a tecnologia de visão computacional existente não oferece suporte total a um agente no cumprimento de determinadas solicitações, como ler instruções em um frasco de remédio ou reconhecer informações de voo na tela digital de um aeroporto?

De acordo com pesquisadores do Penn State College of Information Sciences and Technology, existem alguns desafios que não podem ser resolvidos com as técnicas de visão computacional existentes . Em vez disso, os pesquisadores postulam que eles seriam melhor abordados por humanos e IA trabalhando juntos para melhorar a tecnologia e aprimorar a experiência tanto para usuários com deficiência visual quanto para os agentes que os apoiam.

Em um estudo recente apresentado na 27ª Conferência Internacional sobre Interfaces Inteligentes de Usuário (IUI) em março, os pesquisadores destacaram cinco problemas emergentes com RSA que, segundo eles, justificam um novo desenvolvimento na colaboração humano-IA. Resolver esses problemas pode avançar na pesquisa de visão computacional e iniciar a próxima geração de serviços RSA, de acordo com John M. Carroll, distinto professor de ciências e tecnologia da informação.

"Estamos interessados ​​em desenvolver esse paradigma em particular porque é uma atividade colaborativa envolvendo pessoas com e sem visão, bem como capacidades de visão computacional", disse Carroll. “Nós o enquadramos de uma maneira muito rica, onde há muitas questões interessantes de interação humano-humano, interação humano-tecnologia e inovação tecnológica ”.

Atualmente, a tecnologia de assistência à visão remota está disponível por meio de aplicativos gratuitos que conectam usuários com deficiência visual a voluntários com visão ou como um serviço pago conectando-os a agentes com visão. A tecnologia é implantada quando uma pessoa com deficiência visual precisa de ajuda em uma tarefa diária que exige visão – como encontrar uma mesa vazia em um restaurante, ler o rótulo de um pacote de comida ou identificar a cor de um objeto – e liga para um agente usando um vídeo ao vivo funcionar em seu dispositivo móvel. O agente então vê o mundo do usuário através dessa lente, servindo como seus olhos para ajudá-lo a navegar em sua solicitação.
 
Mas de acordo com Syed Billah, professor assistente do IST e coautor do artigo, o apoio que os agentes prestam não é fácil.

"Por exemplo, criar uma visão de mundo olhando através da câmera é mentalmente exigente para os agentes", disse Billah. "A boa notícia é que parte dessa tarefa pode ser transferida para computadores que executam um algoritmo de reconstrução 3D."

No entanto, parte do suporte que os agentes fornecem – como ajudar um usuário com deficiência visual a navegar em um estacionamento ou ler um rótulo em um frasco de medicamento – vem com apostas mais altas.

"Para resolver esses problemas, há espaço para melhorias com a atual tecnologia de visão computacional", disse Billah.

Em seu estudo, os pesquisadores revisaram as tecnologias RSA existentes e entrevistaram usuários para entender os desafios técnicos e de navegação que enfrentam ao usar o serviço. Eles então identificaram um subconjunto de desafios que poderiam ser abordados com as tecnologias de visão computacional existentes e propuseram ideias de design para abordá-los. Eles também identificaram cinco problemas emergentes que, devido à sua complexidade, não podem ser abordados pelas técnicas de visão computacional existentes.

Os pesquisadores acreditam que esses problemas podem levar a novas oportunidades para aprimorar o design e a experiência do RSA:

Reconhecer que objetos comumente identificados como obstáculos por câmeras de smartphones podem não ser considerados obstáculos por pessoas com deficiência visual, mas sim ferramentas úteis. Por exemplo, uma parede ao longo de uma calçada pode ser exibida como um obstáculo em aplicativos de navegação comuns, mas uma pessoa com deficiência visual andando com uma bengala pode contar com ela para percorrer seus passos.

Ajudar os usuários a navegar em seu ambiente quando um feed de câmera ao vivo pode ser perdido durante a baixa largura de banda do celular, o que ocorre frequentemente em ambientes internos.

Reconhecer conteúdo em telas LCD digitais, como informações de voo em um aeroporto ou painéis de controle de temperatura em um quarto de hotel.

Reconhecer textos em superfícies irregulares. Muitas vezes, informações importantes são impressas de forma a dificultar a leitura dos agentes humanos que auxiliam os deficientes visuais; por exemplo, instruções de medicação em um frasco de comprimidos curvo ou uma lista de ingredientes em um saco de batatas fritas.

Prever como as pessoas ou objetos fora do enquadramento se moverão. Os agentes devem ser capazes de comunicar rapidamente informações ambientais no ambiente público de um usuário, por exemplo, outros pedestres ou um carro em movimento, para ajudar o usuário a evitar colisões e mantê-lo seguro. No entanto, os pesquisadores descobriram que atualmente é difícil para os agentes rastrear essas outras pessoas e objetos e quase impossível prever suas trajetórias.

Os pesquisadores esperam que seu estudo melhore a experiência para usuários e agentes com deficiência visual.

"No futuro imaginamos que podemos usar a visão computacional para dar ao agente uma experiência muito imersiva e fornecer-lhe a tecnologia de realidade misturada", disse Rui Yu, doutorando do IST "E poderemos ajudar diretamente os utilizadores a obter algumas informações básicas sobre seu ambiente com base na tecnologia de visão computacional ."

Sooyeon Lee, ex-aluna de doutorado no College of IST e atual pesquisadora de pós-doutorado no Rochester Institute of Technology, e Jingyi Xie, estudante de doutorado em informática, também colaboraram no estudo, que foi apoiado pelos Institutos Nacionais de Saúde dos EUA e pela Biblioteca Nacional de Medicina.

 

.
.

Leia mais a seguir