Os pesquisadores, da Universidade de Cambridge, usaram aprendizado de máquina para desenvolver ‘HotGestures’ – análogos às teclas de atalho usadas em muitos aplicativos de desktop.

HotGestures oferece aos usuários a capacidade de construir figuras e formas em realidade virtual sem nunca ter que interagir com um menu, ajudando-os a manter o foco em uma tarefa sem interromper a linha de pensamento.

A ideia de ser capaz de abrir e controlar ferramentas em realidade virtual tem sido um clichê do cinema há décadas, mas os pesquisadores dizem que esta é a primeira vez que tal habilidade “sobre-humana” se tornou possível. Os resultados são relatados na revista IEEE Transactions on Visualization and Computer Graphics .

A realidade virtual (VR) e aplicações relacionadas têm sido apontadas como revolucionárias há anos, mas fora dos jogos, a sua promessa não se concretizou totalmente. “Os usuários ganham algumas qualidades ao usar a RV, mas muito poucas pessoas querem usá-la por um longo período de tempo”, disse o professor Per Ola Kristensson, do Departamento de Engenharia de Cambridge, que liderou a pesquisa. “Além da fadiga visual e dos problemas ergonômicos, a VR não oferece nada que você não possa obter no mundo real.”

A maioria dos usuários de software de desktop estará familiarizada com o conceito de teclas de atalho – atalhos de comando como ctrl-c para copiar e ctrl-v para colar. Embora esses atalhos omitam a necessidade de abrir um menu para encontrar a ferramenta ou comando correto, eles dependem de o usuário ter memorizado o comando correto.

“Queríamos pegar o conceito de teclas de atalho e transformá-lo em algo mais significativo para a realidade virtual – algo que não dependesse do usuário já ter um atalho na cabeça”, disse Kristensson, que também é codiretor do Centro de Inteligência Artificial Inspirada no Homem .

Em vez de teclas de atalho, Kristensson e seus colegas desenvolveram o 'HotGestures', onde os usuários realizam um gesto com a mão para abrir e controlar a ferramenta necessária em ambientes de realidade virtual 3D.

Por exemplo, executar um movimento de corte abre a ferramenta tesoura e o movimento de pulverização abre a ferramenta lata de spray. Não há necessidade de o usuário abrir um menu para encontrar a ferramenta que precisa ou lembrar de um atalho específico. Os usuários podem alternar facilmente entre diferentes ferramentas executando diferentes gestos durante uma tarefa, sem precisar pausar o trabalho para navegar em um menu ou pressionar um botão em um controlador ou teclado.

“Todos nós nos comunicamos usando as mãos no mundo real, por isso fazia sentido estender esta forma de comunicação ao mundo virtual”, disse Kristensson.

Para o estudo, os pesquisadores construíram um sistema de reconhecimento de gestos de rede neural que pode reconhecer gestos realizando previsões em um fluxo de dados de entrada de mãos. O sistema foi construído para reconhecer dez gestos diferentes associados à construção de modelos 3D: caneta, cubo, cilindro, esfera, paleta, spray, cortar, dimensionar, duplicar e excluir.

A equipe realizou dois pequenos estudos onde os participantes usaram HotGestures, comandos de menu ou uma combinação. A técnica baseada em gestos forneceu atalhos rápidos e eficazes para seleção e uso de ferramentas. Os participantes consideraram o HotGestures diferenciado, rápido e fácil de usar, além de complementar a interação convencional baseada em menus. Os pesquisadores projetaram o sistema para que não houvesse falsas ativações – o sistema baseado em gestos foi capaz de reconhecer corretamente o que era um comando e o que era um movimento normal da mão. No geral, o sistema baseado em gestos foi mais rápido do que um sistema baseado em menus.

“Atualmente não existe nenhum sistema de VR disponível que possa fazer isso”, disse Kristensson. “Se usar VR é como usar um teclado e um mouse, então qual é o sentido de usá-lo? Precisa dar a você poderes quase sobre-humanos que você não conseguiria em outro lugar.”

Os pesquisadores disponibilizaram publicamente o código-fonte e o conjunto de dados para que os designers de aplicativos de RV possam incorporá-los em seus produtos.

“Queremos que esta seja uma forma padrão de interagir com VR”, disse Kristensson. “Há décadas que temos a velha e cansativa metáfora do arquivo. Precisamos de novas formas de interagir com a tecnologia e acreditamos que este é um passo nessa direção. Quando bem feito, a RV pode ser como mágica.”

A pesquisa foi apoiada em parte pelo Conselho de Pesquisa em Engenharia e Ciências Físicas (EPSRC), parte da Pesquisa e Inovação do Reino Unido (UKRI).