Tecnologia Científica

Winect: um sistema que rastreia poses humanas em 3D durante o movimento de forma livre
Este sistema foi apresentado em um artigo pré-publicado no arXiv e deve ser apresentado na Conferência ACM sobre Tecnologias Interativas, Móveis, Vestíveis e Ubíquas (Ubi Comp) 2021, um dos mais renomados eventos de ciência da computação em t
Por Ingrid Fadelli - 06/11/2021


O sistema Winect transmite sinais WiFi e analisa seus reflexos fora do corpo humano para gerar esqueletos humanos 3D dinâmicos. Crédito: Ren & Yang.

Dispositivos de detecção sem fio, ferramentas que permitem aos usuários detectar movimentos e monitorar remotamente atividades ou mudanças em ambientes específicos, têm muitas aplicações. Por exemplo, eles podem ser usados ​​para fins de vigilância, bem como para rastrear o sono ou atividades físicas de pacientes médicos e atletas. Alguns desenvolvedores de videogame também usaram sistemas de detecção sem fio para criar esportes mais envolventes ou jogos relacionados à dança.

Pesquisadores da Florida State University, Trinity University e Rutgers University desenvolveram recentemente o Winect, um novo sistema de detecção sem fio que pode rastrear as poses de humanos em 3D enquanto eles realizam uma ampla gama de atividades físicas de forma livre. Este sistema foi apresentado em um artigo pré-publicado no arXiv e deve ser apresentado na Conferência ACM sobre Tecnologias Interativas, Móveis, Vestíveis e Ubíquas (Ubi Comp) 2021, um dos mais renomados eventos de ciência da computação em todo o mundo.

"Nosso grupo de pesquisa tem conduzido pesquisas de ponta em sensoriamento sem fio", disse Jie Yang, um dos pesquisadores que realizou o estudo. "No passado, propusemos vários sistemas para usar sinais de Wi-Fi para detectar várias atividades e objetos humanos, desde atividades humanas em grande escala a movimentos de dedos em pequena escala, monitoramento do sono e objetos diários. Por exemplo, propusemos dois sistemas apelidados de E-eyes e WiFinger, que estão entre os primeiros trabalhos a utilizar o sensor de Wi-Fi para distinguir vários tipos de atividades diárias e gestos com os dedos. "

Embora os sistemas de detecção sem fio desenvolvidos pelos pesquisadores em seus estudos anteriores tenham alcançado resultados promissores, eles se baseiam principalmente em modelos que foram pré-treinados em um conjunto fixo de atividades conhecidas, portanto, eles só podem classificar um número limitado de poses ou movimentos humanos. Em seu novo estudo, Yang e seus colegas exploraram se também poderiam usar sinais de Wi-Fi para detectar atividades humanas de forma livre (ou seja, envolvendo movimentos rápidos e mais elaborados). O rastreamento preciso e a estimativa de movimentos de forma livre podem aprimorar vários aplicativos de computação do mundo real, incluindo implementações de realidade virtual (VR), fitness aprimorado por tecnologia e desenvolvimento de videogame.

Winect, o sistema criado pelos pesquisadores, pode examinar os movimentos em ambientes domésticos transmitindo sinais de Wi-Fi e analisando como esses sinais são refletidos no corpo humano. Isso permite rastrear movimentos de garfo livre e poses humanas em 3D.

A principal vantagem do Winect é que ele usa dispositivos de transmissão Wi-Fi que já estão dentro de um ambiente, como laptops, computadores desktop , TVs inteligentes ou alto-falantes inteligentes, para enviar os sinais de que precisa para examinar as atividades humanas. Posteriormente, ele emprega técnicas de aprendizagem profunda para criar uma versão digital dos movimentos 3D de corpo inteiro de um usuário, dividindo o corpo em diferentes partes separadas por articulações (por exemplo, cabeça, coluna, ombros, cotovelos, pulsos, quadris, joelhos e tornozelos) .
 
"Nosso sistema primeiro emite os sinais de Wi-Fi para sondar o ambiente doméstico e, em seguida, analisa os sinais refletidos no corpo humano para rastreamento de atividade de forma livre", explicou Yang. "Mais especificamente, ele extrai e analisa a fase dos sinais Wi-Fi recebidos para detectar a presença de atividades humanas e o número de membros em movimento. Em seguida, nosso sistema usa técnicas de processamento de sinal para separar os sinais Wi-Fi refletidos de cada movimento membro e rastreie a trajetória de cada membro. "

Winect cria uma versão digital das poses do corpo de um usuário humano em 3D usando técnicas de aprendizado profundo. Essencialmente, ele cria um esqueleto 3D do corpo de um usuário modelando a relação entre os movimentos dos membros e as articulações correspondentes.

O sistema dos pesquisadores tem inúmeras vantagens sobre outros sistemas de detecção sem fio existentes. Ao contrário dos dispositivos baseados em visão computacional, como Kinect ou Leap Motion, por exemplo, ele também pode detectar através das paredes e não é afetado por oclusões, já que não depende de uma câmera, mas de sinais de Wi-Fi que podem passar pelo corpo físico obstáculos.

"Em contraste com os sistemas vestíveis intrusivos, como o Xsens, que exigem que o usuário use ou fixe sensores de movimento ou marcadores visíveis no corpo humano, o Winect não requer sensores no corpo humano e, portanto, é transparente para os usuários", disse Yang. "Além disso, como o Winect pode reutilizar dispositivos Wi-Fi comuns em casa (por exemplo, laptop, desktops, smartTV, alto-falantes inteligentes), ele não incorre em um custo adicional e, portanto, é promissor para adoção em massa para usuários finais em casas inteligentes . "

Yang e seus colegas avaliaram seu sistema de detecção sem fio e descobriram que ele alcançou resultados notáveis. Em seus testes, Winect pôde rastrear atividades humanas de forma livre com precisão de centímetro em uma variedade de ambientes e cenários desafiadores. No geral, suas descobertas sugerem que os sinais de Wi-Fi refletidos do corpo humano carregam informações valiosas que podem ser usadas para extrair movimentos e poses humanos refinados.

"Os aplicativos de interação homem-computador, como movimentos de baixa granularidade, podem ser explorados para entender as atividades e comportamentos humanos para aplicativos de saúde inteligentes", disse Yang. "Por exemplo, em ambientes de envelhecimento no local, é muito útil entender as atividades e as mudanças comportamentais dos idosos para detectar quedas e outras situações de necessidade. Acompanhando as atividades diárias e gerando estatísticas para uma pessoa, é também é possível monitorar o bem-estar e sugerir intervenções que melhorem a saúde. "

No futuro, este sistema de estimativa de pose humana 3D pode ser usado para criar aplicativos mais envolventes e de melhor desempenho que envolvem o rastreamento de movimentos humanos de forma livre. Por exemplo, as poses 3D que ele prevê podem melhorar o desempenho de assistentes de fitness inteligentes e plataformas de RV.

Até agora, os pesquisadores se concentraram principalmente na detecção de atividades humanas sem analisar o contexto ou ambientes em que ocorrem. Em seus próximos estudos, no entanto, eles planejam criar sistemas que podem rastrear atividades humanas e prever intenções usando informações contextuais seguindo uma abordagem conhecido como sensor de contexto.

"Por exemplo, se um usuário está deitado na cama sem se mover, ele / ela pode estar dormindo ou simplesmente ouvindo música, então pode ser difícil para os sistemas existentes entenderem completamente o que estão sentindo sem o contexto", disse Yang . “Assim, é importante analisar as atividades humanas em conjunto com a cena em que se inserem, considerando o contexto semântico de seus conteúdos e as relações intrínsecas entre eles”.

 

.
.

Leia mais a seguir