Machine Learning aplicado a locomoção na Realidade Virtual

Abstract

O objetivo deste trabalho é reconhecer a caminhada de uma pessoa para navegação em ambientes de Realidade Virtual (RV) , para isso foi desenvolvida uma nova solução de reconhecimento do andar através de Machine Learning (ML) aplicando Redes Neurais Convolucionais. Foi utilizada a infraestrutura de uma esteira de RV (KATVR) para as pessoas poderem caminhar em um mesmo ponto. O treinamento do modelo de ML foi feito com um dataset coletado a partir da posição e rotação dos pés no andar de diversos usuários, caminhando em diferentes direções e sentidos. O mecanismo que forneceu esses dados foram os rastreadores com 6 graus de liberdade (6DoF Vive trackers) junto com a game engine Unity. Nos testes realizados diretamente na rede neural, se obteve uma acurácia de 94%, com um tempo de resposta de em média 0,1 segundos. O sistema possibilita o caminhar em múltiplas direções. Assim, acredita-se que essa maneira de realizar a locomoção na RV seja promissora.