Reconhecimento de sinais da libras utilizando descritores de forma e redes neurais artificiais

Abstract

Gestos são ações corporais não-verbais voltadas para a expressão de algum significado. Estes incluem movimentos de mãos, face, braços, dedos, entre outros, sendo abordados por trabalhos que visam reconhecê-los para promover interações humanas com sistemas computacionais. Devido à grande aplicabilidade do reconhecimento de gestos, tem-se notado que estes trabalhos estão se tornando mais comuns, utilizando técnicas e metodologias mais elaboradas e capazes de prover resultados cada vez melhores. A opção por quais técnicas aplicar para o reconhecimento de gestos varia de acordo com a estratégia empregada em cada trabalho e quais aspectos são utilizados para este reconhecimento. Tem-se, por exemplo, trabalhos baseados no uso de modelos estatísticos. Outros optam pela aquisição de características geométricas de mãos e partes do corpo, enquanto outros, dentre os quais se enquadra o presente trabalho, optam pelo uso de descritores e classificadores, responsáveis por extrair características das imagens relevantes para o seu reconhecimento e; por realizar a classificação efetiva dos gestos baseado nestas informações. Neste âmbito, o presente trabalho visa elaborar, aplicar e apresentar uma abordagem para o reconhecimento de gestos, embasando-se em uma revisão da literatura a respeito das principais técnicas e metodologias empregadas para este fim e escolhendo como campo prático, a Língua Brasileira de Sinais (Libras). Para a extração de informações das imagens, optou-se pelo uso de um vetor de características resultante da aplicação dos descritores Histograma de Gradientes Orientados (HOG) e Momentos Invariantes de Zernike (MIZ), os quais voltam-se para as formas e contornos presentes nas imagens. Para o reconhecimento, foi utilizado o classificador Perceptron Multicamada, sendo este disposto em uma arquitetura onde o processo de classificação é dividido em 2 estágios. Devido à inexistência de datasets públicos da Libras, fez-se necessária, com o auxílio de especialistas da língua e alunos surdos, a criação de um dataset de 9600 imagens, as quais referem-se a 40 sinais da Libras. Isso fez com que a presente abordagem partisse desta criação do dataset até a etapa final de classificação dos sinais. Por fim, testes foram realizados e obteve-se 96,77% de taxa de acerto, evidenciando um alto índice de acerto. Este resultado foi validado considerando possíveis ameaças à abordagem, como a realização de testes considerando um indivíduo não-presente no conjunto de treinamento do classificador e a aplicação da abordagem em um dataset público de gestos.