Sign2Text. Utilización de técnicas de aprendizaje profundo para el reconocimiento de lengua de signos.

Abstract

[ES]La lengua de signos es utilizada por las personas con discapacidad auditiva con el fin de comunicarse. Por norma general, las personas oyentes no tienen conocimiento de la misma. Por ello se ha planteado desarrollar un sistema de transcripción automática que permita a los oyentes que no conocen la lengua de signos comprender las palabras signadas por una persona sorda. Inicialmente se iba a utilizar un conjunto de datos con fragmentos de vídeo en los que personas signan palabras concretas. Finalmente, se ha empleado un conjunto de imágenes con los números del 0 al 9 en lengua de signos americana y se ha entrenado una red neuronal convolucional para la clasificación de los signos.

[EN]Sign language is used by people with hearing impairment in order to communicate. Usually, people do not know this language. This is the reason why developing an automatic transcription system that allows listeners, who do not know sign language to understand the words signed by a deaf person, has been considered. Initially, a dataset with short videos in which people sign specific words was going to be utilized. Finally, a set of images with the numbers from 0 to 9 in American Sign Language has been used and a convolutional neural network was trained to classify the signs.