TRADUCCIÓN AUTOMÁTICA DEL LENGUAJE DACTILOLÓGICO DE SORDOS Y SORDOMUDOS MEDIANTE SISTEMAS ADAPTATIVOS Translated title: AUTOMATIC TRANSLATION OF THE DACTILOLOGIC LANGUAGE OF HEARING IMPAIRED BY ADAPTIVE SYSTEMS

Abstract

Una de las principales limitaciones que presentan las personas con discapacidad auditiva está directamente relacionada con su dificultad para interactuar con otras personas, ya sea de forma verbal o a través de sistemas auxiliares basados en la voz y el audio. En este artículo se presenta el desarrollo de un sistema integrado de hardware y software, para el reconocimiento automático del lenguaje dactilológico de señas utilizado por personas con este tipo de discapacidad. El hardware está compuesto por un sistema inalámbrico adherido a un guante, el cual posee un conjunto de sensores que capturan una serie de señales generadas por los movimientos gestuales de la mano, y un modelo por adaptación basado en los principios de la computación neuronal, el cual permite su reconocimiento en términos de un lenguaje dactilológico en particular. Los resultados arrojados por el sistema integrado mostraron gran efectividad en el reconocimiento de las vocales que conforman el lenguaje dactilológico en español, esto gracias a la capacidad que posee el modelo de asociar un conjunto de señales de entrada, con un movimiento dactilológico en particular.

Translated abstract

One of the main limitations of the people with hearing impairment is directly related to their difficulty interacting with others, either verbally or through auxiliary systems based on voice and audio. This paper presents the development of an integrated system of hardware and software for automatic fingerspelling sign language used by people with this type of disability. The hardware system comprises a glove which has a set of wireless sensors that capture a series of signals generated by the hand gestures, and a adaptive model based on the principles of neural computation, that allows recognition of a particular dactilologic language. Results from the integrated system showed great effectiveness in recognizing vowels from the dactilologic Spanish language. This recognition was influenced by the dimensionality reduction made by the neural model of the input signals representing movements, and the sensitivity factor that sets the limit between recognition and learning.