La lengua de señas se percibe a través de la vista y requiere el uso de la cabeza, cuello, torso y brazos para transmitir información bajo un espacio temporal. Como cualquier otra lengua el LSP está conformado por una sintaxis, gramática y léxico diferentes del idioma oficial. El 2003 se propuso la iniciativa de educación inclusiva para personas sordas, pero no tuvo un efecto, posteriormente el ministerio de educación MINEDU, cambio el panorama y la ley 29535 dio su reconocimiento a la lengua de señas para la investigación, difusión y enseñanza para personas sordas por intérpretes acreditados. Sin embargo actualmente el LSP se encuentra dentro de las lenguas minoritarias del Perú según la Dirección General de Educación Básica Especial las personas con discapacidad auditiva se ven en la necesidad de aprender esta lengua para interactuar en la sociedad a diferencia del resto de personas que no sufren de esta discapacidad y no tienen la necesidad de aprender esta lengua, por lo que se crea una barrera en la comunicación, pese a las legislaciones del estado es muy común ver la indiferencia a esta comunidad, ya sea voluntaria o involuntariamente. Mediante técnicas de Deep Learning1 se facilita la interpretación del LSP y con una mejora en la tasa de precisicion2 frente a modelos similares, se construye un traductor unidireccional que permita captar las señas de una persona con un dispositivo e interpretarlas en nuestro idioma. Por otro lado, se genera un dataset de vıdeos de 10 señas almacenados en 100 frames aproximadamente cada uno. El modelo de solución alimenta a la arquitectura con datos generados por un sensor Kinect, el sensor es capaz de generar un video compuesto por tres tipos de datos: frames RGB, Depth y Skeleton, los datos son agrupados según el modelo para extraer las características de cada frame y posteriormente alimentan la parte recurrente encargada de la traducción. Finalmente, nuestro modelo propuesto obtuvo una tasa de exactitud de 99.23 % siendo una tasa muy aceptable que contribuirá a futuros trabajos dentro de este campo.
FuenteEl software para la recolecion de datos se desarrollado en WPF, hace uso del sensor kinect v1 para obtener los datos rgb, profundidad y esqueleto.
Desarrollado por: Yuri Huallpa vargas y Naysha diaz ccasa
Fuente:propia
- tensorflow v2
- numpy
- h5py
- tqdm
- pandas
- matplotlib
- multiprocessing
- sklearn
- openCV
- python 3
- Memoria ram > 4GB
- GPU vram > 12GB para el entrenamiento
@InProceedings{10.1007/978-3-030-46140-9_16,
author="Vargas, Yuri Vladimir Huallpa
and Ccasa, Naysha Naydu Diaz
and Rodas, Lauro Enciso",
editor="Lossio-Ventura, Juan Antonio
and Condori-Fernandez, Nelly
and Valverde-Rebaza, Jorge Carlos",
title="Peruvian Sign Language Recognition Using a Hybrid Deep Neural Network",
booktitle="Information Management and Big Data",
year="2020",
publisher="Springer International Publishing",
address="Cham",
pages="165--172",
isbn="978-3-030-46140-9"
}