Este es un modelo de una red neuronal que traduce Lengua de Señas Chilena (LSCh) a texto (y voz). Con el objetivo de ser utilizado en una aplicación web. Utilizamos MediaPipe para obtener los puntos de la seña (keypoints) y para el entrenamiento usamos TensorFlow y Keras.
- capture_samples.py → captura las muestras y las ubica en la carpeta frame_actions.
- normalize_samples.py → normaliza las muestras para que todas tengan la misma cantidad de frames (importante).
- create_keypoints.py → crea los keypoints que se usarán en el entrenamiento.
- average_keypoints.py → mejora del script "create_keypoints" donde se crea los keypoints que se usarán en el entrenamiento y además crea un promedio de los mismos, que luego se utilizarán en el feedback del usuario.
- training_model.py → entrena la red neuronal.
- evaluate_model.py → donde se realiza la prueba de la red neuronal.
- main.py → donde se utiliza una GUI para usar el traductor.
- model.py → aquí se ajusta el modelo de la red neuronal.
- constants.py → ajustes de la red neuronal.
- helpers.py → funciones que se utilizan en los scripts principales.
- Capturar las muestras con
python capture_samples.py - Normalizar las muestras con
python normalize_samples.py - Generar los .h5 (keypoints) de cada palabra y crear un promedio de los mismos con
python average_keypoints.py - Entrenar el modelo con
python training_model.py - Realizar pruebas con
python evaluate_model.py
Se puede exportar el modelo para ser utilizado en aplicaciones web, para eso ve más información en el README.MD de la carpeta "exporting_model".
Tener en consideración que utilizamos y es necesaria la versión Python 3.11 para que funcione todo correctamente.
pip install -r requirements.txt
pip freeze > requirements_to_uninstall.txt
pip uninstall -r requirements_to_uninstall.txt -y
Remove-Item requirements_to_uninstall.txt