Aunque México no cuenta con cifras oficiales sobre el número de usuarios de la Lengua de Señas Mexicana (LSM), utilizada principalmente por la comunidad sorda, se estima que alrededor de 300,000 personas la usan, es decir, aproximadamente el 0.23 % de la población del país.
“Lo que hace falta son herramientas para la enseñanza de lengua de señas”, señala la investigadora Vania Lara, quien desarrolló un modelo de un robot virtual capaz de reproducir movimientos y señas de la LSM.
El proyecto forma parte de sus estudios de doctorado en la Escuela de Ingeniería y Ciencias (EIC) del Tecnológico de Monterrey, asesorada por Jorge Isaac Chairez y Rita Fuentes, investigadores de la EIC y el AI for Manufacturing and Supply Chain Institute (AIMS).
La idea surgió cuando Lara conoció InterSeña, una aplicación móvil gratuita diseñada para facilitar el aprendizaje de la LSM, y se preguntó cómo se podría complementar con herramientas de robótica e inteligencia artificial (IA) para reproducir los movimientos de esta lengua de la forma más parecida a como lo haría una persona.
A partir de esa inquietud, desarrolló un modelo digital de una mano robótica que podía reproducir varias letras del alfabeto de la LSM. Luego, evolucionó el diseño hacia un avatar con cabeza, torso y dos brazos, que puede representar una mayor cantidad de señas, palabras y frases.
Un modelo virtual que reproduce señas de la LSM
Cuando comenzó a diseñar el modelo de la mano robótica virtual, Lara lo hizo con la idea de que funcionara como un gemelo digital, es decir, que permitiera realizar simulaciones para evaluar movimientos antes de implementarlos en un dispositivo físico.
Su diseño incluyó los dedos de la mano, la muñeca y el antebrazo, con un total de 25 grados de libertad para realizar diferentes movimientos colocando las articulaciones en distintas posiciones.
La investigadora consiguió que el modelo reprodujera hasta 21 configuraciones estáticas del alfabeto de la LSM, utilizadas en la dactilología, una técnica que permite deletrear palabras mediante posiciones y movimientos de las manos.
Para validar su funcionamiento, contó con el apoyo de un grupo de diez voluntarios que conocían la LSM. Se les mostraron simulaciones de diez palabras representadas en el alfabeto de esta lengua para evaluar qué tan reconocibles eran las señas.
“Se validó con usuarios de la LSM, obteniendo un 95 % de exactitud. Es decir, sí tenía bastante similitud con la Lengua de Señas Mexicana original”, dice la investigadora.
A partir de esta primera etapa, Lara consideró que para acercarse más a la reproducción de la LSM necesitaba ampliar el modelo original de una mano robótica hacia un avatar que incorporara torso, ambos brazos y cabeza.
Mediante la evolución del modelo, pasó de la dactilología a reproducir señas que representan palabras y frases completas, como ”Hola, ¿cómo estás?”, que fueron validadas durante las pruebas con personas de la comunidad sorda. Pese al avance, la investigadora señala que el avatar aún tiene limitaciones, por ejemplo, en la falta de expresiones faciales, un elemento importante para la lengua de señas.
Traducción automática del español a la Lengua de Señas Mexicana
Lara explica que reproducir los movimientos con el avatar es solo una parte del proyecto. Para que un sistema robótico pueda representar frases, también tiene que interpretar la estructura de esta lengua que, al igual que otras, tiene sus propias reglas gramaticales.
La investigadora desarrolló un corpus de 3,000 pares de frases en español y sus equivalentes en glosas de LSM, es decir, las representaciones escritas de las señas que permiten estudiar su estructura y utilizarlas en herramientas de procesamiento del lenguaje.
“Para la LSM vimos que no había nada, ningún corpus disponible. Me di a la tarea de construirlo desde cero”, dice Lara, quien trabajó durante más de un año en esa parte del proyecto.
Con la base de datos construida, adaptó y entrenó un modelo de Inteligencia Artificial basado en una arquitectura conocida como Transformer, capaz de aprender patrones del lenguaje, para que tradujera automáticamente frases del español a glosas de LSM.
Además, realizó una evaluación del modelo de IA con una persona que es intérprete profesional de esta lengua, alcanzando una efectividad del 94% en las traducciones.
Un tutor para aprender la Lengua de Señas Mexicana
Aunque el proyecto aún se encuentra en etapa de desarrollo, los investigadores ven a esta tecnología con potencial para funcionar como un tutor que enseñe a las personas esta lengua mediante un avatar o, eventualmente, un dispositivo físico, como un robot. Incluso, en algún momento contemplaron la posibilidad de desarrollar un guante que ayude a entrenar la memoria muscular al realizar las señas.
“Imagina un robot que puedas parar en frente de ti en vez de ver una computadora”, dice Jorge Isaac Chairez. “Que mueva los dedos y que entonces tú puedas incluso acercarte para ver cómo coloca la mano”.
Por su parte, Rita Fuentes explica que el proyecto busca complementar a otras tecnologías existentes, por ejemplo, guantes con sensores que reconocen señas y las convierten en palabras. En este caso, la propuesta consiste en llevar a cabo el proceso a la inversa, es decir, partir del español para generar señas mediante un avatar.
“Yo creo que justamente se planteó como un tutor porque identificamos que ya hay soluciones, como guantes traductores, que van en un sentido; entonces, hace falta el otro sentido”, señala Fuentes.
“Me parece que nos falta ampliar el universo de personas que puedan evaluar el sistema para que realmente tengamos una validación más robusta”, señala Chairez.
A futuro, el equipo contempla incorporar funciones de reconocimiento de voz e integrar el sistema con otras tecnologías para traducir las señas a palabras y convertir la voz en señas.
Además, para llevar el modelo virtual a un dispositivo físico, Chairez explica que una posibilidad sería aprovechar los robots disponibles en el mercado y adaptar los algoritmos que desarrollaron durante la investigación para controlar sus movimientos. Así se podría avanzar hacia una herramienta con la que las personas puedan interactuar directamente, sin tener que construir un robot desde cero.
¿Te interesó esta historia? ¿Quieres publicarla? Contacta a nuestra editora de contenido para más información: marianaleonm@tec.mx
