Samsung Research en Vietnam es parte de una serie sobre las personas y las innovaciones que permiten que la IA móvil mejore más vidas.
Samsung es pionero en experiencias premium de IA móvil. Para saber cómo Galaxy AI está maximizando el potencial de sus usuarios, visitamos los centros de investigación de Samsung en todo el mundo. Galaxy AI, que ahora admite 16 idiomas, permite que más personas amplíen sus capacidades lingüísticas, incluso sin conexión, con traducción en el dispositivo con funciones como traducción simultánea, intérprete, asistente de notas y asistente de navegación. Recientemente, visitamos Jordania para conocer las complejidades del desarrollo de un modelo de IA para el árabe, un idioma con muchos dialectos. Esta vez, vamos a Vietnam para explorar cómo se preparan los datos para entrenar modelos de IA.
¿Cuál es la diferencia entre fantasma, tumba y madre en vietnamita? Para un idioma hablado por 97 millones de personas en todo el mundo, es muy poco. Cada palabra se traduce como “ma”, “mả” y “má”, respectivamente, y sólo se puede distinguir por el tono. Esto ilustra lo difícil que puede ser para los modelos de IA aprender un idioma, considerando que no pueden reconocer de primera mano el contexto y las emociones de las conversaciones o las intenciones de quienes hablan.
El Instituto de Investigación y Desarrollo (SRV) de Samsung en Vietnam utilizó datos finamente refinados para ayudar a su modelo de IA a reconocer adecuadamente incluso las diferencias más sutiles en el lenguaje.
La calidad de los datos utilizados afecta directamente la precisión del reconocimiento automático de voz (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS), procesos asistidos por funciones de Galaxy AI como traducción simultánea, intérprete y asistente de escritura. y Asistente de navegación para romper las barreras del idioma.
Un tifón de desafíos
“El vietnamita es un idioma complejo y diverso con ricas expresiones, muchas de las cuales son difíciles de captar”, dice Ngô Hồng Thái, líder del NMT en SRV. De los 16 idiomas que admite Galaxy AI, el vietnamita fue particularmente difícil de desarrollar.
“Personalmente, ¡crear un modelo de IA para vietnamitas fue más desafiante que nuestros tifones!” añade antes de explicar los obstáculos enfrentados durante el proceso de desarrollo.
El vietnamita es una lengua tonal con seis tonos diferentes. Como se desprende del ejemplo anterior de “ma”, los pequeños matices en la vocalización pueden alterar drásticamente el significado de las palabras. Por lo tanto, era necesario un enfoque meticuloso y detallado.
“Al dividir palabras que suenan similares, una palabra consta de varios segmentos cortos o ‘conjuntos de fotogramas'”, dice Bui Ngoc Tung, líder de ASR en SRV. “El modelo de IA diferencia entre fotogramas de audio cortos de alrededor de 20 milisegundos para reconocer qué palabras corresponden a un conjunto determinado de fotogramas consecutivos. Como tal, es esencial poner mucho esfuerzo en las primeras etapas del proceso de aprendizaje de la IA”.
Además, los homófonos y homónimos son comunes en vietnamita. Por lo general, las personas pueden confiar en el contexto y en elementos no verbales en las conversaciones para diferenciar entre palabras que suenan o se escriben igual pero que tienen significados diferentes. Sin embargo, es necesario enseñar a los modelos de IA a identificar y diferenciar con precisión entre tonos y palabras similares.
“Esta no es una tarea sencilla”, explica Thái. “Más allá de la cantidad, los datos deben ser precisos para garantizar que se puedan reconocer los matices lingüísticos que existen en el vietnamita”.
Preparación rigurosa
El proceso de refinamiento de datos consta de tres pasos. En primer lugar, se debe revisar y corregir el audio y el texto utilizados para entrenar el modelo de IA. Luego, este conjunto de datos pasa por controles de calidad generales aleatorios. Finalmente, el conjunto de datos se normaliza y limpia antes de usarlo en el entrenamiento.
“Llevamos a cabo exhaustivamente una serie de pruebas para verificar la precisión de nuestro conjunto de datos”, dice Nguyen Manh Duy, líder de TTS en SRV, quien supervisa la creación de bases de datos. “Nos enfrentamos a una serie de problemas inesperados, como palabras mal escritas en los guiones y ruido de fondo o pronunciación incorrecta durante las grabaciones de audio. “Dedicamos mucho tiempo a perfeccionar y mejorar nuestros datos de entrenamiento”.
Además de los desafíos lingüísticos únicos del vietnamita, existe una falta de datos universalmente accesibles en comparación con los idiomas más hablados. “Ésta es otra razón por la que la etapa de refinamiento de los datos es tan importante”, añade. “Como teníamos fuentes limitadas, cada dato tenía que ser completamente fiable. “No había margen de error”.
Además, el modelo de IA para vietnamitas debe considerar tanto el tono como las diferencias regionales. Para mejorar la precisión del modelo de IA, el equipo recopiló grandes cantidades de datos utilizando los acentos del norte, centro y sur de Vietnam, lo que resultó en una enorme cantidad de información para refinar y verificar.
Mejora continua
Los desarrolladores de SRV completaron el proyecto después de meses de arduo trabajo y el vietnamita se convirtió en uno de los primeros idiomas admitidos por Galaxy AI. A pesar de este éxito, el equipo trabaja incansablemente para mejorar la experiencia lingüística.
“Continuamos mejorando el modelo de IA incorporando comentarios de los usuarios sobre la relevancia de las palabras y frases en Galaxy AI”, dice Tran Tuan Minh, líder del proyecto de desarrollo de lenguaje de IA en SRV. “Acabamos de dar nuestros primeros pasos hacia un mundo más abierto y tenemos mucho más que explorar juntos”.
En el próximo episodio de The Learning Curve, nos dirigiremos a China para profundizar en cómo se entrenan y ajustan los modelos de IA.
