Aplicar un toque humano a la traducción automática (1)

En casi ninguno de los debates abiertos acerca de la traducción automática (TA) se presta gran atención a los poseditores y a lo que se podría hacer para reforzar y mejorar esa tarea con tan mala fama que es la posedición de la traducción automática (PETA). Nuestra experta en TA nos aporta ideas útiles basadas en su vivencia personal en la mejora de la experiencia de trabajo de los poseditores. Las claves del éxito parecen ser:

Generar confianza mediante el establecimiento de una remuneración justa y transparente y una comunicación sincera sobre el trabajo.
Establecer vías que impliquen a los poseditores en el perfeccionamiento del motor de TA y mejoren la participación en el proceso
Demostrar que el ciclo de feedback mejora realmente la experiencia de trabajo de forma continua

La posedición se ha convertido en la práctica más habitual cuando se utiliza la TA. Según Common Sense Advisory (2016), más del 80 % de los proveedores de servicios lingüísticos (PSL) ofrecen servicios de PETA, y una de las principales conclusiones extraídas de un estudio presentado por la conferencia de Memsource celebrada en 2017 por la Asociación Europea de la Traducción Automática (EAMT, por sus siglas en inglés) afirma que menos del 10 % de la TA que se realizó en Memsource Cloud se dejó sin editar. Si bien es cierto que un montón de contenidos generados por usuarios se traducen automáticamente sin posedición (lo vemos a diario en eBay, Amazon y Airbnb, entre muchos otros), se necesitan poseditores para mejorar el resultado bruto de la TA.

Métodos de evaluación cuantitativa: eso no es todo

Aunque estos datos evidencian que resultan esenciales, los lingüistas no suelen estar incluidos en los procesos de TA y solo se busca su colaboración en la tarea de posedición, sin ninguna interacción «durante el proceso». La evaluación humana se sigue viendo como algo «caro, que requiere mucho tiempo y es dado a la subjetividad». La anotación de errores lleva un montón de tiempo si se compara con métricas automáticas como BLEU o WER, que, sin lugar a dudas, resultan más baratas y más rápidas. Estas herramientas arrojan datos cuantitativos obtenidos normalmente mediante la comparación del resultado bruto de la TA con una traducción de referencia, pero la evaluación del poseditor casi nunca suele tenerse en cuenta. ¿No debería ser importante si la función del poseditor está aquí para quedarse?

Pese a que las máquinas son mejores que nosotros a la hora de encontrar diferencias, los humanos somos mejores en la evaluación de los fenómenos lingüísticos, su clasificación y la elaboración de análisis detallados.

En CPSL adoptamos un planteamiento que implica a los poseditores en las tres fases del proceso de TA:

Para probar un motor de TA en un dominio o una combinación de idiomas nuevos
Para la evaluación periódica de un motor de TA existente
Para crear o actualizar las directrices de posedición

Algunas empresas utilizan la escala de Likert para recopilar evaluaciones humanas. Este método implica pedir a la gente –normalmente los usuarios finales, que no los lingüistas– que evalúe los segmentos del resultado bruto de la TA uno por uno a partir de criterios tales como la idoneidad (¿con qué eficacia se ha trasladado el mensaje del texto de origen a la traducción?) o la fluidez (¿suena natural el segmento para un hablante de la lengua meta?).

Para nuestros fines de evaluación, nos parece más útil pedir al poseditor que rellene un formulario con sus comentarios, relacionando información como, por ejemplo, el segmento de origen, el segmento del resultado bruto de la TA y el segmento poseditado, el tipo y la gravedad de los errores detectados, y sus observaciones personales.

Hacer de una mala experiencia un trabajo gratificante

Uno de los principales problemas con los que me encuentro cuando gestiono proyectos basados en TA es la reticencia de algunos traductores a trabajar con archivos traducidos automáticamente a causa de malas experiencias previas de posedición. He oído muchas historias sobre poseditores a los que se les pagaba sobre la base de una distancia de edición calculada a partir de una prueba que se alejaba mucho de la realidad o poseditores a los que nunca se les pide una evaluación del resultado bruto de la TA. Solo se les piden los archivos poseditados y, a veces, el tiempo invertido, pero solo para temas de facturación. Uno de nuestros traductores habituales me contó que había llegado a recibir archivos traducidos automáticamente que son peores que los resultados de Google Translates (previamente a la implantación de la traducción automática neuronal). El nexo común de todas estas historias es el hecho de que los poseditores rara vez participan en el proceso de mejora y evaluación del sistema, lo que puede convertir la posedición en un trabajo marginal que nadie quiere volver a hacer.

Post Editor Feedback Form

Para evitar estas situaciones decidimos crear nuestro propio formulario de feedback con el fin de evaluar y clasificar la gravedad de los errores y establecer prioridades entre los mismos. Por ejemplo, nuestros poseditores otorgaron la máxima prioridad a errores tales como el uso incorrecto de las mayúsculas en los meses y los días en español, problemas relacionados con el orden de las palabras en las preguntas en inglés, cuestiones de puntuación en francés, y otros errores similares y pedimos a nuestro proveedor de TA que los resolviera inmediatamente. La complejidad del documento de evaluación puede variar en función de las necesidades. Puede ser tan detallado como la plantilla del marco dinámico para la calidad (DQF, por sus siglas en inglés) o un simple listado de los errores principales con un ejemplo.