Aplicar un toque humano a la traducción automática (2)

En casi ninguno de los debates abiertos acerca de la traducción automática (TA) se presta gran atención a los poseditores y a lo que se podría hacer para reforzar y mejorar esa tarea con tan mala fama que es la posedición de la traducción automática (PETA). Nuestra experta nos aporta ideas útiles basadas en su vivencia personal en la mejora de la experiencia de trabajo de los poseditores.

(Parte 2) ….Más que preguntar por la gravedad y el índice de repetición, lo que realmente me interesa es lo que yo llamo «nivel de incordio», es decir, qué ha hecho que el trabajo de posedición haya sido muy aburrido o tedioso o haya requerido mucho tiempo, o sea, una tarea que podría llevar al poseditor a rechazar un trabajo similar en el futuro. Estas son unas variables que no se obtienen con la métrica cuantitativa. La métrica automática no puede arrojar luz sobre cómo establecer prioridades en la resolución de errores, por nivel de gravedad de los errores o por «índice de incordio». Los errores importantes pueden pasar desapercibidos en una larga lista de problemas y, por ello, no resolverse nunca.

He gestionado varios proyectos basados en TA en los que la distancia de edición era aceptable (< 30 %) y, para mi sorpresa, la experiencia general de los poseditores seguía siendo negativa. En estos casos, los poseditores me comentaron que encontraban determinados tipos de errores tan inaceptables que no querían volver a poseditar. En ocasiones, esta opinión guardaba relación con la gravedad y otras veces con la percepción, es decir, errores que un humano no habría cometido jamás. En estos casos, el formulario de feedback ayudó a detectar los errores y transformó una experiencia previa negativa en un trabajo aceptable.

Conviene señalar que no es bueno centrarse en los comentarios de un solo poseditor. El umbral de aceptación puede variar muchísimo entre una persona y otra y las habilidades de posedición también son distintas. Además, el enfoque más razonable consiste en recabar feedback de varios poseditores, comparar sus comentarios y utilizarlos como un complemento de la métrica automática.

Es obvio que tenemos que esforzarnos por incluir los comentarios de los poseditores como una variable cuando evaluemos la calidad de la TA para dar prioridad a determinados errores cuando optimicemos los motores. Si tenemos un equipo de traductores de confianza, también debemos confiar en ellos cuando dan su opinión sobre los resultados brutos de la TA. Personalmente, siempre hago todo lo que está en mi mano para enviar archivos traducidos automáticamente que cumplan unos mínimos para que la experiencia de posedición resulte aceptable. Así, puedo tener a mis traductores favoritos (reciclados como poseditores) contentos y en el equipo, dispuestos a aceptar más trabajos en el futuro. Esto puede marcar una importante diferencia, no solo con respecto a su experiencia sino también a la calidad del proyecto final.

**Cinco consejos para integrar satisfactoriamente el feedback cualitativo en su flujo de trabajo de evaluación de la TA**

Diseñe una herramienta y un flujo de trabajo para la recopilación del feedback de los poseditores.

No hace falta que sea una herramienta sofisticada y no es preciso que los poseditores tengan que rellenar archivos interminables de Excel con todos los cambios y comentarios. Basta con que queden reflejados los errores más llamativos, esos que no estarían dispuestos a corregir una y otra vez. No obstante, si no tiene tiempo para leer y procesar toda esta información, una breve conversación informal por teléfono de vez en cuando también puede resultarle útil y aportarle información valiosa acerca del funcionamiento del sistema.

Acuerde una remuneración justa

Se ha hablado mucho sobre este tema. Mi consejo sería confiar en la métrica automática pero incluir el feedback del poseditor en su decisión. Por este motivo yo suelo ofrecer tarifas por hora cuando las combinaciones de idiomas son nuevas y se requiere más esfuerzo, y tarifas por palabra cuando los sistemas de TA están consolidados y arrojan unas distancias de edición estables. Cuando aplique tarifas por hora, puede pedir a los miembros de su equipo que utilicen aplicaciones que midan el tiempo en sus herramientas de TAO o que le notifiquen el total real de horas empleadas. Para evitar sorpresas de última hora, es recomendable indicar un número máximo de horas correspondiente a una PE completa sobre la base de la velocidad de PE prevista, y pedirles que le informen de cualquier desviación, y en los casos de posedición simple, tal vez convenga que indique un número mínimo de horas para asegurarse de que los lingüistas lo verifiquen todo.

No prometa la luna

Si está haciendo una prueba, dígaselo al equipo. Sea honesto con respecto a la calidad que espera obtener y explique siempre las razones por las que recurre a la TA (coste, plazos de entrega…).

No obligue a nadie a que se haga poseditor

He visto a traductores muy buenos que son pésimos poseditores que o cambian demasiadas cosas o demasiado pocas o, simplemente, no pueden aceptar que están revisando una traducción realizada por una máquina. También he visto a malos traductores que son muy buenos poseditores. A veces, una llamada telefónica rápida puede ser suficiente para comprobar si son reacios a utilizar la TA per se o si realmente es necesario mejorar el sistema antes de la siguiente ronda.

Escuche, escuche y escuche

Los gestores de proyectos tendemos a dar montones de instrucciones y material de referencia a los traductores y a tirar mucho del correo electrónico, pero hay veces en que vale la pena hacer una llamada y escuchar la opinión de los poseditores sobre el resultado en bruto de la TA: Para los proyectos a largo plazo o las combinaciones de idiomas estables basadas en TA también es recomendable organizar llamadas telefónicas en grupo cada cierto tiempo con los poseditores, por idiomas o por dominio.

¿Y qué hay de la evaluación de la traducción automática neuronal (TAN)?

Según varios estudios sobre TAN, parece que cuesta más detectar los errores producidos por estos sistemas que los producidos por la traducción automática basada en reglas (TABR) y por la traducción automática estadística (TAE) porque se producen en el plano semántico (es decir, en el significado). La TAN tiene en cuenta el contexto y el texto resultante fluye con naturalidad, ya no nos encontramos con las oraciones sintácticamente disparatadas a las que nos tiene acostumbrados la TAE, Pero los errores habituales son errores de traducción y los errores de traducción solo pueden detectarlos los poseditores, es decir, las personas. En la mayor parte de las pruebas de TAN realizadas hasta la fecha se han obtenido puntuaciones BLEU bajas, mientras que los evaluadores humanos consideraron que el resultado bruto de la TA era aceptable, lo que quiere decir que cuando utilicemos la TAN no podemos fiarnos solo del BLEU. Es necesario leer tanto el texto de origen como el texto meta y evaluarlos para decidir si el resultado bruto de la TA es aceptable o no; se necesita la participación de evaluadores humanos. En caso de la TAN, la evaluación humana es, claramente, incluso más importante, pues, si bien el sector de la traducción se esfuerza por hallar un planteamiento válido para evaluar la TAN, parece que se requerirá información cualitativa para evaluar adecuadamente los resultados de dichos sistemas.

Post Editor Feedback Form

CPSL ha sido el motor que ha impulsado la nueva norma ISO 18587 (2017). La ISO 18587 (2017) regula la posedición de contenidos procesados mediante sistemas de traducción automática y establece asimismo las competencias y las cualificaciones que deben poseer los poseditores. Esta norma está dirigida a poseditores, proveedores de servicios de traducción y sus clientes.