Le côté humain de la traduction automatique (2)

Lorsqu’on entend parler de TA, il est assez rare que l’on évoque les post-éditeurs et ce qui pourrait être fait pour perfectionner et améliorer les aspects souvent négatifs des tâches de traduction automatique avec post-édition (TA-PE). Faisant appel à sa propre expérience, notre spécialiste de la traduction automatique nous livre quelques réflexions utiles sur l’amélioration de l’expérience de travail des post-éditeurs.

(2)…Néanmoins, au-delà des problèmes de gravité ou de redondance, ce qui m’intéresse vraiment, c’est ce que j’appelle le « niveau de désagrément », c’est-à-dire, ce qui rend le travail de post-édition ennuyeux, fastidieux ou chronophage. En d’autres termes, ce qui pourrait pousser un post-éditeur à refuser d’autres missions de ce genre. Ce sont des variables que les mesures quantitatives ne peuvent pas fournir. Les outils de qualimétrie ne permettent pas de déterminer si la meilleure façon de hiérarchiser les corrections est de classer les erreurs par niveau de gravité ou par « niveau de désagrément ». Noyées au beau milieu d’une longue liste de problèmes, les erreurs importantes peuvent passer inaperçues et, donc, ne jamais être résolues.

J’ai eu l’occasion de gérer plusieurs projets de TA dont la distance d’édition était acceptable (<30 %) ; à ma grande surprise, le ressenti global des post-éditeurs était encore désagréable. Certains post-éditeurs sont revenus vers moi pour me dire que certaines erreurs étaient tellement inacceptables qu’ils ne voulaient plus renouveler l’expérience. Dans certains cas, leur avis était lié à la gravité des erreurs alors que, dans d’autres cas, il s’agissait plutôt de problèmes de perception, c’est-à-dire d’erreurs qu’aucun humain n’aurait commises. Dans ce genre de cas, le formulaire de rétroaction a permis de détecter les erreurs et de transformer une expérience antérieure négative en un travail acceptable.

Il est à noter que l’on ne peut pas s’appuyer sur les commentaires d’un seul post-éditeur. Le seuil d’acceptation peut considérablement varier d’une personne à l’autre, et les compétences en post-édition sont également différentes. L’approche la plus raisonnable consiste donc à recueillir les commentaires de plusieurs post-éditeurs, à les comparer et à les utiliser en complément des outils de qualimétrie.

Un effort doit certainement être fait pour inclure les commentaires des post-éditeurs en tant que variables lors de l’évaluation de la qualité des TA, afin de hiérarchiser certaines erreurs lors de l’optimisation des moteurs de traduction. Puisque nous faisons confiance à nos équipes de traducteurs, pourquoi n’aurions-nous pas confiance en leurs commentaires sur les résultats bruts obtenus par TA ? Personnellement, je fais toujours de mon mieux pour envoyer des fichiers traduits automatiquement bien présentés afin de rendre l’expérience de post-édition acceptable. Cette façon de faire me permet de m’assurer que mes traducteurs préférés (recyclés en tant que post-éditeurs) sont satisfaits, disposés et prêts à accepter d’autres missions de ce style à l’avenir. Ceci peut avoir une incidence significative sur leur ressenti mais aussi sur la qualité du projet final.

5 astuces pour une intégration réussie des commentaires qualitatifs dans votre flux d’évaluation de la TA

1. Concevoir un outil et un flux de travail permettant de recueillir les commentaires des post-éditeurs

Il doit rester simple et éviter aux post-éditeurs d’avoir à remplir d’énormes fichiers Excel en y introduisant tous les changements et commentaires. Il suffit de recueillir les erreurs les plus gênantes ; celles qu’ils souhaiteraient ne pas avoir à résoudre encore et encore. Cependant, si vous n’avez pas le temps de lire et de traiter toutes ces informations, un bref coup de fil informel de temps à autre peut également s’avérer utile et vous permettre de recueillir de précieuses informations sur le fonctionnement du système.

2. Convenir d’une juste rémunération

Cette question a déjà été longuement débattue. Mon conseil serait de s’appuyer sur les outils de qualimétrie tout en incluant les commentaires du post-éditeur dans votre décision. Ainsi, lorsqu’il s’agit d’un projet impliquant une nouvelle combinaison linguistique et que l’effort est plus grand, je propose généralement un tarif horaire, et un tarif au mot lorsque le système de TA est bien établi et que les distances d’édition sont stables. Si vous choisissez le tarif horaire, vous pouvez demander aux linguistes d’utiliser une application de suivi du temps associée à leurs outils de TAO ou leur demander de déclarer les heures réelles qu’ils ont passées sur le projet. Pour éviter les surprises de dernière minute, il est conseillé d’indiquer un nombre maximum d’heures de post-édition en fonction de la vitesse d’avancement prévue, et de demander aux post-éditeurs de vous communiquer toute déviation détectée. Pour les post-éditions plus légères, vous pouvez indiquer un nombre d’heures minimum afin de vous assurer que les linguistes ne laisseront rien de côté.

3. Ne jamais promettre la lune

S’il s’agit d’un test, faites-le savoir à votre équipe. Soyez honnête sur la qualité attendue et expliquez toujours la raison pour laquelle vous utilisez la TA (coût, délai …).

4. Ne jamais forcer quelqu’un à devenir post-éditeur

Un très bon traducteur peut devenir un post-éditeur exécrable qui modifie trop de choses ou pas assez, ou qui ne peut tout simplement pas accepter de réviser une traduction faite par une machine. Un mauvais traducteur peut aussi devenir un très bon post-éditeur. Un simple coup de fil peut parfois suffire pour savoir si un traducteur rechigne à utiliser la TA en soi, ou si le système a vraiment besoin d’être amélioré avant le projet suivant.

5. Écouter, écouter, écouter

En tant que GP, nous avons tendance à fournir beaucoup d’instructions et de documents de référence aux traducteurs, et à faire un usage intensif du courrier électronique. Néanmoins, il peut parfois être utile d’organiser des appels courts et d’écouter l’avis des post-éditeurs sur le TA brute. Pour les projets de longue durée ou les combinaisons linguistiques basées sur des TA stables, il est également conseillé d’organiser régulièrement des appels groupés avec les post-éditeurs, soit par langue, soit par domaine.

Et la NMT, comment est-elle évaluée ?

D’après plusieurs études, il semblerait que les erreurs générées par les systèmes de NMT soient plus difficiles à détecter que celles résultant de la RBMT ou de la SMT. En effet, elles se produisent plutôt au niveau sémantique (c’est-à-dire, du sens). La NMT tient compte du contexte ; dénué des maladresses syntaxiques propres à la SMT, le texte qui en résulte semble beaucoup plus naturel. Le point faible de la NMT, c’est qu’elle peut fréquemment contenir des erreurs de traduction, erreurs qui ne peuvent être détectées que par des post-éditeurs, c’est-à-dire par des personnes. La plupart des tests de NMT effectués jusqu’à présent ont obtenu un score BLEU relativement faible alors que les évaluateurs humains considéraient que la sortie de TA brute était acceptable, ce qui signifie que, dans le cas de la NMT, nous ne pouvons pas faire confiance à BLEU seul. Il est nécessaire de lire et d’évaluer le texte source et le texte cible afin de déterminer le niveau d’acceptabilité de la TA brute ; pour cela, il est indispensable de faire appel à des évaluateurs humains. Avec la NMT, l’évaluation humaine s’avère encore plus importante. Par conséquent, même si le secteur de la traduction s’efforce de parvenir à une approche pertinente de l’évaluation de la NMT, l’évaluation adéquate des résultats générés par ce genre de systèmes semble passer par le recueil d’informations qualitatives.

Post Editor Feedback Form

CPSL a été le moteur de la nouvelle norme ISO 18587 (2017) qui définit les exigences du processus de post-édition des traductions automatiques (TA). La norme ISO 18587 (2017) réglemente la post-édition des contenus traités par des systèmes de traduction automatique. Elle établit également les compétences et les qualifications que les post-éditeurs doivent posséder. Cette norme est destinée aux post-éditeurs, aux prestataires de services de traduction et à leurs clients.