{"id":6202,"date":"2017-11-30T13:27:52","date_gmt":"2017-11-30T12:27:52","guid":{"rendered":"https:\/\/www.cpsl.com\/?p=6202"},"modified":"2023-09-27T10:26:15","modified_gmt":"2023-09-27T10:26:15","slug":"e-cote-humain-de-la-traduction-automatique","status":"publish","type":"post","link":"https:\/\/www.cpsl.com\/fr\/e-cote-humain-de-la-traduction-automatique\/","title":{"rendered":"Le c\u00f4t\u00e9 humain de la traduction automatique (1)"},"content":{"rendered":"<p><em>Lorsqu\u2019on entend parler de <a href=\"https:\/\/www.cpsl.com\/fr\/services\/ia-traduction-automatique-intelligente\/\" target=\"_blank\" rel=\"noopener noreferrer\">TA<\/a>, il est assez rare que l\u2019on \u00e9voque les post-\u00e9diteurs et ce qui pourrait \u00eatre fait pour perfectionner et am\u00e9liorer les aspects souvent n\u00e9gatifs des t\u00e2ches de traduction automatique avec post-\u00e9dition (TA-PE). Faisant appel \u00e0 sa propre exp\u00e9rience, notre sp\u00e9cialiste de la traduction automatique nous livre quelques r\u00e9flexions utiles sur l\u2019am\u00e9lioration de l\u2019exp\u00e9rience de travail des post-\u00e9diteurs. <\/em><em>Les \u00e9l\u00e9ments essentiels du succ\u00e8s semblent \u00eatre les suivants:<\/em><\/p>\n<ul>\n<li><em>Instaurer un climat de confiance en \u00e9tablissant une r\u00e9mun\u00e9ration transparente et juste et une communication directe sur le travail<\/em><\/li>\n<li><em>D\u00e9velopper des moyens permettant d\u2019impliquer les post-\u00e9diteurs dans le perfectionnement du moteur de TA et l\u2019am\u00e9lioration du processus<\/em><\/li>\n<li><em>D\u00e9montrer que le cycle de r\u00e9troaction am\u00e9liore de fait l\u2019exp\u00e9rience de travail de fa\u00e7on permanente <\/em><\/li>\n<\/ul>\n<p><a href=\"https:\/\/www.cpsl.com\/fr\/services\/post-edition\/\" target=\"_blank\" rel=\"noopener noreferrer\">La post-\u00e9dition<\/a> est devenue monnaie courante lors de l\u2019utilisation de la TA. Selon Common Sense Advisory (2016), plus de 80\u00a0% des PSL proposent des services de TA-PE (traduction automatique avec post-\u00e9dition), et l\u2019une des principales conclusions d\u2019une \u00e9tude pr\u00e9sent\u00e9e par Memsource lors de la conf\u00e9rence 2017 de l\u2019European Association for Machine Translation (EAMT) indique que <a href=\"https:\/\/www.memsource.com\/blog\/2017\/06\/14\/analysis-machine-translation-usage-in-memsource-cloud\/\" target=\"_blank\" rel=\"noopener noreferrer\">moins de 10\u00a0% des TA effectu\u00e9es dans Memsource Cloud n\u2019ont pas \u00e9t\u00e9 modifi\u00e9es<\/a>. S\u2019il est vrai que la plupart des contenus sont traduits automatiquement et sans post-\u00e9dition (c\u2019est ce que l\u2019on voit tous les jours sur eBay, Amazon ou Airbnb, pour ne citer que quelques exemples), <strong>la post-\u00e9dition<\/strong> RBMT (<em>Rule-Based MT<\/em> ou TA bas\u00e9e sur des r\u00e8gles), SMT (<em>Statistical Machine Translation<\/em> ou traduction automatique statistique) ou NMT (<em>Neural Machine Translation<\/em> ou traduction automatique neuronale), <strong>est toujours n\u00e9cessaire pour am\u00e9liorer la TA brute obtenue<\/strong>.<\/p>\n<h3><strong>M\u00e9thodes d\u2019\u00e9valuation quantitatives\u00a0: un tableau partiel<\/strong><\/h3>\n<p>M\u00eame s\u2019il est av\u00e9r\u00e9 que ces donn\u00e9es sont essentielles, les linguistes sont souvent exclus du processus de TA et ne participent qu\u2019\u00e0 la t\u00e2che de post-\u00e9dition, sans interaction \u00ab\u00a0pendant le processus\u00a0\u00bb. L\u2019\u00e9valuation humaine est toujours consid\u00e9r\u00e9e \u00ab\u00a0<a href=\"https:\/\/blog.taus.net\/how-to-improve-automatic-mt-quality-evaluation-metrics\" target=\"_blank\" rel=\"noopener noreferrer\">co\u00fbteuse, longue et emprunte de subjectivit\u00e9<\/a>\u00a0\u00bb. Compar\u00e9e aux outils de qualim\u00e9trie comme BLEU ou WER \u2013\u00a0qui sont indubitablement moins chers et plus rapides\u00a0\u2013, l\u2019annotation d\u2019erreurs prend beaucoup de temps. Ces outils fournissent des <strong>donn\u00e9es quantitatives<\/strong> g\u00e9n\u00e9ralement obtenues en comparant automatiquement la TA brute \u00e0 une traduction de r\u00e9f\u00e9rence, mais <strong>l\u2019\u00e9valuation du post-\u00e9diteur n\u2019est pratiquement jamais prise en compte<\/strong>. Ne devrait-elle pas \u00eatre plus importante puisque le r\u00f4le du post-\u00e9diteur est l\u00e0 pour rester\u00a0?<\/p>\n<p><strong><em>M\u00eame si les machines sont plus efficaces que nous pour d\u00e9tecter des diff\u00e9rences,<\/em> les humains sont plus \u00e0 m\u00eame d\u2019\u00e9valuer les ph\u00e9nom\u00e8nes linguistiques, de les cat\u00e9goriser et de les analyser de fa\u00e7on d\u00e9taill\u00e9e.<\/strong><\/p>\n<p>L\u2019approche de CPSL consiste \u00e0 impliquer les post-\u00e9diteurs au long des trois \u00e9tapes du processus de TA\u00a0:<\/p>\n<ul>\n<li>Tester un moteur de TA dans un nouveau domaine ou une nouvelle combinaison de langues<\/li>\n<li>\u00c9valuer r\u00e9guli\u00e8rement un moteur de TA existant<\/li>\n<li>Cr\u00e9er\/mettre \u00e0 jour des consignes de post-\u00e9dition<\/li>\n<\/ul>\n<p>Certaines entreprises utilisent l\u2019\u00e9chelle de Likert pour mesurer l\u2019\u00e9valuation humaine. Cette m\u00e9thode consiste \u00e0 demander \u00e0 des utilisateurs \u2013\u00a0usagers plut\u00f4t que linguistes\u00a0\u2013 d\u2019\u00e9valuer un par un des segments bruts traduits automatiquement en fonction de crit\u00e8res tels que la pertinence (le message source a-t-il \u00e9t\u00e9 transmis dans la traduction\u00a0?) ou la fluidit\u00e9 (l\u2019intonation est-elle naturelle pour un locuteur dont la langue cible est langue maternelle\u00a0?).<\/p>\n<p>\u00c0 des fins d\u2019\u00e9valuation, il nous semble plus utile de <strong>demander au post-\u00e9diteur d\u2019introduire ses commentaires dans un formulaire<\/strong>, en corr\u00e9lant des informations telles que le segment source, la TA brute et le segment post-\u00e9dit\u00e9, le type et la gravit\u00e9 des erreurs rencontr\u00e9es, ainsi que leurs commentaires personnels.<\/p>\n<h3><strong>Transformer les mauvaises exp\u00e9riences en travail gratifiant<\/strong><\/h3>\n<p>Lorsque je g\u00e8re un projet bas\u00e9 sur la TA, l\u2019un des probl\u00e8mes r\u00e9currents auxquels je dois souvent faire face, c\u2019est la r\u00e9ticence de certains traducteurs \u00e0 travailler avec des fichiers traduits automatiquement suite \u00e0 des exp\u00e9riences de post-\u00e9dition n\u00e9gatives. J\u2019ai entendu beaucoup d\u2019histoires de post-\u00e9diteurs pay\u00e9s en fonction d\u2019une distance d\u2019\u00e9dition calcul\u00e9e \u00e0 partir d\u2019un test qui n\u2019avait rien \u00e0 voir avec la r\u00e9alit\u00e9, ou de post-\u00e9diteurs auxquels on ne r\u00e9clamait jamais l\u2019\u00e9valuation de la traduction automatique brute. On leur demandait juste d\u2019envoyer les fichiers post-\u00e9dit\u00e9s et, parfois, le temps qu\u2019ils avaient mis, mais uniquement \u00e0 des fins de facturation. L\u2019un de nos traducteurs habituels m\u2019a m\u00eame dit qu\u2019il avait re\u00e7u des fichiers traduits automatiquement qui \u00e9taient plus mauvais qu\u2019une traduction Google Translates (la traduction neuronale n\u2019existait pas encore). Le point commun entre tous ces r\u00e9cits, c\u2019est que les post-\u00e9diteurs sont rarement impliqu\u00e9s dans le processus d\u2019am\u00e9lioration et d\u2019\u00e9valuation du syst\u00e8me. La post-\u00e9dition peut donc vite devenir une exp\u00e9rience ali\u00e9nante que personne ne souhaite renouveler.<\/p>\n<div id=\"attachment_6191\" style=\"width: 563px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-6191\" class=\" wp-image-6191\" src=\"http:\/\/www.cpsl.com\/wp-content\/uploads\/2017\/11\/Post-Editor-Feeback-Form.png\" alt=\"CPSL - Post Editor Feeback Form\" width=\"553\" height=\"257\" \/><p id=\"caption-attachment-6191\" class=\"wp-caption-text\"><strong>Post Editor Feedback Form<\/strong><\/p><\/div>\n<p>Pour \u00e9viter d\u2019en arriver l\u00e0, nous avons d\u00e9cid\u00e9 de cr\u00e9er notre propre syst\u00e8me de r\u00e9troaction qui consiste en un formulaire permettant aux post-\u00e9diteurs <strong>d\u2019\u00e9valuer et de classer la gravit\u00e9 des erreurs, mais aussi de les hi\u00e9rarchiser<\/strong>. Par exemple, il a \u00e9t\u00e9 demand\u00e9 aux post-\u00e9diteurs d\u2019accorder une priorit\u00e9 absolue aux erreurs de mise en majuscule des mois et des jours en espagnol, d\u2019ordre des mots en anglais, de ponctuation en fran\u00e7ais et autres erreurs du m\u00eame type. Par ailleurs, les \u00e9diteurs de logiciels de traduction automatique ont \u00e9t\u00e9 invit\u00e9s \u00e0 r\u00e9soudre ces probl\u00e8mes dans les meilleurs d\u00e9lais. Les documents d\u2019\u00e9valuation peuvent \u00eatre plus ou moins complexes en fonction des besoins. Ils peuvent \u00eatre tout aussi d\u00e9taill\u00e9s que le mod\u00e8le DQF (<em>Dynamic Quality Framework<\/em>, ou cadre qualitatif dynamique) ou consister en une simple liste recueillant les principales erreurs accompagn\u00e9es d\u2019un exemple.<\/p>\n<h4><strong>(<span id=\"result_box\" class=\"short_text\" lang=\"fr\"><span class=\"\">Cela va continuer&#8230;<\/span><\/span>)<\/strong><\/h4>\n","protected":false},"excerpt":{"rendered":"<p>Lorsqu\u2019on entend parler de TA, il est assez rare que l\u2019on \u00e9voque les post-\u00e9diteurs et ce qui pourrait \u00eatre fait pour perfectionner et am\u00e9liorer les aspects souvent n\u00e9gatifs des t\u00e2ches de traduction automatique avec post-\u00e9dition (TA-PE). Faisant appel \u00e0 sa propre exp\u00e9rience, notre sp\u00e9cialiste de la traduction automatique nous livre quelques r\u00e9flexions utiles sur l\u2019am\u00e9lioration [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":11927,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"aside","meta":{"inline_featured_image":false,"footnotes":""},"categories":[129,44],"tags":[],"class_list":["post-6202","post","type-post","status-publish","format-aside","has-post-thumbnail","hentry","category-post-edition","category-traduction-fr","post_format-post-format-aside"],"_links":{"self":[{"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/posts\/6202","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/comments?post=6202"}],"version-history":[{"count":8,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/posts\/6202\/revisions"}],"predecessor-version":[{"id":28639,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/posts\/6202\/revisions\/28639"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/media\/11927"}],"wp:attachment":[{"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/media?parent=6202"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/categories?post=6202"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.cpsl.com\/fr\/wp-json\/wp\/v2\/tags?post=6202"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}