{"id":6366,"date":"2018-01-03T17:01:31","date_gmt":"2018-01-03T16:01:31","guid":{"rendered":"https:\/\/www.cpsl.com\/?p=6366"},"modified":"2025-04-02T14:26:33","modified_gmt":"2025-04-02T14:26:33","slug":"lsp-perspective-applying-human-touch-mt-qualitative-feedback-mt-evaluation-part-2-2","status":"publish","type":"post","link":"https:\/\/www.cpsl.com\/de\/lsp-perspective-applying-human-touch-mt-qualitative-feedback-mt-evaluation-part-2-2\/","title":{"rendered":"Die menschliche Komponente in der maschinellen \u00dcbersetzung (2)"},"content":{"rendered":"

In den Diskussionen \u00fcber maschinelle \u00dcbersetzungen<\/a> h\u00f6rt man eher wenig \u00fcber die Nachbearbeitung und dar\u00fcber was getan werden k\u00f6nnte, um das oft negativ besetzte Post-Editing von Maschinen\u00fcbersetzungen attraktiver zu gestalten. <\/em><\/h2>\n

Unsere M\u00dc-Expertin gibt uns n\u00fctzliche Einblicke in ihre pers\u00f6nlichen Erfahrungen damit, wie man das Arbeitserlebnis f\u00fcr Post-Editoren verbessern kann. Im Laufe der Jahre habe ich interessanterweise gelernt, dass man mit den richtigen Strategien zur Verbesserung der Nachbearbeitung auch f\u00fcr mittelm\u00e4\u00dfige MT gute Ergebnisse erzielen kann, w\u00e4hrend mit der falschen Strategie auch gute Maschinen\u00fcbersetzungen nicht wirklich ihrem Anspruch gerecht werden. Viel kann ich dem, was Luc\u00eda sagt, nicht hinzuf\u00fcgen, ich kann es nur mit anderen Worten ausdr\u00fccken.<\/h3>\n

(PART 2)<\/em>…Mehr aber als die Schwere oder die Wiederholungsrate interessiert mich das, was ich \u201eVerdrussfaktor\u201c nenne, also alles, was die Nachbearbeitung langweilig, m\u00fchsam oder zeitaufw\u00e4ndig macht und damit dazu f\u00fchren k\u00f6nnte, dass der Post-Editor in Zukunft einen \u00e4hnlichen Auftrag ablehnt<\/strong>. Und diesen Parameter erhalte ich \u00fcber quantitative Kennzahlen nicht. Eine automatisierte Metrik gibt mir keinen Aufschluss \u00fcber die Priorisierung der Fehlerbehebung, weder auf der Grundlage des Schweregrads oder des \u201eVerdrussfaktors\u201c. Wichtige Fehler k\u00f6nnen auf einer langen Fehlerliste untergehen und werden daher wom\u00f6glich nie behoben.<\/p>\n

Ich habe verschiedene MT-basierte Projekte gehabt, bei denen die Edit-Distanz in Ordnung war (< 30%), zu meiner \u00dcberraschung aber empfanden die Post-Editoren die Arbeit als unangenehm. Die Post-Editoren kamen dann zu mir und sagte, dass einige Fehler f\u00fcr sie so unzumutbar seien, dass sie keinen Nachbearbeitungsauftrag mehr annehmen wollten. In einigen F\u00e4llen hatte dies mit der Fehlerschwere, in anderen mit der eigenen Wahrnehmung zu tun, wenn es sich um Fehler handelte, die Menschen nie machen w\u00fcrden. In solchen F\u00e4llen konnten die Fehler anhand des Feedback-Formulars gefunden und der l\u00e4stige Auftrag in eine doch annehmbare Aufgabe verwandelt werden.<\/p>\n

Es bringt alles nichts, wenn man sich nicht auf einen Punkt verlassen kann – das Feedback des Editors. Die Akzeptanzschwelle kann sich durchaus sehr von einer Person zur anderen unterscheiden und die F\u00e4higkeiten im Bereich Nachbearbeitung fallen auch unterschiedlich aus.<\/strong> Es ergibt daher Sinn, das Feedback mehrerer Post-Editoren auszuwerten, ihre Kommentare zu vergleichen und sie erg\u00e4nzend zu den automatischen Kennzahlen zu nutzen.<\/p>\n

Die Kommentare der Post-Editoren m\u00fcssen in jedem Fall als Variable in die qualitative Bewertung einer Maschinen\u00fcbersetzung eingehen, denn mit ihrer Hilfe k\u00f6nnen bei der Optimierung des \u00dcbersetzungstools bestimmte Fehler priorisiert werden. Wenn wir unseren \u00dcbersetzern bei der Aus\u00fcbung ihrer Arbeit vertrauen, sollten wir dies auch tun, wenn sie die Ergebnisse einer maschinellen Roh\u00fcbersetzung beurteilen. Ich pers\u00f6nlich versuche immer, Maschinen\u00fcbersetzungen in guter Qualit\u00e4t zu schicken, damit die Post-Editoren mit ihrer Arbeit zurecht kommen. Auf diese Weise kann ich mir meine Lieblings\u00fcbersetzer (die nun als Post-Editoren zum Einsatz kommen) an Bord halten, die dann auch bereit sind, weitere Auftr\u00e4ge zu \u00fcbernehmen. Das ist nicht nur f\u00fcr die \u00dcbersetzer selbst ein entscheidender Unterschied, sondern wirkt sich auch auf die Qualit\u00e4t des Endprojektes aus.<\/p>\n

5 Tipps, wie qualitatives Feedback erfolgreich in den Arbeitsablauf der MT-Bewertung einflie\u00dfen kann<\/strong><\/h3>\n

1. Erarbeitung eines Tools und eines Arbeitsablaufs f\u00fcr den Erhalt von Feedback der Post-Editoren<\/strong><\/p>\n

Es muss kein besonders ausgekl\u00fcgeltes Tool sein und die Editoren sollten nicht alle<\/em> \u00c4nderungen und Bemerkungen in \u00fcbergro\u00dfe Excel-Dateien eintragen m\u00fcssen. Es sollte ausreichen, die heikelsten Fehler aufzunehmen, die man nicht immer und immer wieder korrigieren m\u00f6chte. Wenn Sie allerdings nicht die Zeit haben, diese Informationen zu lesen und zu abzuarbeiten, kann ein kurzes informelles Telefongespr\u00e4ch von Zeit zu Zeit helfen und Ihnen wertvolles Feedback zur Funktion des Systems liefern.<\/p>\n

2. Faire Verg\u00fctung<\/strong><\/p>\n

Dar\u00fcber wurde bereits viel gesprochen. Ich w\u00fcrde empfehlen, die automatischen Kennzahlen als Grundlage zur Honorargestaltung zu verwenden, bei der Entscheidung aber auch die Meinung der Post-Editoren zu ber\u00fccksichtigen. Aus diesem Grund biete ich Stundens\u00e4tze an, wenn die Sprachkombination neu und der Aufwand gr\u00f6\u00dfer ist, w\u00e4hrend bei etablierteren MT-Systemen und stabilen Edit-Distanzen auch pro Wort bezahlt werden kann. Bei Stundens\u00e4tzen k\u00f6nnen Sie Ihr Team bitten, in ihren CAT-Tools die Zeiterfassung zu aktivieren oder die aufgewendete Zeit zu notieren.\u00a0 Um \u00dcberraschungen zu vermeiden, ist es empfehlenswert, eine H\u00f6chststundenzahl auf der Grundlage der erwarteten Lektoratsgeschwindigkeit anzugeben und Ihre \u00dcbersetzer zu bitten, Sie \u00fcber jegliche Abweichungen zu informieren. Bei einfachen Post-Editing-Auftr\u00e4gen kann eventuell eine Mindestanzahl angegeben werden, damit die Linguisten nichts \u00fcbergehen.<\/p>\n

3. Versprechen Sie nicht das Blaue vom Himmel<\/strong><\/p>\n

Wenn Sie einen Test durchf\u00fchren, sagen Sie es Ihrem Team. Seien Sie ehrlich, wenn es um die erwartete Qualit\u00e4t geht und erkl\u00e4ren Sie immer, warum Sie die Maschinen\u00fcbersetzung gew\u00e4hlt haben (Kosten, Frist,…).<\/p>\n

4. Zwingen Sie niemanden, Post-Editor zu werden<\/strong><\/p>\n

Ich habe erlebt, wie sehr gute \u00dcbersetzer sehr schlechte Post-Editoren wurden, manche \u00e4ndern viel zu viel oder viel zu wenig oder k\u00f6nnen einfach nicht damit umgehen, eine \u00dcbersetzung zu lektorieren, die von einer Maschine stammt. Aber auch anders herum habe ich eher schlechte \u00dcbersetzer gesehen, die sehr gute Post-Editoren wurden. Manchmal reicht ein kurzes Telefongespr\u00e4ch, um herauszufinden, ob die \u00dcbersetzer generell gegen die Nutzung von MT sind oder ob das System vor dem n\u00e4chsten Durchgang vielleicht doch eine Optimierung ben\u00f6tigt.<\/p>\n

5. Zuh\u00f6ren, zuh\u00f6ren, zuh\u00f6ren<\/strong><\/p>\n

Als Projektmanager neigen wir oft dazu, den \u00dcbersetzern viele Anweisungen und Referenzmaterial zu schicken und haupts\u00e4chlich per E-Mail zu kommunizieren. Manchmal ist es aber sinnvoll, in einem kurzen Telefonat mit den Post-Editoren \u00fcber ihre Meinung zur Roh-MT zu sprechen. F\u00fcr l\u00e4ngere Projekte oder feste MT-basierte Sprachkombinationen kann es auch sinnvoll sein, regelm\u00e4\u00dfige Gruppentelefonate mit den Post-Editoren anzuberaumen, die nach Sprache oder Fachgebiet eingeteilt sind.<\/p>\n

Und… Wie verh\u00e4lt es sich mit NMT-Bewertungen?<\/strong><\/h3>\n

Verschiedenen NMT-Studien zufolge sind die Fehler dieser Systeme schwieriger zu finden als die Fehler von RBMT und SMT, da sie auf semantischer Ebene (Bedeutung) liegen. NMT ber\u00fccksichtigt den Kontext und der Text erscheint dann recht fl\u00fcssig, es entstehen keine syntaktisch unverst\u00e4ndlichen S\u00e4tze, wie man es von SMT gewohnt ist. Zu den \u00fcblichen Fehlern geh\u00f6ren hier Fehl\u00fcbersetzungen und diese k\u00f6nnen nur von Post-Editoren, also echten Menschen, erkannt werden. In den meisten bisher durchgef\u00fchrten NMT-Tests fiel die BLEU-Bewertung eher schwach aus, w\u00e4hrend die Korrekturleser die Roh-MT in Ordnung fanden. Das hei\u00dft, dass man sich bei NMT nicht ausschlie\u00dflich auf BLEU verlassen kann. Bei der Bewertung einer MT m\u00fcssen sowohl der Ausgangs- als auch der Zieltext gelesen werden und daher ist der Einsatz von Menschen unabdingbar. Bei NMT ist die menschliche Beurteilung eindeutig noch wichtiger<\/strong>. W\u00e4hrend die \u00dcbersetzungsbranche also an einem brauchbaren Ansatz zur Bewertung von NMT arbeitet, ist die qualitative Einsch\u00e4tzung doch notwendig, um die Ergebnisse solcher Systeme zuverl\u00e4ssig beurteilen zu k\u00f6nnen.<\/p>\n

\"CPSL<\/a>

Post Editor Feedback Form<\/strong><\/p><\/div>\n

\n

CPSL war die treibende Kraft hinter der neuen ISO-Norm 18587 (2017).<\/a> <\/strong>Die ISO-Norm 18587 (2017) regelt die Nachbearbeitung der von maschinellen \u00dcbersetzungssystemen erstellten Inhalte und legt dar\u00fcber hinaus die Kompetenzen und Qualifikationen der damit betrauten Post-Editoren fest. Die Norm wurde f\u00fcr den Einsatz durch Post-Editoren, Sprachdienstleister und ihre Kunden entwickelt.<\/p>\n","protected":false},"excerpt":{"rendered":"

In den Diskussionen \u00fcber maschinelle \u00dcbersetzungen h\u00f6rt man eher wenig \u00fcber die Nachbearbeitung und dar\u00fcber was getan werden k\u00f6nnte, um das oft negativ besetzte Post-Editing von Maschinen\u00fcbersetzungen attraktiver zu gestalten. Unsere M\u00dc-Expertin gibt uns n\u00fctzliche Einblicke in ihre pers\u00f6nlichen Erfahrungen damit, wie man das Arbeitserlebnis f\u00fcr Post-Editoren verbessern kann. Im Laufe der Jahre habe ich […]<\/p>\n","protected":false},"author":2,"featured_media":6217,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"aside","meta":{"inline_featured_image":false,"footnotes":""},"categories":[130,257],"tags":[],"class_list":["post-6366","post","type-post","status-publish","format-aside","has-post-thumbnail","hentry","category-nachbearbeitung-post-editing","category-ubersetzung-de","post_format-post-format-aside"],"_links":{"self":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6366","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/comments?post=6366"}],"version-history":[{"count":14,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6366\/revisions"}],"predecessor-version":[{"id":40176,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6366\/revisions\/40176"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/media\/6217"}],"wp:attachment":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/media?parent=6366"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/categories?post=6366"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/tags?post=6366"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}