Die menschliche Komponente in der maschinellen Übersetzung (2)

In den Diskussionen über maschinelle Übersetzungen hört man eher wenig über die Nachbearbeitung und darüber was getan werden könnte, um das oft negativ besetzte Post-Editing von Maschinenübersetzungen attraktiver zu gestalten. Unsere MÜ-Expertin gibt uns nützliche Einblicke in ihre persönlichen Erfahrungen damit, wie man das Arbeitserlebnis für Post-Editoren verbessern kann. Im Laufe der Jahre habe ich interessanterweise gelernt, dass man mit den richtigen Strategien zur Verbesserung der Nachbearbeitung auch für mittelmäßige MT gute Ergebnisse erzielen kann, während mit der falschen Strategie auch gute Maschinenübersetzungen nicht wirklich ihrem Anspruch gerecht werden. Viel kann ich dem, was Lucía sagt, nicht hinzufügen, ich kann es nur mit anderen Worten ausdrücken.

(PART 2)…Mehr aber als die Schwere oder die Wiederholungsrate interessiert mich das, was ich „Verdrussfaktor“ nenne, also alles, was die Nachbearbeitung langweilig, mühsam oder zeitaufwändig macht und damit dazu führen könnte, dass der Post-Editor in Zukunft einen ähnlichen Auftrag ablehnt. Und diesen Parameter erhalte ich über quantitative Kennzahlen nicht. Eine automatisierte Metrik gibt mir keinen Aufschluss über die Priorisierung der Fehlerbehebung, weder auf der Grundlage des Schweregrads oder des „Verdrussfaktors“. Wichtige Fehler können auf einer langen Fehlerliste untergehen und werden daher womöglich nie behoben.

Ich habe verschiedene MT-basierte Projekte gehabt, bei denen die Edit-Distanz in Ordnung war (< 30%), zu meiner Überraschung aber empfanden die Post-Editoren die Arbeit als unangenehm. Die Post-Editoren kamen dann zu mir und sagte, dass einige Fehler für sie so unzumutbar seien, dass sie keinen Nachbearbeitungsauftrag mehr annehmen wollten. In einigen Fällen hatte dies mit der Fehlerschwere, in anderen mit der eigenen Wahrnehmung zu tun, wenn es sich um Fehler handelte, die Menschen nie machen würden. In solchen Fällen konnten die Fehler anhand des Feedback-Formulars gefunden und der lästige Auftrag in eine doch annehmbare Aufgabe verwandelt werden.

Es bringt alles nichts, wenn man sich nicht auf einen Punkt verlassen kann – das Feedback des Editors. Die Akzeptanzschwelle kann sich durchaus sehr von einer Person zur anderen unterscheiden und die Fähigkeiten im Bereich Nachbearbeitung fallen auch unterschiedlich aus. Es ergibt daher Sinn, das Feedback mehrerer Post-Editoren auszuwerten, ihre Kommentare zu vergleichen und sie ergänzend zu den automatischen Kennzahlen zu nutzen.

Die Kommentare der Post-Editoren müssen in jedem Fall als Variable in die qualitative Bewertung einer Maschinenübersetzung eingehen, denn mit ihrer Hilfe können bei der Optimierung des Übersetzungstools bestimmte Fehler priorisiert werden. Wenn wir unseren Übersetzern bei der Ausübung ihrer Arbeit vertrauen, sollten wir dies auch tun, wenn sie die Ergebnisse einer maschinellen Rohübersetzung beurteilen. Ich persönlich versuche immer, Maschinenübersetzungen in guter Qualität zu schicken, damit die Post-Editoren mit ihrer Arbeit zurecht kommen. Auf diese Weise kann ich mir meine Lieblingsübersetzer (die nun als Post-Editoren zum Einsatz kommen) an Bord halten, die dann auch bereit sind, weitere Aufträge zu übernehmen. Das ist nicht nur für die Übersetzer selbst ein entscheidender Unterschied, sondern wirkt sich auch auf die Qualität des Endprojektes aus.

5 Tipps, wie qualitatives Feedback erfolgreich in den Arbeitsablauf der MT-Bewertung einfließen kann

1. Erarbeitung eines Tools und eines Arbeitsablaufs für den Erhalt von Feedback der Post-Editoren

Es muss kein besonders ausgeklügeltes Tool sein und die Editoren sollten nicht alle Änderungen und Bemerkungen in übergroße Excel-Dateien eintragen müssen. Es sollte ausreichen, die heikelsten Fehler aufzunehmen, die man nicht immer und immer wieder korrigieren möchte. Wenn Sie allerdings nicht die Zeit haben, diese Informationen zu lesen und zu abzuarbeiten, kann ein kurzes informelles Telefongespräch von Zeit zu Zeit helfen und Ihnen wertvolles Feedback zur Funktion des Systems liefern.

2. Faire Vergütung

Darüber wurde bereits viel gesprochen. Ich würde empfehlen, die automatischen Kennzahlen als Grundlage zur Honorargestaltung zu verwenden, bei der Entscheidung aber auch die Meinung der Post-Editoren zu berücksichtigen. Aus diesem Grund biete ich Stundensätze an, wenn die Sprachkombination neu und der Aufwand größer ist, während bei etablierteren MT-Systemen und stabilen Edit-Distanzen auch pro Wort bezahlt werden kann. Bei Stundensätzen können Sie Ihr Team bitten, in ihren CAT-Tools die Zeiterfassung zu aktivieren oder die aufgewendete Zeit zu notieren.  Um Überraschungen zu vermeiden, ist es empfehlenswert, eine Höchststundenzahl auf der Grundlage der erwarteten Lektoratsgeschwindigkeit anzugeben und Ihre Übersetzer zu bitten, Sie über jegliche Abweichungen zu informieren. Bei einfachen Post-Editing-Aufträgen kann eventuell eine Mindestanzahl angegeben werden, damit die Linguisten nichts übergehen.

3. Versprechen Sie nicht das Blaue vom Himmel

Wenn Sie einen Test durchführen, sagen Sie es Ihrem Team. Seien Sie ehrlich, wenn es um die erwartete Qualität geht und erklären Sie immer, warum Sie die Maschinenübersetzung gewählt haben (Kosten, Frist,…).

4. Zwingen Sie niemanden, Post-Editor zu werden

Ich habe erlebt, wie sehr gute Übersetzer sehr schlechte Post-Editoren wurden, manche ändern viel zu viel oder viel zu wenig oder können einfach nicht damit umgehen, eine Übersetzung zu lektorieren, die von einer Maschine stammt. Aber auch anders herum habe ich eher schlechte Übersetzer gesehen, die sehr gute Post-Editoren wurden. Manchmal reicht ein kurzes Telefongespräch, um herauszufinden, ob die Übersetzer generell gegen die Nutzung von MT sind oder ob das System vor dem nächsten Durchgang vielleicht doch eine Optimierung benötigt.

5. Zuhören, zuhören, zuhören

Als Projektmanager neigen wir oft dazu, den Übersetzern viele Anweisungen und Referenzmaterial zu schicken und hauptsächlich per E-Mail zu kommunizieren. Manchmal ist es aber sinnvoll, in einem kurzen Telefonat mit den Post-Editoren über ihre Meinung zur Roh-MT zu sprechen. Für längere Projekte oder feste MT-basierte Sprachkombinationen kann es auch sinnvoll sein, regelmäßige Gruppentelefonate mit den Post-Editoren anzuberaumen, die nach Sprache oder Fachgebiet eingeteilt sind.

Und… Wie verhält es sich mit NMT-Bewertungen?

Verschiedenen NMT-Studien zufolge sind die Fehler dieser Systeme schwieriger zu finden als die Fehler von RBMT und SMT, da sie auf semantischer Ebene (Bedeutung) liegen. NMT berücksichtigt den Kontext und der Text erscheint dann recht flüssig, es entstehen keine syntaktisch unverständlichen Sätze, wie man es von SMT gewohnt ist. Zu den üblichen Fehlern gehören hier Fehlübersetzungen und diese können nur von Post-Editoren, also echten Menschen, erkannt werden. In den meisten bisher durchgeführten NMT-Tests fiel die BLEU-Bewertung eher schwach aus, während die Korrekturleser die Roh-MT in Ordnung fanden. Das heißt, dass man sich bei NMT nicht ausschließlich auf BLEU verlassen kann. Bei der Bewertung einer MT müssen sowohl der Ausgangs- als auch der Zieltext gelesen werden und daher ist der Einsatz von Menschen unabdingbar. Bei NMT ist die menschliche Beurteilung eindeutig noch wichtiger. Während die Übersetzungsbranche also an einem brauchbaren Ansatz zur Bewertung von NMT arbeitet, ist die qualitative Einschätzung doch notwendig, um die Ergebnisse solcher Systeme zuverlässig beurteilen zu können.

Post Editor Feedback Form

CPSL war die treibende Kraft hinter der neuen ISO-Norm 18587 (2017). Die ISO-Norm 18587 (2017) regelt die Nachbearbeitung der von maschinellen Übersetzungssystemen erstellten Inhalte und legt darüber hinaus die Kompetenzen und Qualifikationen der damit betrauten Post-Editoren fest. Die Norm wurde für den Einsatz durch Post-Editoren, Sprachdienstleister und ihre Kunden entwickelt.