Die menschliche Komponente in der maschinellen Übersetzung (1)

In den Diskussionen über maschinelle Übersetzungen hört man eher wenig über die Nachbearbeitung und darüber was getan werden könnte, um das oft negativ besetzte Post-Editing von Maschinenübersetzungen attraktiver zu gestalten. Unsere MÜ-Expertin gibt uns nützliche Einblicke in ihre persönlichen Erfahrungen damit, wie man das Arbeitserlebnis für Post-Editoren verbessern kann. Im Laufe der Jahre habe ich interessanterweise gelernt, dass man mit den richtigen Strategien zur Verbesserung der Nachbearbeitung auch für mittelmäßige MT gute Ergebnisse erzielen kann, während mit der falschen Strategie auch gute Maschinenübersetzungen nicht wirklich ihrem Anspruch gerecht werden. Viel kann ich dem, was Lucía sagt, nicht hinzufügen, ich kann es nur mit anderen Worten ausdrücken. Wichtige Elemente des Erfolgsrezepts:

• Vertrauensbildung durch transparente und faire Vergütung und eine offene Kommunikation zu Arbeitsthemen
• Einbindung der Post-Editoren in die Weiterentwicklung der Maschinenübersetzung und Verbesserung der Prozesse
• Nachweis, dass der Feedback-Kreis die Arbeitserfahrung tatsächlich fortlaufend verbessert

Das Post-Editing gehört bei der Verwendung von MT inzwischen dazu. Dem Common Sense Advisory (2016) zufolge bieten 80% der Sprachdienstleister Maschinenübersetzungen mit Nachbearbeitung an, und eine der wesentlichen Schlussfolgerungen einer Studie, die 2017 auf der Konferenz des Europäischen Verbandes für Maschinenübersetzungen vorgestellt wurde, besagt, dass weniger als 10% der in der Memsource Cloud angefertigten Maschinenübersetzungen unbearbeitet blieben. Während viele nutzergenerierte Inhalte ohne Nachbearbeitung maschinell übersetzt werden (die tägliche Realität bei eBay, Amazon, Airbnb, um nur einige zu nennen), egal, ob es sich dabei um RBMT, SMT, oder NMT handelt, benötigt man immer noch die Post-Editoren, um das MT-Rohergebnis zu verbessern.

Quantitative Bewertungsverfahren: Nur die halbe Wahrheit

Während diese Daten zeigen, dass die Arbeit der Linguisten entscheidend ist, werden diese oft aus dem MT-Prozess ausgeschlossen und nur für das Post-Editing angefragt, ohne dass es einen prozessbegleitenden Austausch gäbe. Die Bewertung durch Menschen wird immer noch als „teuer, zeitintensiv und subjektiv“ betrachtet. Die Anmerkung der Fehler dauert im Vergleich zur automatisierten Metrik wie BLEU oder WER sehr lange, diese sind definitiv günstiger und schneller. Diese Instrumente liefern quantitative Daten, die man durch den Vergleich der maschinellen Rohübersetzung mit einer Referenzübersetzung erhält, wobei die Bewertung des Post-Editoren fast nie berücksichtigt wird. Sollte das nicht wichtig sein, wenn der Post-Editor weiterhin seine Aufgabe erfüllen soll?

Maschinen mögen zwar besser bei der Erkennung von Unterschieden sein, aber Menschen können sprachliche Phänomene besser bewerten, sie zuordnen und detailliert analysieren.

Bei CPSL möchten wir die Post-Editoren in drei Phasen des MT-Prozesses mit einbeziehen:

• Für Testzwecke einer Übersetzungsmaschine in einem neuen Fachbereich oder einer neuen Sprachkombination
• Für die regelmäßige Bewertung einer vorhandenen Übersetzungsmaschine
• Für die Entwicklung/Erstellung/Aktualisierung von Richtlinien für das Post-Editing

Einige Unternehmen arbeiten mit der Likert-Skala für die Auswertung durch Menschen. Bei dieser Methode bittet man Menschen – normalerweise eher Endnutzer als Linguisten -, Segmente maschineller Rohübersetzungen auf der Grundlage von Kriterien wie Angemessenheit (Wie gut wurde der Ausgangstext in die Zielsprache übertragen?) oder Flüssigkeit (Klingt die Übersetzung für einen Muttersprachler der Zielsprache natürlich?) zu bewerten.

Wir haben uns bei unseren Bewertungen dafür entschieden, den Post-Editor in einem Formular um sein Feedback zu bitten, dabei werden die Informationen zwischen Ausgangssegment, maschineller Rohübersetzung und nachbearbeitetem Segment abgeglichen, die Schwere der gefundenen Fehler bestimmt und persönliche Kommentare hinzugefügt.

Aus schlechten Erfahrungen bereichernde Arbeit machen

Wenn ich ein MT-basiertes Projekt leite, stoße ich oft auf die Ablehnung von Übersetzern, die aufgrund schlechter Post-Editing-Erfahrungen nicht mit maschinenübersetzten Dateien arbeiten möchten. Mir wurde von vielen Fällen berichtet, in denen Post-Editoren wurden auf der Grundlage einer Edit-Distanz bezahlt wurden, die aus einem realitätsfernen Test berechnet wurde; all zu oft seien sie auch nie um eine Beurteilung der maschinellen Rohübersetzung gebeten worden. Man wollte von ihnen lediglich die fertigen Dateien und vielleicht noch die Angabe der aufgewendeten Zeit, allerdings nur zu Zwecken der Rechnungsstellung. Einer unserer Stammübersetzer erzählte mir sogar, dass er Maschinenübersetzungen bekam, die schlechter als der Google Übersetzer waren (NMT gab es da noch nicht). All diese Berichte zeigen, dass Post-Editoren selten in die Verbesserung des Systems und den Bewertungsprozess einbezogen werden. Damit kann das Post-Editing zur abschreckenden Aufgabe werden, die niemand ein zweites Mal machen möchte.

Post Editor Feedback Form

Um solche Situationen zu vermeiden, haben wir unser eigenes Feedback-Formular erstellt, um die Schwere der Fehler zu beurteilen und zuzuordnen und Fehler zu priorisieren. So haben unsere Post-Editoren zum Beispiel der fehlerhaften Großschreibung von Monaten und Tagen im Spanischen, Problemen der Wortstellung in englischen Fragen, der Zeichensetzung im Französischen und ähnlichen Fehlern höchste Priorität eingeräumt, und unser MT-Anbieter wurde gebeten, dies unverzüglich zu beheben. Die Komplexität des Bewertungsbogens kann je nach Bedarf unterschiedlich ausfallen. Er kann wie der Vordruck des Dynamischen Qualitätsrahmens (DQF) sehr detailliert oder eine einfache Liste der wichtigsten Fehler mit Beispielen sein.