{"id":6203,"date":"2017-11-30T13:27:52","date_gmt":"2017-11-30T12:27:52","guid":{"rendered":"https:\/\/www.cpsl.com\/?p=6203"},"modified":"2023-09-27T10:51:03","modified_gmt":"2023-09-27T10:51:03","slug":"laus-der-sicht-der-sprachdienstleister","status":"publish","type":"post","link":"https:\/\/www.cpsl.com\/de\/laus-der-sicht-der-sprachdienstleister\/","title":{"rendered":"Die menschliche Komponente in der maschinellen \u00dcbersetzung (1)"},"content":{"rendered":"<p><em>In den Diskussionen \u00fcber <a href=\"https:\/\/www.cpsl.com\/de\/leistungen\/ki-intelligente-maschinelle-ubersetzung\/\" target=\"_blank\" rel=\"noopener noreferrer\">maschinelle \u00dcbersetzungen<\/a> h\u00f6rt man eher wenig \u00fcber die Nachbearbeitung und dar\u00fcber was getan werden k\u00f6nnte, um das oft negativ besetzte Post-Editing von Maschinen\u00fcbersetzungen attraktiver zu gestalten. Unsere M\u00dc-Expertin gibt uns n\u00fctzliche Einblicke in ihre pers\u00f6nlichen Erfahrungen damit, wie man das Arbeitserlebnis f\u00fcr Post-Editoren verbessern kann. Im Laufe der Jahre habe ich interessanterweise gelernt, dass man mit den richtigen Strategien zur Verbesserung der Nachbearbeitung auch f\u00fcr mittelm\u00e4\u00dfige MT gute Ergebnisse erzielen kann, w\u00e4hrend mit der falschen Strategie auch gute Maschinen\u00fcbersetzungen nicht wirklich ihrem Anspruch gerecht werden. Viel kann ich dem, was Luc\u00eda sagt, nicht hinzuf\u00fcgen, ich kann es nur mit anderen Worten ausdr\u00fccken. Wichtige Elemente des Erfolgsrezepts:<\/em><\/p>\n<ul>\n<li><em>Vertrauensbildung durch transparente und faire Verg\u00fctung und eine offene Kommunikation zu Arbeitsthemen<\/em><\/li>\n<li><em>Einbindung der Post-Editoren in die Weiterentwicklung der Maschinen\u00fcbersetzung und Verbesserung der Prozesse<\/em><\/li>\n<li><em>Nachweis, dass der Feedback-Kreis die Arbeitserfahrung tats\u00e4chlich fortlaufend verbessert <\/em><\/li>\n<\/ul>\n<p>Das<a href=\"https:\/\/www.cpsl.com\/de\/leistungen\/post-editing\/\" target=\"_blank\" rel=\"noopener noreferrer\"> Post-Editing<\/a> geh\u00f6rt bei der Verwendung von MT inzwischen dazu. Dem Common Sense Advisory (2016) zufolge bieten 80% der Sprachdienstleister Maschinen\u00fcbersetzungen mit Nachbearbeitung an, und eine der wesentlichen Schlussfolgerungen einer Studie, die 2017 auf der Konferenz des Europ\u00e4ischen Verbandes f\u00fcr Maschinen\u00fcbersetzungen vorgestellt wurde, besagt, dass <a href=\"https:\/\/www.memsource.com\/blog\/2017\/06\/14\/analysis-machine-translation-usage-in-memsource-cloud\/\" target=\"_blank\" rel=\"noopener noreferrer\">weniger als 10% der in der Memsource Cloud angefertigten Maschinen\u00fcbersetzungen unbearbeitet blieben<\/a>. W\u00e4hrend viele nutzergenerierte Inhalte ohne Nachbearbeitung maschinell \u00fcbersetzt werden (die t\u00e4gliche Realit\u00e4t bei eBay, Amazon, Airbnb, um nur einige zu nennen), egal, ob es sich dabei um RBMT, SMT, oder NMT handelt, <strong>ben\u00f6tigt man immer noch die Post-Editoren, um das MT-Rohergebnis zu verbessern.<\/strong><\/p>\n<h3><strong>Quantitative Bewertungsverfahren: Nur die halbe Wahrheit<\/strong><\/h3>\n<p>W\u00e4hrend diese Daten zeigen, dass die Arbeit der Linguisten entscheidend ist, werden diese oft aus dem MT-Prozess ausgeschlossen und nur f\u00fcr das Post-Editing angefragt, ohne dass es einen prozessbegleitenden Austausch g\u00e4be. Die Bewertung durch Menschen wird immer noch als <a href=\"https:\/\/blog.taus.net\/how-to-improve-automatic-mt-quality-evaluation-metrics\" target=\"_blank\" rel=\"noopener noreferrer\">\u201eteuer, zeitintensiv und subjektiv\u201c<\/a> betrachtet. Die Anmerkung der Fehler dauert im Vergleich zur automatisierten Metrik wie BLEU oder WER sehr lange, diese sind definitiv g\u00fcnstiger und schneller. Diese Instrumente liefern <strong>quantitative Daten, <\/strong>die man durch den Vergleich der maschinellen Roh\u00fcbersetzung mit einer Referenz\u00fcbersetzung erh\u00e4lt, wobei die <strong>Bewertung des Post-Editoren fast nie ber\u00fccksichtigt wird<\/strong>. Sollte das nicht wichtig sein, wenn der Post-Editor weiterhin seine Aufgabe erf\u00fcllen soll?<\/p>\n<p><strong><em>Maschinen m\u00f6gen zwar besser bei der Erkennung von Unterschieden sein, aber<\/em> Menschen k\u00f6nnen sprachliche Ph\u00e4nomene besser bewerten, sie zuordnen und detailliert analysieren.<\/strong><\/p>\n<p>Bei CPSL m\u00f6chten wir die Post-Editoren in drei Phasen des MT-Prozesses mit einbeziehen:<\/p>\n<ul>\n<li>F\u00fcr Testzwecke einer \u00dcbersetzungsmaschine in einem neuen Fachbereich oder einer neuen Sprachkombination<\/li>\n<li>F\u00fcr die regelm\u00e4\u00dfige Bewertung einer vorhandenen \u00dcbersetzungsmaschine<\/li>\n<li>F\u00fcr die Entwicklung\/Erstellung\/Aktualisierung von Richtlinien f\u00fcr das Post-Editing<\/li>\n<\/ul>\n<p>Einige Unternehmen arbeiten mit der Likert-Skala f\u00fcr die Auswertung durch Menschen. Bei dieser Methode bittet man Menschen &#8211; normalerweise eher Endnutzer als Linguisten -, Segmente maschineller Roh\u00fcbersetzungen auf der Grundlage von Kriterien wie Angemessenheit (Wie gut wurde der Ausgangstext in die Zielsprache \u00fcbertragen?) oder Fl\u00fcssigkeit (Klingt die \u00dcbersetzung f\u00fcr einen Muttersprachler der Zielsprache nat\u00fcrlich?) zu bewerten.<\/p>\n<p>Wir haben uns bei unseren Bewertungen daf\u00fcr entschieden, <strong>den Post-Editor in einem Formular um sein Feedback zu bitten<\/strong>, dabei werden die Informationen zwischen Ausgangssegment, maschineller Roh\u00fcbersetzung und nachbearbeitetem Segment abgeglichen, die Schwere der gefundenen Fehler bestimmt und pers\u00f6nliche Kommentare hinzugef\u00fcgt.<\/p>\n<h3><strong>Aus schlechten Erfahrungen bereichernde Arbeit machen<\/strong><\/h3>\n<p>Wenn ich ein MT-basiertes Projekt leite, sto\u00dfe ich oft auf die Ablehnung von \u00dcbersetzern, die aufgrund schlechter Post-Editing-Erfahrungen nicht mit maschinen\u00fcbersetzten Dateien arbeiten m\u00f6chten. Mir wurde von vielen F\u00e4llen berichtet, in denen Post-Editoren wurden auf der Grundlage einer Edit-Distanz bezahlt wurden, die aus einem realit\u00e4tsfernen Test berechnet wurde; all zu oft seien sie auch nie um eine Beurteilung der maschinellen Roh\u00fcbersetzung gebeten worden. Man wollte von ihnen lediglich die fertigen Dateien und vielleicht noch die Angabe der aufgewendeten Zeit, allerdings nur zu Zwecken der Rechnungsstellung. Einer unserer Stamm\u00fcbersetzer erz\u00e4hlte mir sogar, dass er Maschinen\u00fcbersetzungen bekam, die schlechter als der Google \u00dcbersetzer waren (NMT gab es da noch nicht). All diese Berichte zeigen, dass Post-Editoren selten in die Verbesserung des Systems und den Bewertungsprozess einbezogen werden. Damit kann das Post-Editing zur abschreckenden Aufgabe werden, die niemand ein zweites Mal machen m\u00f6chte.<\/p>\n<p>&nbsp;<\/p>\n<div id=\"attachment_6191\" style=\"width: 563px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/www.cpsl.com\/de\/leistungen\/post-editing\/\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-6191\" class=\" wp-image-6191\" src=\"http:\/\/www.cpsl.com\/wp-content\/uploads\/2017\/11\/Post-Editor-Feeback-Form.png\" alt=\"CPSL - Post Editor Feeback Form\" width=\"553\" height=\"257\" \/><\/a><p id=\"caption-attachment-6191\" class=\"wp-caption-text\"><strong>Post Editor Feedback Form<\/strong><\/p><\/div>\n<p>Um solche Situationen zu vermeiden, haben wir unser eigenes Feedback-Formular erstellt, <strong>um die Schwere der Fehler zu beurteilen und zuzuordnen und Fehler zu priorisieren<\/strong>. So haben unsere Post-Editoren zum Beispiel der fehlerhaften Gro\u00dfschreibung von Monaten und Tagen im Spanischen, Problemen der Wortstellung in englischen Fragen, der Zeichensetzung im Franz\u00f6sischen und \u00e4hnlichen Fehlern h\u00f6chste Priorit\u00e4t einger\u00e4umt, und unser MT-Anbieter wurde gebeten, dies unverz\u00fcglich zu beheben. Die Komplexit\u00e4t des Bewertungsbogens kann je nach Bedarf unterschiedlich ausfallen. Er kann wie der Vordruck des Dynamischen Qualit\u00e4tsrahmens (DQF) sehr detailliert oder eine einfache Liste der wichtigsten Fehler mit Beispielen sein.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>In den Diskussionen \u00fcber maschinelle \u00dcbersetzungen h\u00f6rt man eher wenig \u00fcber die Nachbearbeitung und dar\u00fcber was getan werden k\u00f6nnte, um das oft negativ besetzte Post-Editing von Maschinen\u00fcbersetzungen attraktiver zu gestalten. Unsere M\u00dc-Expertin gibt uns n\u00fctzliche Einblicke in ihre pers\u00f6nlichen Erfahrungen damit, wie man das Arbeitserlebnis f\u00fcr Post-Editoren verbessern kann. Im Laufe der Jahre habe ich [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":11928,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"aside","meta":{"inline_featured_image":false,"footnotes":""},"categories":[130],"tags":[],"class_list":["post-6203","post","type-post","status-publish","format-aside","has-post-thumbnail","hentry","category-nachbearbeitung-post-editing","post_format-post-format-aside"],"_links":{"self":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6203","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/comments?post=6203"}],"version-history":[{"count":8,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6203\/revisions"}],"predecessor-version":[{"id":28641,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/posts\/6203\/revisions\/28641"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/media\/11928"}],"wp:attachment":[{"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/media?parent=6203"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/categories?post=6203"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.cpsl.com\/de\/wp-json\/wp\/v2\/tags?post=6203"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}