MIT.Blog: Qualität automatischer Übersetzungen: Licht und Schatten

Automatische Übersetzung in der Anwendung

Automatische Übersetzungsprogramme versprechen schnelle und genaue Übersetzungen ohne viel Aufwand. In einigen Internetbrowsern sind sie bereits fest integriert oder über Add-ons nachrüstbar. Tatsächlich mutet es ein wenig wie Magie an, wenn man bspw. bei Internet-Recherchen für den nächsten Urlaub eine portugiesische Internetseite aufruft und der Browser die Seite automatisch auf Deutsch übersetzt. Doch fast im selben Moment werden die zahlreichen Probleme sichtbar, mit denen die Programme zu kämpfen haben. Technische Begrenzungen, wie bspw. die Unübersetzbarkeit von Text in Bildern, sind da noch die kleinsten Schwierigkeiten. Andererseits sieht man aber auch, dass die automatischen Übersetzungen oft genügen, um die gewünschten Informationen zu finden, die ansonsten hinter der Sprachbarriere verborgen geblieben wären.

Doch nicht nur bei spontanen Recherchen im Internet werden automatische Übersetzungsprogramme gerne eingesetzt. Auch professionelle Übersetzerinnen und Übersetzer greifen als Ausgangsbasis auf vollautomatische Hilfsprogramme zurück, die sie dann mit ihren professionellen Kenntnissen verfeinern. In der Übersetzungswissenschaft wird dieses Vorgehen unter dem Stichwort „post-editing“ geführt.

DeepL, Google Translate und Bing Translator: Maschinelle Übersetzer im Vergleich

Es ist keine Überraschung, dass jeder der großen Anbieter damit antritt, den genauesten und sprachlich versiertesten Übersetzer anzubieten. Inwiefern die Programme diese Versprechen einlösen, möchte ich in einer Fallstudie etwas genauer beleuchten. Fair wird dieser Vergleich nur insofern sein, dass alle Programme, die ich vergleiche, den identischen Textteil bekommen werden. Ich werde dabei allerdings nur die Kombination Englisch-Deutsch vergleichen. Die Ergebnisse sind mit Vorsicht zu genießen, weil sie nicht unbedingt auf andere Texte (oder gar ganze Textgenres) und andere Sprachkombinationen verallgemeinert werden können.

Auf dem Spielfeld der automatischen Übersetzungsprogramme gibt es einen neuen Mitstreiter, der in der jüngsten Vergangenheit verschiedentlich mit hochqualitativen Übersetzungen verblüfft hat: „DeepL“. Ich werde DeepL gegen den ewigen „Platzhirschen“ Google Translate (der bspw. in Google Chrome auch für die oben angesprochene Webseiten-Übersetzung zuständig ist) sowie den Bing Translator von Microsoft antreten lassen. Als Textmaterial dient mir ein Auszug aus einem Artikel der New York Times vom 14. März 2018 zur Regierungsbildung in Deutschland („As Merkel Begins New Term, Compromises Could Undo Economic Boom“).

Maschinelle Übersetzer im Vergleich: the battle begins

Der Textauszug lautet:

The German economy could hardly be in better shape as Angela Merkel formally began her fourth term as chancellor Wednesday. Unemployment is almost nonexistent, stock prices are at record highs, and there is almost no inflation. But the political compromise that allowed Ms. Merkel to remain in power could bring that boom to an end. She had to bend to demands from her party’s junior coalition partner, and agree to roll back deregulation that, since 2005, has unleashed the country’s economy. Now, with Europe’s economy gaining momentum after a prolonged slump, Germany — the Continent’s economic powerhouse and de facto leader — risks heading in the opposite direction.

Die Übersetzung von DeepL (ich habe alle Übersetzungen am 21. März 2018 angefordert) lautet:

Die deutsche Wirtschaft könnte kaum besser in Form sein, denn Angela Merkel hat am Mittwoch ihre vierte Amtszeit als Bundeskanzlerin begonnen. Die Arbeitslosigkeit ist fast nicht vorhanden, die Aktienkurse sind auf Rekordhöhe, und es gibt fast keine Inflation. Aber der politische Kompromiss, der es Frau Merkel erlaubte, an der Macht zu bleiben, könnte diesen Boom beenden. Sie musste sich den Forderungen des Junior-Koalitionspartners ihrer Partei beugen und einer Rücknahme der Deregulierung zustimmen, die seit 2005 die Wirtschaft des Landes beflügelt hat. Jetzt, da die europäische Wirtschaft nach einem anhaltenden Einbruch an Schwung gewinnt, läuft Deutschland – die Wirtschaftsmacht des Kontinents und de facto führend – Gefahr, in die entgegengesetzte Richtung zu gehen.

Die Übersetzung des Google Translators lautet:

Die deutsche Wirtschaft könnte kaum in Form sein, als Angela Merkel ihre vierte Amtszeit als Bundeskanzlerin am Mittwoch offiziell begann. Arbeitslosigkeit ist fast nicht vorhanden, Aktienkurse sind auf Rekordhöhen und es gibt fast keine Inflation. Aber der politische Kompromiss, der es Merkel erlaubte, an der Macht zu bleiben, könnte diesen Boom beenden. Sie musste sich den Forderungen des Koalitionspartners ihrer Partei beugen und einwilligen, die Deregulierung zurückzunehmen, die seit 2005 die Wirtschaft des Landes entfesselt hat. Jetzt, da die europäische Wirtschaft nach einem längeren Einbruch an Dynamik gewinnt, geht Deutschland, der wirtschaftliche Macht- und De-facto-Führer des Kontinents, in die entgegengesetzte Richtung.

Und der Microsoft Bing Translator übersetzt den Text folgendermaßen:

Die deutsche Wirtschaft konnte kaum besser in Form sein, als Angela Merkel offiziell ihre vierte Amtszeit als Kanzler Mittwoch begann. Die Arbeitslosigkeit ist fast nicht existent, Aktienkurse sind auf Rekordhöhen, und es gibt fast keine Inflation. Aber der politische Kompromiss, der es Frau Merkel erlaubte, an der Macht zu bleiben, könnte diesen Boom zum Ende bringen. Sie musste sich Nachforderungen von ihrer Partei Junior Koalition Partner beugen, und stimmen zu Rollback Deregulierung, dass seit 2005, hat die Wirtschaft des Landes entfesselt. Jetzt, da die europäische Wirtschaft nach einem längeren Einbruch an Schwung gewinnt, riskiert Deutschland – das Wirtschafts Kraftwerk des Kontinents und de facto Führer –, in die entgegengesetzte Richtung zu gehen.

Analyse der Übersetzungen von DeepL, Google Translator und Bing

Bing macht bereits ganz zu Beginn einen kleinen, aber sinnverändernden Fehler, indem es für „could“ die Entsprechung „konnte“ einsetzt. Auf rein grammatischer Ebene ist dies zwar möglich, hier aber nicht gemeint. Google und DeepL verwenden beide korrekterweise „könnte“. Ein kurioser Fehler schleicht sich gleich anschließend beim Google Translator ein, indem er das „better“ augenscheinlich nicht beachtet. Das führt dazu, dass der erste Satz seine Bedeutung umkehrt bzw. seine Sinnhaftigkeit völlig verliert.

Viele Wörter sind mehrdeutig, und die korrekte Interpretation lässt sich meist nur aus dem Kontext erschließen. Tatsächlich ist das menschliche Sprachverarbeitungssystem so schnell und robust, dass uns die meisten Mehrdeutigkeiten gar nicht auffallen. Das liegt sehr häufig am Wissen, das wir über die Welt haben, bzw. an der Fähigkeit schnell erfassen zu können, was die Intention unseres Gegenübers ist, wenn sie oder er uns etwas mitteilt. Weltwissen und die Einschätzung von Intentionen sind beides Fähigkeiten, die die automatischen Systemen extrem schwer beizubringen sind. Es ist also nicht überraschend, dass hier Probleme auftauchen.

Automatische Übersetzer und die Mehrdeutigkeit von Textelementen

Der nächste Fehler, den ich aufzeigen möchte, ist auf eine solche Mehrdeutigkeit zurückzuführen. Außerdem betrifft er eine Wortklasse, die uns im Projekt MIT.Qualität noch ausführlicher beschäftigen wird, nämlich all jene Wörter, die auf die eine oder andere Weise Zusammenhänge im Text, also Kohärenz, herstellen.

Oben habe ich bereits kurz die Mehrdeutigkeit einiger Textelemente angesprochen. Tatsächlich ist genau diese nun auch ein Problem, nämlich die Entsprechung des „as“ in „as Angela Merkel formally began her fourth term“. DeepL setzt hier den Kausalkonnektor „denn“ ein, und die Quelle bleibt auch dann noch ambig, wenn der komplette Kontext mit einbezogen wird: „as“ könnte hier tatsächlich auch im Sinne von „denn“ gemeint sein. Allerdings ist es ziemlich unwahrscheinlich, dass Jack Ewing, der Autor des Artikels, hier einen kausalen Zusammenhang zwischen der vierten Amtszeit Angela Merkels und der Verfassung der deutschen Wirtschaft herstellen möchte. Vielmehr liegt eine zeitliche Interpretation des „as“ nahe, wie es auch vom Google Translator und Bing „verstanden“ wird.

Das Weltwissen maschineller Übersetzer

Auch DeepL verschluckt ein Wort, nämlich das „formally“, das im Artikel deshalb enthalten ist, weil Angela Merkel während der relativ lang andauernden Phase der Regierungsfindung ihr Amt lediglich geschäftsführend innehatte. Sowohl Google als auch Bing verwenden hier die Entsprechung „offiziell“. Im weiteren Verlauf des Satzes fällt noch auf, dass sowohl DeepL als auch Google „Bundeskanzlerin“ als Titel verwenden. Das ist interessant, da das System diesen Titel eigentlich nur aus „German“ und/oder „Angela Merkel“ ableiten kann. Das scheint ein Fall zu sein, wo so etwas ähnliches wie Weltwissen im System greift – wobei wir uns das sicherlich nicht so vorstellen dürfen, dass die Übersetzungsprogramme wirklich „wissen“, dass Angela Merkel als Bundeskanzlerin bezeichnet wird. Wahrscheinlicher ist, dass das System das überzufällig häufige Auftreten der Wörter im selben Satz im Trainingsmaterial nutzt. Das ist allerdings nicht unbedingt weniger beeindruckend und letzten Endes vielleicht einfach eine technische Realisierung dessen, was wir beim Menschen als Weltwissen bezeichnen.

Auch die korrekte syntaktische Integration der Zeitangabe „Wednesday“ gelingt nur DeepL und Google („am Mittwoch“ statt nur „Mittwoch“ bei Bing, wo „Wednesday“ kurioserweise wohl als Eigenname des Kanzlers gesehen wird).

Im nächsten Satz möchte ich nur kurz auf das unscheinbare „record highs“ eingehen. Google und Bing verwenden auch im Deutschen eine Pluralform („Rekordhöhen“), DeepL formt um in Singular „Rekordhöhe“. Es mag Geschmacksache sein, welche Form man hier bevorzugt, in Korpora ist „Rekordhöhe“ zumindest deutlich häufiger belegt (auf der IDS-Plattform KorAP 2417 mal im Gegensatz zu Rekordhöhen mit 851 Treffern). Allerdings muss man davon ausgehen, dass über alle Wörter hinweg Singularformen häufiger belegt sind als Pluralformen, dies muss also nicht unbedingt dafürsprechen, dass in diesem Kontext die Singularform tatsächlich gebräuchlicher ist.

Der nächste Satz wird von allen Programmen nahezu identisch übersetzt. Einzig Bing übersetzt „bring … to an end“ sehr direkt mit „zum Ende bringen“. Die verbale Form „beenden“ erscheint mir hier angebrachter.

Wird die Wissenschaft beflügelt oder entfesselt?

Bing hat im folgenden Satz offenbar deutliche Probleme, den Komplex „her party’s junior coalition partner“ zu übersetzen: Die bloße Aneinanderreihung von „Partei Junior Koalition Partner“ ist deutlich defizitär gegenüber den Lösungen von Google Translate und DeepL, was einzig das „junior“ realisiert. Warum Bing aus den „demands“ „Nachforderungen“ macht, ist nicht ersichtlich und inhaltlich wohl nicht vom Autor des Originalartikels intendiert. Auch bei der Übersetzung von „to roll back deregulation“ macht Bing keine gute Figur. Es fällt auf, dass DeepL und Google Translate unterschiediche Varianten wählen, die beide syntaktisch in Ordnung sind: DeepL wählt eine nominale Variante „Rücknahme der Deregulierung“, Google hingegen bleibt bei der verbalen Konstruktion „die Deregulierung zurückzunehmen“. Unter Gesichtspunkten der Verständlichkeit ist diese verbale Konstruktion eher zu bevorzugen, denn sie erspart die Nominalisierung „Rücknahme“. Im weiteren Verlauf des Satzes klingt – zumindest in meinen Ohren – die DeepL-Übersetzung „beflügelt hat“ besser als die Variante, die Google und Bing einsetzen („entfesselt (hat)“). Dieser Eindruck wird mit einem Blick ins DWDS-Wortprofil zu „Wirtschaft“ bestätigt: „beflügeln“ befindet sich innerhalb der Verben, die „Wirtschaft“ als Akkusativobjekt selektieren, auf Platz 45 (Platz 1, „anzukurbeln“ bzw. „ankurbeln“ wäre in diesem Sinne wohl eine noch bessere Übersetzung gewesen). „Entfesseln“ ist im DWDS-Wortprofil zu „Wirtschaft“ unter den ersten 100 Verben nicht zu finden.

Der letzte Satz ist syntaktisch recht komplex, und nur DeepL kommt zu einem wirklich befriedigenden Ergebnis.

• DeepL und Bing unterschlagen nicht – im Gegensatz zu Google Translate – dass der Autor eine potentielle Gefahr zum Ausdruck bringen möchte: „Germany […] risks heading in the opposite direction“. Dies wird in der Übersetzung von Google schlicht ignoriert.
• Der Einschub, der „Deutschland“ modifiziert, wird nur von DeepL korrekt übersetzt. Googles Übersetzung ist fast richtig. Doch das Kompositionserstglied „Macht-“ ist nicht korrekt, denn „Machtführer“ ergibt keinen Sinn. Auch Bings Übersetzung von „powerhouse“ zu „Kraftwerk“ ist in diesem Kontext nicht angemessen.
• Die Konstruktion „läuft […] Gefahr“, die DeepL verwendet, klingt angemessen idiomatisch für das Deutsche. Bings „riskiert“ ist zwar korrekt, aber wiederum recht nah am originalen „risks“. Wie schon erwähnt, unterschlägt der Google Translator die Gefahr komplett.
• Das einzige, was im letzten Satz m.E. gegen DeepL spricht, ist die Übersetzung von „prolonged“ zu „anhaltend“. Zwar finden sich in Korpora (vgl. u.a. die typischen Verbindungen zu „anhaltend“ im DWDS) einige Partnerwörter aus dem Bereich der Wirtschaft, doch es suggeriert auch, dass der Einbruch („slump“) noch immer besteht. Dass das nicht die Intention des Autors war, zeigt sich im ersten Teilsatz („with Europe’s economy gaining momentun“). Es war also ein „längerer“ Einbruch (wie es Google und Bing auch übersetzen), aber er ist nun vorbei. Dies wird durch die Verwendung von „anhaltend“ leicht überdeckt.

Abschließender Vergleich der Übersetzungsprogramme

Zusammenfassend zeigt sich kein eindeutiges Bild, das ganz klar eines der drei Übersetzungsprogramme über alle anderen stellt. Es zeigen sich aber bestimmte Tendenzen. Am unteren Ende der Skala würde ich Bing ansetzen, denn es hat insbesondere das Problem, dass es zu oft syntaktisch schlicht falsche Sätze produziert. Zwar lässt sich der Sinn fast immer noch einigermaßen rekonstruieren (bei „Partei Junior Koalition Partner“ fällt es allerdings schon schwer), die anderen Programme leisten sich aber tatsächlich keinen schweren syntaktischen Fehler.

Zwischen Google und DeepL eine klare Linie zu ziehen fällt indes schwerer. Beide lassen manche Informationen einfach weg, wobei die Auslassungen von Google m.E. schwerer wiegen, insbesondere die Auslassung des „better“ im ersten Satz (was den Satz in der Tat auch an die Grenze der syntaktischen Korrektheit bringt) und die Auslassung der Möglichkeit (im Original realisiert durch „risks“) im letzten Satz. Insgesamt fällt auf, dass DeepL an einigen Stellen (Gefahr laufen, Wirtschaft beflügeln) besser darin ist, idiomatische Wendungen bzw. Kollokationen des Deutschen in die Übersetzungen zu integrieren. Ein Wermutstropfen für DeepL ist allerdings die Fehlinterpretation von „as“ als Kausalmarker im ersten Satz.

Ich möchte hier nicht unterschlagen, dass sowohl DeepL als auch Google Translate die Möglichkeit bieten, alternative Übersetzungen einzusehen. Bei Google Translate geschieht dies satzbasiert, d.h. man sieht immer für einen kompletten übersetzten Satz alternative Möglichkeiten. DeepL geht etwas feinkörniger vor. Hier können wir auf jedes Wort klicken, was zwei Dinge zur Folge hat: Falls vorhanden, werden unter dem Übersetzungsfenster wörterbuchartige Kurzdefinitionen zu ausgewählten und/oder verwandten Wörtern eingeblendet. Außerdem öffnet sich ein kleines Auswahlmenü mit alternativen Übersetzungen dieses Wortes oder Satzteils. Interessant ist an dieser Stelle, dass die Auswahl einer anderen Übersetzung unter Umständen dazu führt, dass der komplette Satz umgestellt wird. In diesem Text habe ich jeweils nur die erste angebotene Übersetzung betrachtet. Es ist also nicht auszuschließen, dass wir zu besseren Ergebnissen kommen können, wenn wir an einigen Stellen alternative Übersetzungen wählen.

Abschließend möchte ich nochmal betonen, dass der Vergleich der Übersetzungen eines Textabschnitts nicht genügt, um eine klare Rangfolge zwischen verschiedenen Übersetzungsprogrammen aufzustellen. Aber schon in diesem kurzen Abschnitt zeigen sich bestimmte Stärken und Schwächen der Konkurrenten. Außerdem konnte ich nicht auf alle Unterschiede einzeln eingehen. Sicherlich fallen Euch noch weitere Besonderheiten auf, die wir gerne im Kommentarbereich diskutieren können.