Vorwort zur Reihe „KI-Tools für Einfache Sprache“

Was kann künstliche Intelligenz (KI) für die Einfache Sprache leisten? Wir haben bereits das Programm ChatGPT (siehe Blogs [1] [2] [3]) untersucht. Nun verfolgen wir, wie KI praktisch eingesetzt wird, um Texte leicht verständlich zu machen. Dazu testen wir neue KI-Tools, die öffentlich zugänglich sind. Besonders analysieren wir die sprachliche Qualität dieser Tools. Hierfür dienen uns die Merkmale der Einfache Sprache (vgl. ABC der Einfachen Sprache) und die Leistungen von ChatGPT als Messlatte. Wir wollen mit diesen Tests zur Diskussion anregen: Was sind die Stärken und die Schwächen dieser Tools? Für welche Zielgruppen und Zwecke sind sie geeignet? Wie kann man die Qualität der erzeugten Texte verbessern?
Unsere Reihe beginnt mit einem Vorreiter unter den KI-Tools für Einfache Sprache: dem KI-Tool vom Fußballclub St. Pauli.

Was leistet das KI-Tool von St. Pauli in Einfacher Sprache?

Der FC St. Pauli (FCSP) hat ein KI-Tool für Übersetzungen entwickelt. Es gehört zum Projekt Klartext St. Pauli, das die barrierefreie Kommunikation unter anderem mit Leichter Sprache voranbringt. Für das KI-Tool hat das Team eine interne Schnittstelle zu ChatGPT (Version GPT-4) eingerichtet. Die Schnittstelle ist mit den Regeln für Leichte Sprache trainiert und mit Beispieltexten von der Homepage des FCSP gefüttert.
Der FCSP bringt die KI-Übersetzungen jedoch als Einfache Sprache heraus, weil die Textqualität nur noch stichprobenartig geprüft wird. Das KI-Tool hat sich für den internen Einsatz bewährt. Auf der Homepage erscheinen aktuelle Meldungen mit der Aufschrift „Einfache Sprache“ (Beispiel). Nun hat der FCSP sein Tool auch für weitere Interessenten zum kostenlosen Test angeboten (Link). Wir wollen daher das KI-Tool des FCSP auf Einfache Sprache testen und dabei an unsere Analysen zu ChatGPT anknüpfen.

Ziele unseres Tests
Wir haben mehrere Texte mit dem KI-Tool von St. Pauli (FCSP-Tool) in Einfache Sprache übersetzt. Die erzeugten KI-Texte haben wir unter drei Aspekten getestet:

1. Wie verständlich sind die KI-Texte?
2. Wie korrekt geben die KI-Texte den Inhalt wieder?
3. Wie gut lesbar sind die KI-Texte?
   

Für diese Tests haben wir 5 Ausgangstexte zu verschiedenen Themen und auf unterschiedlichem Niveau verwendet:

• Käuferschutz bei PayPal (Auszug aus den Nutzungsbedingungen)
• Koloniale Raubkunst im Humboldt Forum (Auszug aus einem Artikel)
• Robert-Koch-Institut (RKI) (Auszug aus der Internetseite des RKI)
• Special Olympics 2023 (Rückblick des Organisationskomitees)
• Volksentscheid Berlin 2030 klimaneutral (Auszug aus dem Aufruf)

Die gleichen Texte hatten wir schon mit ChatGPT in Einfache Sprache übersetzt (vgl. Blog 3). Die besten Ergebnisse erzielten wir mit der Version GPT-4, und zwar mit folgender Aufforderung (Prompt) an das Programm: „Schreibe diesen Text in Einfacher Sprache. Verwende dabei nur kurze Wörter, kurze Sätze und aktive Sprache.“ Wie unsere Analyse zeigte, entsprachen die erzeugten Texte weitgehend den Merkmalen der Einfachen Sprache. An diesem Textniveau haben wir die Übersetzungen des FCSP-Tools gemessen.

Hier sind die hauptsächlichen Ergebnisse unserer Tests mit dem FCSP-Tool:

1. Wie verständlich sind die KI-Texte?

Zuerst haben wir geprüft, wie verständlich die Übersetzungen des FCSP-Tools sind. Dazu dient uns die Software TextLab von H&H Communication Lab GmbH. Diese Software verwendet den Hohenheimer Verständlichkeitsindex (HIX). Er misst die Verständlichkeit von Texten auf der Skala von 0 bis 20. Je höher der erreichte Wert, desto leichter verständlich ist der Text. Etwa ab HIX-Wert 16 beginnt die Einfache Sprache.

Die Übersetzungen des FCSP-Tools erzielen fast alle eine hohe Verständlichkeit (HIX-Wert 19-20). Das gelingt weitgehend unabhängig von der Verständlichkeit der Ausgangstexte. Damit reichen die Übersetzungen an die Ergebnisse unserer Tests mit GPT-4 heran. Hier sind die HIX-Werte im Vergleich:

Verständlichkeit der Texte (HIX-Werte)

Thema	Ausgangstext	Übers. FCSP	Übers. GPT-4
RKI	2	12	20
Käuferschutz	4	20	20
Klimaneutral	7	19	19
Raubkunst	10	20	19
Olympics	14	20	20

Die Übersetzungen des FCSP-Tools sind insgesamt gut verständlich, da sie kurze und einfach strukturierte Sätze haben und zumeist kurze Wörter verwenden. Eine Ausnahme ist der KI-Text zum RKI: Hier sind besonders viele lange Wörter enthalten. Zwar haben sie zumeist einen Trennstrich in der Wortfuge (z.B. Krankheits-Vorbeugung), doch das TextLab misst die gesamte Wortlänge. Denn beim Lesen muss man das gesamte Wort verstehen können.

2. Wie korrekt geben die KI-Texte den Inhalt wieder?

Das FCSP-Tool übersetzt den Inhalt der Ausgangsstexte zumeist genau und vollständig. Das gelingt sogar bei relativ schwierigen Textabschnitten, beispielsweise zur digitalen Abstimmung beim Volksentscheid Klimaneutral:

Ausgangstext:

„… Wer die Zustellung der Abstimmungsbenachrichtigung abwartet, kann die Abstimmungsbenachrichtigung via Scan des dort auf der Rückseite eingedruckten QR-Codes vornehmen. Durch das Scannen des QR-Codes mit einer geeigneten App wird der Abstimmungsscheinantrag im Internet aufgerufen und die verschlüsselten personenbezogenen Daten werden automatisch eingetragen. Der Antrag muss dann nur noch bestätigt werden.“

Übersetzung vom FCSP-Tool:

„… Oder man wartet auf die Abstimmungs-Benachrichtigung.
Dort ist ein QR-Code.
Man scannt den QR-Code mit einer App.
Dann kommt man zum Antrag im Internet.
Die persönlichen Daten werden automatisch eingetragen.
Man muss den Antrag nur noch bestätigen.“

In diesem Beispiel hat das Tool den komplexen Ausgangstext in logischer Folge und in einfachen kurzen Sätzen wiedergegeben. Das Ergebnis ist gut verständlich. Bei anderen Texten führt dieses Vorgehen jedoch auch zu weniger verständlichen Übersetzungen. Hier ist ein Beispiel aus dem Käuferschutz bei PayPal. Wir stellen hier die Übersetzungen vom FCSP-Tool und unsere Übersetzung mit GPT-4 gegenüber:

Ausgangstext:

„Wenn Sie etwas von einem Verkäufer kaufen, können Sie die Zahlung unter Umständen nach dem PayPal-Käuferschutz zurückerhalten.“

Übersetzung vom FCSP-Tool:

„Wenn Sie etwas kaufen, kann PayPal Ihnen helfen.
Das Geld bekommen Sie zurück, wenn es Probleme gibt.
Das nennt man PayPal-Käufer-Schutz.“

Übersetzung mit GPT-4:

„Wenn du etwas kaufst und es gibt Probleme, kann dir PayPal helfen.
Sie können dir dein Geld zurückgeben. Die Regeln dafür stehen bei PayPal.“

Das FCSP-Tool reiht in diesem Beispiel 3 Sachverhalte aneinander, ohne den Inhalt des Ausgangstextes hinreichend zu erfassen. Das heißt, der komplexe Ausgangstext wird so weit zerteilt, dass der inhaltliche Zusammenhang verloren geht. Hingegen gibt die Übersetzung mit GPT-4 den Inhalt des Ausgangstextes genauer wieder und nutzt zudem einfache Wörter.

Mitunter haben die FCSP-Übersetzungen auch kleine inhaltliche Fehler, wie in diesen Beispielen:

Im KI-Text sind verbindende Wörter ausgelassen (kursiv):
„PayPal entscheidet [auf Grund von] Regeln für den Käufer-Schutz.“
Oder ein Satz wird hinzugedichtet (kursiv):
„Viele Menschen sind dabei gestorben. Das ist sehr traurig.„

Insgesamt sollte man bei den Übersetzungen genau hinsehen, ob der Inhalt richtig wiedergegeben ist. Denn bei oberflächlichem Lesen fallen die schwachen Stellen kaum auf. Das mag damit zusammenhängen, dass Texte von ChatGPT allgemein gut strukturiert und sprachlich korrekt sind. Und davon profitiert auch das FCSP-Tool.

3. Wie gut lesbar sind die KI-Texte?

Auffällig ist zunächst das Textbild der FCSP-Übersetzungen: Jeder Satz beginnt auf einer neuen Zeile. Hier ist ein Beispiel zum Thema Raubkunst (Screenshot v. 13.7.2023):

In diesem Fall übersetzt die KI einen Ausgangstext von 3 Sätzen in einen Text von 16 Sätzen auf 16 Zeilen. Diese Schreibweise ist typisch für Leichte Sprache, während die Einfache Sprache den normalen Fließtext verwendet.

Wie gut lesbar die zeilenweise Übersetzung ist, hängt von der Zielgruppe ab: Menschen mit Lernschwierigkeiten oder geringen Lesefähigkeiten können einen Satz pro Zeile besser verstehen. Hingegen werden andere Menschen diese ausgedehnte Abfolge kurzer Sätze eher ermüdend finden.
Zu beachten ist noch, dass beim Kopieren des KI-Textes jegliche Formatierung verschwindet. Der kopierte Text muss also für die angestrebte Zielgruppe neu formatiert werden.

Wichtig für die Lesbarkeit ist auch die sprachliche Gestaltung der KI-Texte, insbesondere der Satzbau und die Wortwahl. Einige dieser Aspekte haben wir bereits bei der Analyse der Verständlichkeit (Abschnitt 1) erwähnt. Insgesamt gilt Folgendes für die Lesbarkeit der FCSP-Übersetzungen:

• Günstig sind die allgemein kurzen und einfach strukturierten Sätze, wenn sie den Text nicht zu sehr zerteilen (vgl. Beispiele in Abschnitt 2: Inhalt).
• Ungünstig sind jedoch die mehrfach auftretenden unvollständigen Sätze (Beispiel kursiv: „Die Unterlagen bekommt man dann per Post. Entweder nach Hause oder an eine andere Adresse.„).
• Ungünstig sind auch die relativ häufigen Sätze im Passiv (Beispiele unten).
• Günstig sind die zumeist kurzen Wörter; unzureichend sind jedoch Bindestriche bei langen Wortverbindungen.
• Ungünstig sind die zahlreichen abstrakten Substantive (Beispiele unten).

Teilweise haben unsere Übersetzungen mit GPT-4 sprachlich bessere Lösungen. Hier sind einige Beispiele im Vergleich:

Übersetzungen mit FCSP-Tool	Übersetzungen mit GPT-4
Passiv (kursiv): Manchmal wurde auch geweint, wenn ein Spiel verloren ging. Aber dann wurde getröstet und weiter gefeiert.	Aktiv (kursiv): Manchmal haben die Leute auch geweint, wenn sie ein Spiel verloren haben. Aber dann haben sie sich getröstet und weiter gefeiert.
Abstrakt (kursiv): Das Robert Koch-Institut ist eine wichtige Einrichtung. Es gehört zum Bundes-Ministerium für Gesundheit. Das Institut kümmert sich um Krankheits-Überwachung und Krankheits-Vorbeugung.	Konkret (kursiv): Das Robert Koch-Institut (RKI) gehört zum Gesundheitsministerium. Das RKI ist sehr wichtig für die Regierung. Es hilft dabei, Krankheiten zu überwachen und zu verhindern.

Fazit unseres Tests

Mit dem KI-Tool von St. Pauli (FCSP-Tool) kann man leicht verständliche und gut lesbare Übersetzungen erzeugen. Sie erfüllen damit wichtige Anforderungen an Einfache Sprache. Nur in der Textform (1 Satz pro Zeile) und im Satzmuster (meist nur kurze Hauptsätze) ähneln sie der Leichten Sprache.
Mit diesen Testergebnissen dürften die FCSP-Übersetzungen besonders für Menschen mit geringen Lesefähigkeiten oder mit Lernschwierigkeiten geeignet sein. Ratsam ist es, die Übersetzungen auf Inhalt und Sprache zu prüfen und nachzubessern.
Das FCSP-Tool eignet sich für unterschiedliche Themen. Es kann daher für viele Einsatzbereiche der Einfachen und Leichten Sprache genutzt werden.
Noch wird das Tool erprobt. Wir wollen daher zum Erfahrungsaustausch unter allen Beteiligten und Interessenten beitragen!

Sabine Manning

PS. Hilfreich für diesen Blog waren die Informationen von Reyk Sonnenschein, Koordinator des Klartext-Projekts St. Pauli (E-Mail an alle Interessenten v. 6.7.2023).
Für Anregungen zum Test danke ich Stephan Manning, Bettina Mikhail und Uwe Roth.

Bild von VintageSnipsAndClips auf Pixabay

Hinweis: Dieser Beitrag unterliegt der Creative Commons Lizenz. Das bedeutet, dass ihn Interessierte für nicht kommerzielle Zwecke weiterverwenden dürfen. Sie müssen dazu den Autor und den Blog Multisprech (https://multisprech.org/) nennen und dürfen den Text nicht bearbeiten.