Ein Gastbeitrag von Constantin Cebulla

Hat ein Mensch den Text geschrieben, den ich lese? Selbstverständlich ist die Antwort auf diese Frage nicht. Denn Roboterjournalisten sind durchaus in der Lage, Texte zu allen erdenklichen Themen zu schreiben – und dies eigenständig von der Recherche bis hin zur Publikation. Besonders leicht fällt dies den Maschinen bei kurzen Texten, die stets nach einem ähnlichen Schema aufgebaut sind und zu denen eine große Menge an Daten verfügbar ist – so beispielsweise bei Fussballspielberichten.

Kann man also unterscheiden, ob ein Fussballspielbericht aus der Feder eines Menschen oder einer Maschine stammt? Wie sieht es zum Beispiel mit folgendem Auszug eines Spielberichts der Hamburger Oberliga aus?

Über weitere Tore konnten sich die Zuschauer bis zur Pause nicht mehr freuen. Daher ging es mit unverändertem Ergebnis in die Kabinen. Die erste nennenswerte Aktion des zweiten Durchgangs war ein Wechsel auf Seiten des NTSV, als Simon Windhoff in der 70. Minute Özden Kocadal ersetzte. Schlussendlich pfiff Schiedsrichter Dennis Voß (TuS Dassendorf) das Spiel ab, ohne dass Tore im zweiten Durchgang zu bejubeln waren. Der Niendorfer TSV brachte am Ende einen knappen Dreier unter Dach und Fach.

Stammt der Bericht aus dem Textgenerator von Retresco oder wurde er von einem Autor einer Regionalzeitung geschrieben? Sieben zufällig ausgewählte Auszüge wie diesen habe ich zur Beantwortung dieser Frage von über 130 Probanden bewerten lassen. Dazu sollten sie zunächst die Texte anhand verschiedener Kriterien bewerten und dann abschließend schätzen, ob der Text von einem Menschen oder von einer Maschine verfasst wurde. Hier zunächst die Bewertungen der Texte, gruppiert nach Robotertexten vs. Menschtexten:

Es zeigte sich also, dass von Menschen verfasste Fussballspielberichte als verständlicher und zusammenhängender bewertet wurden als ihre maschinellen Pendants. Obwohl der Unterschied der Bewertung gering ausfiel, war er doch statistisch signifikant. Woran das liegen könnte, zeigt ein Blick auf die einzelnen Bewertungen der Berichte. Wie in jedem Text müssen auch in Fussballspielberichten die vermittelten Informationen sinnvoll verknüpft werden. Je mehr Informationen vorliegen, desto schwieriger ist es, alle sinnvoll zu verknüpfen. Wenn also ein besonders ereignisreiches Spiel beschrieben wird, sind sowohl menschliche als auch maschinelle Texte unverständlicher und unzusammenhängender. Der Effekt ist jedoch bei Robotertexten stärker. Das lässt den Schluss zu, dass Maschinen Informationen noch nicht so gut verknüpfen können wie Menschen.

Menschliche Texte erscheinen hochwertiger

Die Qualität eines Textes lässt sich an den Kriterien „oberflächlich“, „angenehm zu lesen“ und „langweilig“ ablesen. Menschliche Spielberichte wurden demnach insgesamt als qualitativ hochwertiger bewertet. Der Unterschied war abermals statistisch signifikant. Interessant ist jedoch, dass der Text, welcher am angenehmsten zu lesen war, ein Robotertext war.

Nun ist es schwierig, eine solche subjektive Einschätzung an konkreten Textpassagen zu begründen. Wissenschaftliche Forschungen legen dennoch nahe, dass insbesondere ein emotionaler und mündlicher Schreibstil, in dem versucht wird, eine Nähe zum Leser aufzubauen, zur Qualität von Sportspielberichten beiträgt. Also könnten besonders alltagssprachliche Ausdrücke und Fussballjargonismen wie „wurschtelte“, „hapert“ oder „ein dicker Patzer“ in Robotertexten dazu beigetragen haben, dass auch diese teilweise als qualitativ sehr hochwertig bewertet wurden.

Doch wie sieht es mit der Objektivität der Fussballspielberichte aus? Sollten Roboter nicht objektiver und unparteiischer sein als Menschen? Zwar wurden Robotertexte tendenziell als objektiver und weniger parteiisch wahrgenommen, wohingegen Menschtexte als informativer bewertet wurden. Allerdings war keiner dieser Unterschiede statistisch signifikant. Die Bewertungen der einzelnen Texte gehen hier sehr weit auseinander. So sehen einige Probanden beispielsweise einen Bericht als sehr parteiisch an, den andere überhaupt nicht parteiisch finden. Auf rein sprachlicher Ebene geben jedoch – erwartungsgemäß – vornehmlich die von Menschen geschriebenen Texte Anlass zu jenen Vorwürfe einer parteiischen und sensationalisierten Schreibweise, die der Fußballsprache häufig gemacht werden.

Wer erkennt den Robotertext?

Die letzte Frage verlangte eine eindeutige Antwort der Probanden, ob sie den gelesenen Fussballspielbericht für maschinell erstellt oder menschlich geschrieben hielten. Zunächst ist wichtig, dass die beiden Textarten abermals statistisch signifikant unterschieden wurden. Ein reines Raten der Probanden kann also ausgeschlossen werden.

Man sieht: Sowohl Roboterberichte als auch von Menschen geschriebene Berichte wurden überwiegend für ‚menschlich‘ gehalten. Maschinell verfasste Spielberichte wurden also von der Mehrheit der Leser nicht als solche erkannt. Zur Begründung ihrer Einschätzungen beschrieben die Probanden die Robotertexte als ‚flüssig‘ und ‚gut verknüpft‘. Sieht man sich abermals die Bewertung der einzelnen Berichte an, so zeigt sich, dass drei von vier maschinell erstellten Berichten von 65 bis 90 Prozent der Probanden als ‚menschlich‘ eingeschätzt wurden. Nur ein Bericht wurde von der Mehrheit richtig als Robotertext identifiziert.

Von wenigen Ausnahmen abgesehen fallen die Robotertexte also gar nicht als solche auf. Und übrigens: Auch Auch der oben gezeigte Ausschnitt aus einem Fussballspielbericht wurde von einem Roboter geschrieben.

Constantin Cebulla studiert „Sprache und Kommunikation“ auf Master an der Universität Mannheim. Die hier präsentierte Studie geht auf eine mehrsemestrige, von Konstanze Marx betreute Projektarbeit zurück.