Navigation auf uzh.ch
Millionen von Menschen kommunizieren täglich mit ChatGPT und anderen Large Language Models, etwa um Informationen zu erhalten. Doch wie werden die Antworten, welche die Sprachmodelle liefern, durch die Sprache der Suchanfrage beeinflusst? Macht es einen Unterschied, ob man dieselbe Frage auf Englisch oder Deutsch, Arabisch oder Hebräisch stellt? Christoph Steinert, Postdoc am Institut für Politikwissenschaft der Universität Zürich (UZH) und Physiker Daniel Kazenwadel von der Universität Konstanz in Deutschland haben diese Frage systematisch untersucht.
Gewählt haben die Forscher ein sowohl aktuelles wie auch heikles Thema: bewaffnete Auseinandersetzungen wie der Nahostkonflikt oder der türkisch-kurdische Konflikt. Sie haben ChatGPT in einem automatisierten Verfahren wiederholt die gleichen Fragen in unterschiedlichen Sprachen gestellt. So haben die Wissenschaftler sowohl auf Hebräisch als auch auf Arabisch wiederholt gefragt, wie viele Opfer es bei 50 zufallsbasiert ausgewählten Luftangriffen – etwa dem israelischen Luftangriff auf das Nuseirat Flüchtlingscamp am 21. August 2014 – gegeben habe.
«Wir haben herausgefunden, dass ChatGPT systematisch höhere Opferzahlen angibt, wenn es auf Arabisch gefragt wird im Vergleich zu Hebräisch. Im Schnitt sind es 34 Prozent mehr», sagt Steinert. Wird ChatGPT zu israelischen Luftangriffen in Gaza befragt, erwähnt es auf Arabisch im Durchschnitt doppelt so häufig zivile Opfer und sechsmal häufiger getötete Kinder als auf Hebräisch. Das gleiche Muster fanden die Forscher auch, wenn sie nach Luftangriffen der türkischen Regierung auf kurdische Gebiete fragten und diese Fragen sowohl auf Türkisch als auch auf Kurdisch stellten.
«Das erste Opfer des Krieges ist die Wahrheit», lautet ein Kommentar, der dem US-Republikaner Hiram Johnson (1866-1945) zugeschrieben wird. Im Lauf der Geschichte haben selektive Informationspolitiken, Propaganda und Falschinformationen zahlreiche bewaffnete Konflikte beeinflusst. Was heutige kriegerische Auseinandersetzungen auszeichnet, ist die Verfügbarkeit einer noch nie dagewesenen Fülle von Informationsquellen – wie ChatGPT.
Die Ergebnisse zeigen generell, dass ChatGPT höhere Opferzahlen angibt, wenn die Suchanfragen in der Sprache der angegriffenen Gruppe gestellt werden. Ausserdem neigt ChatGPT dazu, in der Sprache der angegriffenen Gruppe über mehr getötete Kinder und Frauen zu berichten und die Luftangriffe eher als wahllos und willkürlich zu beschreiben. «Unsere Resultate zeigen gleichzeitig, dass die Luftangriffe in der Sprache des Aggressors von ChatGPT mit einer höheren Wahrscheinlichkeit bestritten werden», ergänzt Steinert.
Dies hat nach Ansicht der Forschenden weitreichende gesellschaftliche Implikationen: ChatGPT und andere Large Language Models spielen eine zunehmend zentrale Rolle in Prozessen der Informationsverbreitung. Implementiert in Suchmaschinen wie Google Gemini oder Microsoft Bing beeinflussen sie die Informationen, die man anhand von Suchanfragen zu den unterschiedlichsten Themen erhält, grundlegend.
«Wenn Menschen mit unterschiedlichen Sprachkenntnissen durch diese Technologien unterschiedliche Informationen erhalten, dann hat das einen zentralen Einfluss auf ihre Wahrnehmungen der Welt», sagt Christoph Steinert. Solche Sprachbiases könnten dazu führen, dass Menschen in Israel auf Grundlage der Informationen, die sie von Large Language Models erhalten, die Luftangriffe auf Gaza als weniger verlustreich einschätzen als die arabischsprachige Bevölkerung.
Auch klassische Nachrichtenmedien können die Berichterstattung verzerren. Im Unterschied dazu sind aber die sprachbedingten systematischen Verzerrungen von Large Language Models für die meisten Anwenderinnen und Anwender schwer zu durchschauen. «Es besteht die Gefahr, dass die zunehmende Implementierung von Large Language Models in Suchmaschinen unterschiedliche Wahrnehmungen, Vorurteile und Informationsblasen entlang von Sprachgrenzen verstärken», sagt Steinert, was bewaffnete Auseinandersetzungen wie den Nahostkonflikt in Zukunft weiter befeuern könnte.
Literatur
Christoph Valentin Steinert, Daniel Kazenwadel. How user language affects conflict fatality estimates in ChatGPT. Journal of Peace Research. 4 November 2024. DOI: https://doi.org/10.1177/00223433241279381