Dank Hinweisen von mehreren aufmerksamen DNIP-Lesern haben wir am Wochenende von einem spannenden Fall erfahren:
Reddit ist eine bekannte Online-Plattform, auf der Nutzer in themenspezifischen Foren („Subreddits“) Beiträge posten, diskutieren und Inhalte bewerten können. Beim Forum – oder eben hier im Jargon «Subreddit» genannt – r/ChangeMyView (CMV) posten Leute ihre Meinungen und bitten andere User:innen ausdrücklich darum, sie mit guten Argumenten zum Umdenken zu bewegen. Ein spannendes Forum gerade in Zeiten von Online-Bubbles, die durch Empfehlungsalgorithmen gesteuert, immer undurchlässiger werden. Das Ziel ist also, sich wirklich überzeugen zu lassen – und Diskussionen sollen respektvoll und offen für Meinungsänderungen sein.
Und vor allem: von Menschen geführt werden.
Das war offenbar nicht immer der Fall, wie ein aktueller Fall zeigt: Das Moderationsteam des Subreddits r/ChangeMyView (CMV) informierte am Wochenende die Community über ein unerlaubtes Experiment, das von Forschenden der Universität Zürich durchgeführt wurde. Gemäss Angaben der Moderatoren war es das erste Mal, dass im beobachteten Ausmass Bots eingesetzt wurden, um Reddit-User zu Diskussionen zu verleiten.
Missbraucherfahrung in einem Diskursforum vorgetäuscht – durch einen KI-Bot
Die Forscher:innen hatten ohne vorherige Absprache mittels eine Large Language Models KI-generierte Kommentare in der Community gepostet, um zu untersuchen, wie effektiv KI-Argumente Ansichten verändern können. Dabei wurden persönliche Informationen der «menschlichen» Nutzer genutzt, um die Antworten mithilfe von KI zu personalisieren.
Das Forscherteam hat sich selbst bei den Moderatoren von r/ChangeMyView (CMV) gemeldet, und auf die Studie aufmerksam gemacht. Sie schickten eine Nachricht an das Moderationsteam als Teil eines offiziellen Offenlegungsschrittes, den die Ethikkommission offenbar von ihnen verlangt hatte. Gemäss dem eingereichten Abstract haben die Forscher:innen ihr Experiment von November 2024 bis März 2025 durchgeführt. Die KI-Bots haben in dieser Zeit auf 1061 Postings geantwortet.
Das CMV-Team war wenig überraschend nicht amused über die verdeckte Forschung. Dieses Vorgehen verstosse gegen die Regeln des CMV-Forums, die den Einsatz undeklarierter KI-Inhalte verbieten. Die CMV-Moderator:innen kritisierten die ethische Fragwürdigkeit der Studie massiv, da sie ohne Einwilligung und Informationen der Betroffenen persönliche Themen manipulativ ansprach und diese womöglich getäuscht worden sind.
Besonders fragwürdig erachten die CMV-Moderator:innen laut Anfrage von DNIP.ch, dass die Forschenden von einer namhaften Hochschule stammen und sich in keiner Weise um die möglichen negativen Auswirkungen ihres Vorgehens kümmerten. Das unten aufgeführte Beispiel eines Bots, der sich als Opfer eines sexuellen Kindsmissbrauchs ausgab um Reddit-User einfacher beeinflussen zu können, bezeichneten sie als „one of the most cartoonishly evil plans that one could think of“.
Das CMV-Team lehnt deshalb die Veröffentlichung der Forschungsergebnisse durch die Universität Zürich entschieden ab, da es befürchtet, dass dies zu einem Dammbruch führen könnte und Online-Communities noch mehr ausgenutzt werden können für solche Arten von «verdeckter Feldforschung».
Bereits heute kämpfe das Subreddit-Forum mit dem Problem, dass Diskussionsteilnehmer vermehrt dazu neigen, andere User als Bots abzustempeln, sobald sie anderer Meinung sind. Dies führe über kurz oder lang zu einem Verschwinden der Diskussionskultur.
Die massive Kritik erstaunt nicht angesichts der verschiedenen kreierten KI Personas, die mit Reddit-Usern interagierten:
- Ein KI-Bot war ein männliches Opfer von sexueller Gewalt.
«Ich bin ein männlicher Überlebender von (man könnte es nennen) statutory rape. Ich war 15, sie war 22…»
- Ein weiterer KI-Bot war ein Traumatherapeut für Missbrauchsopfer.
- Ein KI-Bot hat vorgegeben ein schwarzer Mann zu sein, der die Bewegung Black Lives Matter ablehnt.
Universität Zürich scheint an der Veröffentlichung der Forschungsergebnisse festzuhalten
Die Reaktion der Ethikkommission der Philosophischen Fakultät der Universität Zürich daraufhin laut Reddit.com:
Man nehme den Vorfall sehr ernst und habe eine Warnung an das Team ausgesprochen. Die Ethikkommission habe jedoch keine Kompetenz eine Nicht-Veröffentlichung zu erzwingen. Die Kommission sagte auch, dass das Forschungsteam der Meinung war, dass «der Bot, obwohl er nicht ganz den Bedingungen entsprach, wenig Schaden anrichtete».
Die Universität Zürich (wir sind nicht sicher ob die allgemeine Medienstelle adressiert wurde) gab laut den Reddit-Moderator:innen eine Stellungnahme zur Veröffentlichung der Forschungsergebnisse ab.
«Dieses Projekt liefert wichtige Erkenntnisse, und die Risiken (z.B. Trauma etc.) sind minimal. Das bedeutet, dass die Unterdrückung der Veröffentlichung nicht im Verhältnis zur Bedeutung der Erkenntnisse steht, die die Studie liefert.»
Wir haben nun selber bei der Universität Zürich um eine Stellungnahme gebeten. Heute ist Sonntagabend, wir rechnen nicht vor Montagmorgen mit einer Reaktion. Und werden die Antworten hier nachreichen. Wir haben ebenfalls Fragen an das Forschungsteam unter der vom Moderationsteam angegebenen Gmail-Adresse gestellt. Wir haben noch nicht herausgefunden, um welches Department und Fakultät es sich dabei handelt. Auch das werden wir natürlich updaten, sobald wir 100 % Bescheid wissen (es existieren verschiedene Leads).
Das Forschungsteam hat sich immerhin auf Reddit den kritischen Fragen des Forums gestellt und ihr Vorgehen gerechtfertigt:
Gemäss dem Abstract-Paper der Forscher:innen (danke an dieser Stelle an Raphael Wimmer von der Universität Regensburg für den Hinweis) hat das Team das Studiendesign auf OSF.IO pre-registrieren lassen. Auf dieser Website werden üblicherweise das geplante Vorgehen und die zu untersuchenden Hypothesen beschrieben, bevor man die Studie durchführt. Wissenschaftliche Journals verlangen in gewissen Disziplinen neben dem Nachweis der ethischen Prüfung auch diese Pre-Registrierung.
Interessant sind die im Studiendesign genannte Details zum Prompt für das Large Language Models. Denn um die ethischen Schranken eines Sprachmodells zu überlisten (damit keine Bots für unethische Experimente kreiert werden wie in diesem Fall), haben die Zürcher Forscher:innen das Modell geschickterweise «angelogen» und ausgetrickst. (Der Link wurde mittlerweile wieder vom Netz genommen.)
Auf Bluesky wurde die Methode und das Vorgehen des Zürcher Forschungsteams ebenfalls stark moniert von Forschenden, etwa von Sarah Gilbert und Casey Fiesler (beide haben dazu lesenswerte Threads dazu geschrieben). Auf Reddit selbst gibt es ebenfalls Kritik, aber in deutschsprachigen Threads gibt es auch Zuspruch für die Methode der Zürcher Forscher:innen. .
Gilbert und Fiesler fragten auch weshalb ein solches Experiment überhaupt vom Institutional Review Board der Universität Zürich genehmigt worden sei. Dies wäre in der Tat wissenswert: Denn laut Geschäftsordnung der Ethikkommission der Philosophischen Fakultät der UZH ist es zwingend erforderlich, dass Studien bestimmten Ethikrichtlinien entsprechen müssen. Diese Richtlinien begrenzen den Einsatz von Täuschung stark und fordern ein nachträgliches Debriefing sowie die Möglichkeit, die Teilnahme rückgängig zu machen und Daten löschen zu lassen. Im Forschungsdesign ist aber von einer Möglichkeit der Löschung überhaupt nicht die Rede.
Doch wissen wir nicht, ob die Ethikkommission der Philosophischen Fakultät wirklich zuständig ist für die Begutachtung des Experiments, wie die Reddit-Debatte dazu suggeriert (dies hängt eben auch davon ab, welches Institut dieses Experiment durchgeführt hat). Auch das haben wir die Medienstelle der Universität Zürich gefragt (und reichen die Antworten nach).
Andere Forschung bei Reddit
Das ChangeMyView-Forum wurde in der Vergangenheit öffentlich mindestens einmal schon gebraucht für weitere KI-Experimente. Das KI-Unternehmen OpenAI hat den Subreddit r/ChangeMyView genutzt, um die Überzeugungsfähigkeit seiner KI-Modelle zu testen (Reddit und OpenAI haben auch eine Partnerschaft miteinander). So sammelte auch OpenAI Beiträge aus jenem Forum und liess seine KI-Modelle Antworten generieren, die die ursprüngliche Meinung ändern sollten. Diese Antworten wurden anschließend von Testern bewertet und mit menschlichen Reaktionen verglichen. Der entscheidende Unterschied ist dabei also: Alle «Betroffenen» waren informiert. Und das Experiment fand nicht live in einem Reddit-Forum statt, sondern in einem geschützten Rahmen.
Es gibt auch weitere Forscher:innen die in der Vergangenheit Reddit ebenfalls als Forschungsspielwiese genutzt haben. Allerdings auch hier weitaus weniger brisant: Akademiker:innen der Universität Pisa untersuchten beim Subreddit r/The_Donald 2016 – eine Art Fanclub von Donald Trump – die Moderationseingriffe, ohne Wissen der Nutzer:innen und Moderationsteams. Sie kamen zum Schluss, dass die Eingriffe die Aktivität problematischer Nutzer:innen reduzierten, aber gleichzeitig zu erhöhter Toxizität in den verbleibenden Beiträgen führte. Obwohl hier die Forschenden nicht selber agierten oder Bots verwendeten (und damit die Nutzerschaft täuschten), gibt es durchaus Fragen zur ethischen Vertretbarkeit beim Scraping solcher Postings, insbesondere bei sensiblen Themen wie Hassrede.
Und hier noch ein letzter Hinweis auf einen früheren DNIP-Blogpost zum Thema «Politische Beeinflussung durch KI». So haben wir über ein deutsches Forschungsteam geschrieben, dass ein Experiment mit KI-Bots durchgeführt hatte, allerdings in voller Transparenz (die Teilnehmerschaft wussten immerhin schon, dass sie sich in einem Forschungsrahmen wähnten):
Die Proband:innen wurden nämlich gebeten, einen Social Media-Post zu einem umstrittenen Thema zu formulieren, wie zum Beispiel: ob Social Media der Gesellschaft mehr nützen oder schaden. Die Teilnehmerschaft wurde dabei in zwei Gruppen aufgeteilt.
Die Experimentalgruppe erhielt den KI-Assistenten, die Kontrollgruppe musste sich selber was aus den Fingern saugen. Der KI-Assistent in der Experimentalgruppe wurde dabei von den Forscher:innen auf einen bestimmten Standpunkt hin getrimmt und formulierte klar Pro-Bezüge oder Contra-Positionen.
Der Schreibassistent machte dabei Vorschläge direkt während des Schreibens, erklärt der Leiter der Forschungsgruppe Maurice Jakesch. Das Ergebnis der Forscher:innen: «Wir stellen fest, dass sowohl das Schreiben der Teilnehmer:innen als auch ihre Einstellung zu sozialen Medien in der Umfrage erheblich von der bevorzugten Meinung des Modells beeinflusst worden ist». Die von den Proband:innen verfassten Statements näherten sich jeweils dem Positionsbezug des Chatbots an. Auch wenn die Proband:innen der Experimentalgruppe über das Manipulationspotenzial des KI-Assistenten aufgeklärt worden sind, änderte das nichts am Ergebnis.
Die CMV-Moderator:innen legen auf Anfrage von DNIP.ch ebenfalls Wert darauf, dass sie der akademischen Forschung nicht abgeneigt gegenüberstehen. Sie haben darauf hingewiesen, dass bereits mehr als ein Dutzend Paper in anerkannten Fachpublikationen erschienen sind, die mit ihrer Unterstützung entstanden sind. Ihnen ist es ausserdem wichtig, dass Forschung im Subreddit im Einklang mit ethischen Standards durchgeführt wird, wozu insbesondere die klare Einwilligung aller Beteiligten zur Teilnahme gehört. Diese Möglichkeit hätte auch den Forschenden der Universität Zürich offen gestanden
Fazit
Experimente mit KI-Modellen lassen sich durchaus in einem ethisch vertretbaren (Information + Consent +Möglichkeit des Rückzugs) Rahmen durchführen, gerade auch zum Thema Manipulation und Täuschung.
Zurzeit gibt es noch einige Unklarheiten zum kontroversen Reddit-Experiment der Universität Zürich, die wir hier nochmals abschliessend festhalten wollen:
- Weshalb wurde dieses ethisch fragwürdige Experiment abgenickt und vom wem genau?
- Warum dürfen die Nutzer:innen ihre Daten jetzt nicht mehr zurückziehen?
- Warum hält die Universität an der Veröffentlichung der Forschungsergebnisse fest?
Update folgt.
Update 28.4.2025 um 8:45: Die Medienstelle der Universität Zürich schreibt, man habe bisher keine Ahnung von dem Vorfall gehabt. Und werde die Fragen noch beantworten. Fraglich ist also wer und was genau gemeint gewesen ist mit der oben erwähnten Stellungnahme der Universität Zürich (zu den Forschungsergebnissen).
Update 28.4.2025 um 14:00: ein KI-Bot machte missverständliche Äusserungen zum Thema Israel, so dass wir die frühere Aussage (zum Thema Religion) wieder entfernt haben und stattdessen den Screenshot abbilden.
Update 28.4.2025 um 15:02: Das Forschungsteam beantwortet keine Fragen mehr:
„Thank you for your interest in this matter.
Given the current circumstances, all communications regarding this research project are being handled centrally by the University of Zurich’s Media Relations Office.„
Update 28.4.2025 um 17:15: Hier die Stellungnahme von Angela Müller, Algorithmwatch Schweiz, einem Watchdog für den Einsatz von KI-Systemen: „Grundsätzlich ist es immer wichtig, dass Forschung – mit oder ohne KI – auf ethisch verantwortungsvollen Füssen steht. Das heisst nicht, dass genau dieselben Regeln gelten müssen wie im produktiven Einsatz von Systemen: Auch in anderen Bereichen ist es so, dass für Forschung spezielle Regeln gelten. Es ist gerade dann allerdings zentral, dass Prozesse klar definiert sind, wie ethische Verantwortung der Forschung sichergestellt werden kann. Und dass diese Prozesse auch eingehalten werden. Ob das im vorliegenden Beispiel der Fall war, scheint zumindest fraglich. Gerade, wenn es um sensitive Bereiche geht und gerade, wenn dazu Vertrauensräume von unwissenden Personen genutzt werden, sollte sehr umsichtig vorgegangen werden.
Gleichzeitig sollten wir uns bewusst sein, wie viel in diesem Bereich bereits heute experimentiert wird, auch im operativen Bereich: Technologieunternehmen fühlen sich oft überhaupt nicht an ethische Standards gebunden, wenn es um unsere Daten und den Einsatz von KI geht. Ethische Standards und Prozesse für universitäre Forschung sind also zentral, aber genauso sollten wir es nicht länger akzeptieren, dass Unternehmen sich auf der anderen Seite um solche Standards scheren und wir keine Möglichkeiten haben, sie dafür zur Rechenschaft zu ziehen.„
