Unautorisiertes Reddit-KI-Experiment: Ein verdächtiges Institut an der Universität Zürich

Seit unserer Publikation am Montag zum geheimen Reddit-KI-Experiment rund um die Universität Zürich hat sich einiges getan.

Der Fall

r/ChangeMyView («CMV») ist ein Forum («Subreddit») auf der Diskussionsplattform Reddit. Dort schreiben Menschen ihre Überzeugungen auf und bitten die anderen menschlichen Teilnehmer:innen, sie mit guten Argumenten von ihrer Meinung abzubringen. Eigentlich ein Musterbeispiel für guten, menschlichen Diskurs. Es funktioniert, weil eine gewisse Vertrauenskultur herrscht.

Vertrauen kommt auch bei wissenschaftlicher Arbeit mit Probanden ins Spiel: Weil Studien an Menschen – besonders bei psychologischen, politischen oder sozialen Fragestellungen – sehr delikat sind, gibt es dafür Regeln. Eine der wichtigsten Regeln ist, dass die Studienteilnehmer:innen über den Zweck und Inhalt der Studie aufgeklärt werden, bevor sie freiwillig an der Studie teilnehmen. Dies ist wichtig, da die Forschenden befürchten, dass sie sonst – wegen des fehlenden Vertrauens – zukünftig keine Studienteilnehmer:innen mehr finden würden. Schon wenige irreführende Studien können so zu grossem Unmut führen und wichtige Studien für Jahre erschweren oder verunmöglichen. Unter anderem deshalb sind Studien wie das Milgram-Experiment heute nicht mehr möglich.

In der zwischen November 2024 und März 2025 durchgeführten Studie haben die Forscher:innen zwischen November 2024 und März 2025 mit ihrer Undercover-KI-Studie dieses Vertrauen nicht nur erschüttert, sie haben auch gegen die AGB der Plattform Reddit und die Regeln im ChangeMyView-Forum verstossen.

Die Studie

Die Forscher:innen haben für ihre Studie – laut Angaben aus der Konferenzeinreichung, die inzwischen nicht mehr öffentlich ist – im ChangeMyView-Forum einen Mix aus KIs angewiesen, über 1000 Posts zu schreiben, welche Menschen in ihrer Meinung umstimmen sollten. Die KIs waren drei bis sechs Mal so erfolgreich wie Menschen, die Frager umzustimmen und damit besser als 99 % der Menschen. (Mehr zur Studie in unserem Artikel vom Montag.)

Was seit unserem ersten Artikel geschah

Ein wichtiger Puzzlestein war die Aussage der Medienstelle der Universität Zürich vom Dienstag. Darin hat sie erläutert, dass die Ethikkommission der Philosophischen Fakultät im April 2024 einen Antrag erhalten habe und darauf wie folgt Stellung genommen habe:

In ihrer Stellungnahme zum Projekt wies die Ethikkommission der Philosophischen Fakultät die Forschenden darauf hin, dass die besagte Studie für die Kommission die grösste Herausforderung darstelle und daher a) der gewählte Ansatz stärker begründet werden sollte, b) die Teilnehmer so weit wie möglich informiert werden sollten und c) die Regeln der Plattform vollständig befolgt werden sollten. Wie oben erläutert handelt es sich bei den Einschätzungen der Ethikkommissionen der Philosophischen Fakultät um Empfehlungen, die nicht rechtlich bindend sind. Die Verantwortung für die Durchführung des Projekts und für die Publikation der Resultate tragen die Forschenden selbst.

Medienstelle Universität Zürich, 2025-04-29

Entsprechend scheint sich die Forschungsgruppe sowohl über die Stellungnahme der Ethikkommission als auch über die Reddit- und CMV-Regeln hinweggesetzt zu haben. Und hat gleich auch noch den Chatbot diesbezüglich angelogen.

Im Verlauf des Montags haben sich die Studienautoren dann aber entschlossen, nicht mehr über die Mailadresse zu kommunizieren und ihre Identität (vorerst) geheim zu halten.

Die Universität Zürich möchte aus nachvollziehbaren Gründen die Identität nicht preisgeben, um die betroffenen Forscher:innen zu schützen.

Ethik der Studie und der Forschenden

Befragt zur Ethik der Studie, äusserte sich Anna Jobin, Forscherin am Human-IST Institut der Uni Fribourg und Koordinatorin des neuen Masterstudiengangs «Digital Society», wie folgt:

Das Vorgehen der Forschenden war eindeutig unethisch. Menschen ohne deren Wissen oder Zustimmung gezielt zu täuschen ist nicht akzeptabel, egal ob im Labor oder online. Besonders problematisch war die doppelte Manipulation: Es wurden nicht nur Identitäten erfunden, sondern diese auch noch von KI-Bots gesteuert, die sich als echte User ausgaben. Digitale Räume sind Teil des Alltags vieler Menschen und verdienen denselben ethischen Schutz wie analoge Umgebungen. Leider werden die Risiken digitaler Forschung oft unterschätzt, obwohl die Folgen sehr konkret sein können. Allerdings ist in diesem Fall bemerkenswert, dass die Ethikkommission klare Vorgaben bezüglich transparenter Kommunikation und besonderer Vorsicht gegenüber verletzlichen Personengruppen machte – diese wurden jedoch vom Forschungsteam ignoriert. Diese Studie wird vermutlich in mehrerer Hinsicht noch lange als abschreckendes Beispiel dienen, wie Forschung online nicht ablaufen darf.

Grundsätzlich bleibt ein zentrales Problem: Während die Wissenschaft an hohe ethische Standards gebunden ist, können private Plattformen ihre Nutzer:innen weitgehend unkontrolliert analysieren und beeinflussen. Das darf keinesfalls als Entschuldigung für unethische Forschung dienen, sondern es zeigt im Gegenteil, wie dringend wir mehr Transparenz und Ethik im digitalen Raum brauchen.

Anna Jobin

Politikwissenschaftlerin Katika Kühnreich fordert anlässlich der Reddit-CMV-Studie ein grundsätzliches Umdenken bezüglich Ethik in der Forschung:

Es tönt, als hätte die Ethikkommission die Verantwortung nicht tragen wollen & die Forschenden bewiesen mit ihrem Vorgehen, dass sie die Verantwortung nicht tragen können.

[Es braucht] Mehr Wissen, was Ethik bedeutet, statt Ethikkommissionen, die entweder nicht kompetent sind oder nicht unbeliebt sein wollen.

Katika Kühnreich im Fediverse

Spurensuche

«On the Internet, nobody knows you’re a dog» lautet ein inzwischen über 30 Jahre altes geflügeltes Wort. Forscher:innen hinterlassen ihre Spuren. Insbesondere, wenn – wie bei öffentlicher Forschung zumeist üblich – die Resultate ja dann sowieso veröffentlicht werden sollen. Und häufig auch in den dabei genutzten Werkzeuge (eigene Software als Open Source) und den dabei erlangten Daten (Open Data).

Mit den richtigen Ideen und Werkzeugen findet man im Internet viele Informationen.

So hinterliessen die Studienautor:innen auf verschiedenen Plattformen Datenspuren:

• In ihren eigenen Forschungs- und Publikationsverzeichnissen (Referenzen)
• Auf Forschungsantrags- und -registrierungsplattformen
• Webseiten von Forschungskonferenzen zum Thema
• Organisations- und Aktivitätsdaten auf einer Plattform zur Veröffentlichung von Quellcode
• Metadaten und Öffentlichkeitsgesuche
• Öffentliche und private Vorschläge und Hinweise

Das Bonmot «Wer hat uns verraten? Metadaten!» war auch für unsere Recherche massgebend. Eifriges, hastiges und überstürztes digitales Handeln führt oft erst recht zu Auffälligkeiten. Ein ausländischer Professor hat auf einer Social-Media-Plattform einige weitere Hints gegeben. Wir wollen alle diese Punkt vorerst nicht detailliert vertiefen, da wir sonst eine Anleitung zur Identifizierung geben. Wir werden nur die Institutsnamen preisgeben.

Spurenfindung zu den Instituten

Laut der Stellungnahme der Universität Zürich hiess das Forschungsthema: «Das Potenzial von Künstlicher Intelligenz zur Verringerung der Polarisierung im wertebasierten politischen Diskurs». Zu diesem Thema – eingegrenzt auf die Universität Zürich und Philosophische Fakultät – gelangten wir via einigen Suchmaschinenabfragen mindestens zu einem Dutzend Forschungsprojekten, die infrage kommen könnten. An der Universität Zürich scheinen sehr viele Institute zu KI, Digitale Demokratie, Polarisierung und Desinformation zu forschen. Dies ist ja auch ein Schwerpunkt der Digital Society Initiative an der UZH. Open Source-Intelligenz hilft also für die Eingrenzung.

Mehrere unabhängige Quellen sowie eine technisch-forensische Spurensuche ergeben zumindest schon mal ein Ergebnis: Eine involvierte Person arbeitete für das Institut für Politikwissenschaft der Universität Zürich (IPZ). Offenbar haben nur wenige Kaderpersonen/Vorgesetzte von diesem Projekt gewusst. Akademische Forschung ist allgemein sehr «anarchisch» und lose organisiert, für die grösstmögliche Wissenschaftsfreiheit. Wir haben die von uns identifizierte, mutmasslich involvierte Person um ein anonymes Statement gebeten.

Aufgrund weiterer digitaler Recherchen entdeckten wir die Identität einer weiteren involvierten Person, die an der EPFL in Lausanne tätig war. Ihre Rolle beim Forschungsprojekt ist jedoch noch unklar (und scheint keine zentrale gewesen zu sein).

Diese zweite Person bestätigte die Einreichung der Studie an der von uns vermuteten Konferenz. Die Person sagte uns auch, dass nach der ersten Reklamation von Seiten der Moderatoren des ChangeMyView-Subreddits das gesamte Forschungsteam die Einreichung von der Konferenz zurückgezogen hätte und dass dies noch vor den Eskalationen des vergangenen Wochenendes passiert wäre.

Gleichzeitig sagte uns die Person, dass man von Seiten der Universität Zürich ein Communiqué vorbereite und dies zur gegebenen Zeit publik machen werde.

Aus unserer Sicht ist dies reichlich zu spät: Journalist:innen machen ihre Arbeit, die akademische Gerüchteküche brodelt seit Tagen (danke an alle digitalen Sherlocks an dieser Stelle!), besonders die (zu Unrecht) verdächtigten Institute und Forschenden wollen Klarheit.

Gleichzeitig wurden überhastete digitale Aktionen veranlasst, ob vom Studienverantwortlichen oder der UZH ist unklar. Indizien deuten aber auf UZH bzw. das IPZ Institut hin. Am Besten hätte die Universität Zürich rasch und transparent über das Forschungsprojekt, über die involvierten Institute, die Versäumnisse und «Lessons learned» informieren sollen. So hätte die UZH das Framing über die Kontroverse selber kontrollieren können.

Was jetzt passieren sollte (neben der Kommunikation der Universität Zürich)

1. Sollten sich der oder die betreffenden Forscher:innen raschmöglichst öffentlich melden und entschuldigen, wie dies kolportiert wird. (Übrigens: Wenn Forschungsverantwortliche glauben, sie müssten ihre Identität auch nach Ende der eines spezifischen Forschungsprojekts noch geheim halten, hätten sie sich vielleicht vor Forschungsbeginn mehr Gedanken dazu machen sollen.)
2. Sollten auch in der Schweiz klare Regeln für den Umgang der Forschung mit Plattformen geschaffen werden. Das wäre zum Beispiel ein wichtiger Punkt in einer Plattformregulierung, wie sie der Bundesrat ohne Not hinauszögert. Der Digital Services Act der EU verlangt beispielsweise solchen Zugang für unabhängige Forschende. Dass die Plattformen «gegatekeeped» werden von Big Tech-Konzernen und wenig Schnittstellen bieten, ist ein grosses Problem für die Forschung rund um Online-Diskussionen, Desinformation und Hassrede. Eine Öffnung ist sehr relevant, aber eben nach Einhaltung von verbindlichen ethischen Regeln.
3. Sollte die Ethikpraxis wirklich verbindlicher ausgestaltet werden bei der Universität Zürich, so wie dies die Medienstelle in Aussicht gestellt hat. Die Institutional Review Boards (Ethikkommissionen) sind allgemein nicht auf der Höhe der Zeit, was digitale Forschung angeht (für analoge und physische Forschung «am Mensch» gelten strikte Ethikregeln).
4. Sollte die Schweiz bald verbindliche Transparenzvorschriften für den Einsatz von generativer KI für Gesellschaft und Wissenschaft einführen, analog zum AI Act der EU.

Updates

Auch hier entwickeln sich die Geschichte weiter, auch nachdem wir den Artikel verschickt haben.

Update 2. Mai 11:23: Die Konferenz meldet sich

Nach Rücksprache innerhalb des Organisationskomitees meldet sich ein Vertreter mit der Antwort auf unsere Mail vom Dienstag. Den Konferenznamen haben wir zur Wahrung der Anonymität gestrichen. Unseren Fragen ist ein «Q:», den Antworten ein «A:» vorangestellt.

Q: Was that extended abstract submitted to █████?

A: Yes

Q: Was that extended abstract accepted or rejected?

A: It was withdrawn by the authors before the program chairs had a chance to discuss it or decide

A: Due to the withdrawal, the program chairs did not discuss the abstract so there isn’t much I can say regarding the other questions.

Antwort eines Mitglieds des Programmkomitees der Konferenz, zu welcher der Extended Abstract eingereicht wurde.

Diese Aussage bestätigt die Information, die wir vom einen Forschungsmitglied erhalten hatten, dass nämlich die Einreichung schon vor dem vergangenen Wochenende zurückgezogen wurde. Dies aufgrund des Timings der Konferenz.

Es stellt sich damit aber auch die Frage, wieso die Forschenden die Einreichung hier so bereitwillig zurückzogen, aber weiterhin auf dem Willen zur Veröffentlichung bestanden. Auch hier hoffen wir, dass die offizielle Antwort der Forschenden hier Klarheit schafft.

Update 2. Mai 11:45: Widerspruch zwischen Extended Abstract und Pressestelle

Bei einer erneuten Durchsicht des Extended Abstracts fand sich folgende Aussage der Autorenschaft:

The study was approved by the University of Zurich’s Ethics Committee.

Die Medienstelle schrieb aber zu diesem Thema:

Wie oben erläutert handelt es sich bei den Einschätzungen der Ethikkommissionen der Philosophischen Fakultät um Empfehlungen, die nicht rechtlich bindend sind.

und

In ihrer Stellungnahme zum Projekt wies die Ethikkommission der Philosophischen Fakultät die Forschenden darauf hin, dass die besagte Studie für die Kommission die grösste Herausforderung darstelle und daher a) der gewählte Ansatz stärker begründet werden sollte, b) die Teilnehmer so weit wie möglich informiert werden sollten und c) die Regeln der Plattform vollständig befolgt werden sollten.

Entsprechend hätte es entsprechend der Medienstelle gar kein «approval» (Zustimmung) des Ethikkomittees im engeren Sinne gegeben. Und auch das nur unter Vorbehalten, die scheinbar nicht eingehalten wurden.

Wir hoffen auch hier, dass ein Statement der Forschenden hier Klarheit in diesem scheinbaren Widerspruch schaffen kann.