Vogt am Freitag: Moderation

Bluesky lässt hochgeladene Fotos von einer KI prüfen, TikTok ersetzt 150 menschliche Moderator:innen durch Algorithmen. Kolumnist Reto Vogt hält das für ein gefährliches Experiment.

Ob Aaron Roderick die Tragweite seiner Worte bewusst war? Der Trust-and-Safety-Leiter des sozialen Netzwerks Bluesky schrieb diese Woche: «Thehive.ai prüft alle hochgeladenen Bilder. Wir machen keine Vorgaben.» Das ist heikel: Bluesky überlässt die Entscheidung, was erlaubt ist, einer externen KI-Firma. Darüber hinaus hat Bluesky «vergessen», seine Nutzer:innen zu informieren, dass ihre Fotos von einer KI beurteilt werden.

Ob «The Hive» die geprüften Fotos für das Training des eigenen Modells nutzt, lässt sich nicht abschliessend beurteilen. In den AGB des KI-Anbieters steht, dass Userdaten zur ‹Bereitstellung, Entwicklung und Verbesserung› der Dienste genutzt werden. Das kann, muss aber nicht, das Training des Modells einschliessen. Die Aussage von Bluesky vom vergangenen November – «Wir nutzen keine User-Inhalte um generative KI zu trainieren» – ist Stand jetzt zumindest nicht widerlegt.

Mehr Transparenz nötig

Aber allein diese Unklarheit ist problematisch. Nutzer:innen haben ein Recht darauf zu wissen, ob ihre Fotos zum Training von KI-Modellen verwendet werden oder nicht. Bluesky muss dringend Klarheit schaffen in dieser Angelegenheit.

Während Bluesky die Verantwortung auslagert, geht Tiktok einen Schritt weiter: Der Konzern ersetzt Menschen gleich ganz. Der Social-Media-Konzern schliesst in Berlin eine ganze Abteilung mit rund 150 Mitarbeitenden, die bisher für die Content-Moderation zuständig waren. Das berichtet der Spiegel (Paywall). Das Unternehmen bestreitet, dass KI der Grund für die Entlassungen ist. Ein Mitarbeitender, der im Artikel zu Wort kommt, sieht das aber anders: «Dass jetzt verstärkt KI eingesetzt werden soll, ist für mich der Grund, dass Tiktok die Abteilung schliesst», sagte er.

Ich kann den Einsatz von KI-Werkzeugen zur Content-Moderation bis zu einem gewissen Grad verstehen: Sie arbeitet nicht nur schneller und günstiger als Menschen, sondern schützt diese auch: Und zwar davor, sich Hunderttausende abscheuliche Bilder oder Videos ansehen zu müssen. Dennoch wird KI-Moderation systematisch scheitern.

KI-Moderation fehlt der Kontext

KI-Moderation ist blind für Kontext. Sie erkennt das Grauen, aber nicht den Grund. Ein Kriegsfoto wird gelöscht, weil es Gewalt zeigt. Eine Satire gesperrt, weil sie Empörung auslöst. Ein Lehrbild zensiert, weil Haut zu sehen ist. Hinzu kommt kulturelle Ignoranz: Was in einem Land akzeptabel ist, kann woanders verboten sein. Was für Menschen offensichtlich unterscheidbar ist, lässt Algorithmen scheitern.

Die Konsequenzen gehen über einzelne gelöschte Beiträge hinaus: Es geht darum, welche Inhalte auf sozialen Plattformen legitim sind und wer darüber befindet. Statt Algorithmen von Tech-Konzernen, die nach intransparenten Kriterien arbeiten und niemandem Rechenschaft schulden, sollten es Rechtsstaaten sein, die den Diskurs regulieren.

Denn die Frage ist nicht, ob KI-Moderation effizienter ist. (Selbstverständlich ist sie das.) Die Frage ist: Sollen undurchsichtige Algorithmen entscheiden, was wir sehen dürfen? Es geht nicht um Effizienz, sondern um demokratische Leitplanken. Solange das nicht verstanden wird, überlassen wir Tech-Konzernen die Kontrolle über unsere öffentliche Debatte.

Vogt macht Ferien. KI darf in dieser Zeit gerne moderieren (ausser diese Kommentarspalte). Meine Kolumne ist am 24. Oktober zurück.