KI & Kindsmissbrauch — Wenn gut gemeint das Gegenteil von gut ist

Korrektur: In einer ersten Version des Artikels haben wir etwas undifferenziert von Kinderpornografie geschrieben. Dank Hinweisen aus der Leserschaft (vielen Dank dafür!) haben wir das jetzt konsequent durch den passenderen Begriff Child Sexual Abuse Material (CSAM) ersetzt.

Auch wenn es in Europa wohl den wenigsten bewusst ist: Grosse US-Techkonzerne wie Google oder Facebook sind in USA seit längerem sehr aktiv wenn es um das automatische Erkennen und Melden von sexuellem Kindsmissbrauch geht. Alleine Google hat in 2021 rund 600’000 Verdachtsmeldungen gemacht und 270’000 Accounts gesperrt (bei Facebook sind die Zahlen nochmals deutlich höher). Dass dabei früher oder später etwas schiefgehen dürfte, war zu erwarten. Die New York Times hat nun einen besonders krassen Fall publik gemacht.

Da sein kleiner Sohn Schmerzen am Penis hatte und im Februar wegen der Corona-Pandemie in San Franzisco nur Videosprechstunden möglich waren, fotografierte die Familie auf Bitte des Arzts die schmerzende Stelle mit dem Smartphone des Vaters und sandte das in die Praxis. Soweit sogut, aber da er auf seinem Android-Handy die automatische Synchronisierung von Bildern auf sein Google-Account eingeschaltet hatte, landete das Photo auch auf diesen. Wie es Google routinemässig für alle Bilder macht, wurde es dort einem automatischen Scan bezüglich sexuellem Kindsmissbrauch unterzogen.

Nun ist dieser automatische Scan zwar offenbar gut darin, Bilder vom Genitalbereich eines Kindes als solche zu erkennen, es fehlt ihm aber jegliche Möglichkeit, den Kontext dieses Bildes zu berücksichtigen. Entsprechend wurde das Bild (und der Vater) von Google als Verdachtsfall an die Polizei gemeldet, ausserdem wurde das Google-Account des Vaters gesperrt. Die Polizei kam im Rahmen ihrer Ermittlungen schnell zum Schluss, dass kein Straffall vorlag (war aber nicht in der Lage, den Vater zu kontaktieren da sie nur seine Email-Adresse kannte und die von Google ja gesperrt worden war). Davon hingegen liess sich Google nicht beeindrucken, der Account des Vaters wurde unwiderruflich gelöscht, und damit all seine bei Google gelagerten Daten.

The perfect storm

Dieser Fall zeigt geradezu exemplarisch, wieso die oft als Wundermittel gegen Kinderpornographie, Kindermissbrauch, Terrorismus, Urheberrechtsverletzungen etc. gepriesene automatische Überwachung von Inhalten insgesamt bei weitem nicht so gut funktioniert wie es die Anbieter von entsprechenden Produkten in ihren Hochglanzbroschüren verkünden. Da mögen die Algorithmen zur Bilderkennung noch so gut sein, was schlussendlich zählt ist der Gesamtprozess, und der hat hier gleich mehrfach versagt.

Es wäre aber zu einfach, die Problematik hier einfach auf eine dumme KI abzuschieben. KI-Algorithmen sind hier zwar beteiligt, um die Sache aber so richtig in den Sand zu setzen hat es dann ziemlich viel menschliche Hilfe und betriebliche Sturheit gebraucht. Aber schauen wir es von Anfang an an.

Erkennungsprozess

Der eingesetzte Erkennungsalgorithmus hat grundsätzlich die Aufgabe, Bilder danach zu klassifizieren ob sie auf sexuellen Missbrauch von Kindern (Child Sexual Abuse Material (CSAM)) hindeuten oder eben nicht. Für die Erkennung gibt es unterschiedliche Ansätze:

• Für ein zu klassifizierendes Bild wird ein Hash-Wert (quasi eine Quersumme über alle Bytes der Bilddatei) berechnet. Dieser Hash-Wert wird dann mit den Hash-Werten von bereits bekannten und identifizierten CSAM-Bildern verglichen. Erkannt werden können damit also nur Bilder welche dem System bereits bekannt sind (zum Beispiel weil sie während den Ermittlungen in einem früheren Vorfall erkannt wurden).
• Ein Machine Learning-Verfahren wird auf Basis von bekannten Bildern darauf trainiert, CSAM in neuen Bildern zu erkennen.

Im konkreten Fall ging es um definitiv um ein neues Bild (welches die Eltern gerade erst von ihrem Sohn gemacht hatten), entsprechend kann man davon ausgehen dass Google den zweiten Ansatz verwendet, um bei beliebigen Bildern zu erkennen ob sie heikel sind oder nicht.

Nun sind Klassifizierungsalgorithmen zwar oft recht gut, aber bei weitem nicht perfekt. Und so ergeben sich sowohl “false negatives” (also CSAM welches nicht als solches erkannt werden) wie auch “false positives” (der umgekehrte Fall).

Ärgerlich für Google (oder für wer auch immer den Algorithmus einsetzt) sind vor allem die “false negative”, da solch unerkannten Fälle ja schlussendlich auf sie zurückfallen und sie in einem schlechten Licht dastehen lassen. Auch sind sie in USA gesetzlich verpflichtet, CSAM zu melden sobald sie davon Kenntnis haben. Also bleibt kaum eine andere Wahl als den Algorithmus so zu trainieren dass möglichst wenige Fälle übersehen werden, und dabei dann halt in Kauf zu nehmen, dass der Anteil der “false positives” eher ansteigt.

Nun ist natürlich auch Google bewusst, dass nicht sämtliche als CSAM markierten Bilder auch solche darstellen. Also werden alle Treffer einem Review-Team vorgelegt welches sicherstellen soll, dass nur die effektiv relevanten Fälle an die Strafermittlungsbehörden gemeldet werden. Insbesondere “false positives” sollten durch diesen Review ausgefiltert werden. Dummerweise spielen für das Review-Team aber nicht nur dieselben psychologischen Faktoren in Bezug auf Fehlervermeidung eine Rolle, sondern es arbeitet je nach Umständen unter Zeitdruck oder seine Mitglieder stammen (wie man das zum Beispiel von Facebook kennnt) aus Kulturkreisen mit anderen Moralvorstellungen.

Wir haben es also mit einem Erkennungsprozess zu tun, der rein von der Natur her darauf ausgelegt ist, möglichst keinen Treffer zu verpassen. Entsprechend gross dürfte da alles in Allem die Menge an Verdachtsfällen sein, welche Polizei und Strafermittlungsbehörden dann konkret anschauen müssen. Das hat mit der Strafverfolgungspraxis der USA zu tun: die Polizei sammelt massenhaft Beweise (aka Daten) und überprüft die Verwertbarkeit erst danach (wenn die Staatsanwaltschaft übernimmt), wie DNIP.ch aus Gesprächen mit Experten aus der Bundesverwaltung erfahren hat. Und man kann entspannt darüber spekulieren, ob es bisher von dieser Seite nur keine Klagen über die Menge gab weil das Thema emotional aufgeladen ist, oder ob man schlicht nicht über die Schattenseiten dieser Überwachung reden möchte, um sie nicht politisch verboten zu kriegen.

Account-Löschung durch Google

Es ist durchaus nachvollziehbar, dass Google Accounts sperrt wenn sie Teil einer Meldung an die Strafermittlungsbehörden sind. Rein zur Beweissicherung wäre das zwar nicht unbedingt notwendig (man könnte ja in solchen Fällen auch sämtliche Account-Daten automatisch sichern), aber Google möchte sich sicher nicht dem Vorwurf aussetzen, die weitere Verbreitung von heiklem Material zugelassen zu haben obwohl sie davon Kenntnis hatten. Und so müssen auch schlussendlich Unschuldige damit rechnen, zumindest vorübergehend den Zugriff auf die eigenen Daten und Emails zu verlieren.

Schwieriger zu verstehen ist, wieso Google trotz auch in den USA geltender Unschuldsvermutung und trotz noch laufender Ermittlungen einen Schritt weitergeht und das Account direkt (und offenbar unwiderruflich) löscht. Schlussendlich gehören die Daten ja dem jeweiligen Kunden, da sollte man diese als Anbieter ja nicht einfach löschen können. Aber der Teufel steckt wohl auch hier wieder mal im Detail: Einerseits sind viele Dienste von Google bekanntlich kostenlos (von einem Vertragsverhältnis kann man daher nur beschränkt reden), andererseits dürfte in den typischerweise nicht gelesenen Geschäftsbedingungen von Google irgendwo der Hinweis darauf stehen, dass Google sich vorbehält, Accounts jederzeit zu schliessen um Reputationsschäden am Unternehmen zu vermeiden.

So oder so ist man hier als Benutzerin dem Anbieter mehr oder weniger schutzlos ausgeliefert. Da nützt dann auch Googles Hinweis auf einen Beschwerdeprozess zur Behandlung solcher Fälle nichts mehr: Ist das Account mal weg, lässt sich Google (zumindest im konkreten Fall) nicht mal mehr mit einem Hinweis auf die Einstellung der Ermittlungen dazu bewegen, ihn wieder herzustellen.

All eggs in one basket

Um das vorneweg schon zu betonen: Dem betroffenen Vater kann man kein Fehlverhalten anlasten, er hat mit seinem Smartphone das gemacht was man mit einem Smartphone halt so macht und sich darauf verlassen, dass das System so funktioniert wie es sollte.

Nichtsdestotrotz zeigt der Fall auch auf, zu was es führen kann, wenn man sich zu stark in die Abhängigkeit eines einzelnen Anbieters begibt. Im konkreten Fall nutzte der Vater nicht nur Googles Angebote für Bilder, Emails etc. sondern auch deren Mobiltelefon-Abo. Und so verlor er auf einen Schlag nicht nur den Zugang zu seinem Mail und seinen Daten sondern war auch via Telefon schlicht nicht mehr erreichbar. Für Menschen welche zum Beispiel aus geschäftlichen Gründen auf eine solche Erreichbarkeit angewiesen sind, kann eine Sperre daher schnell mal bedrohlich werden.

Fazit

Wie eingangs erwähnt ist hier im konkreten Fall einiges zusammengekommen. Nichtsdestotrotz ist er aber ein gutes Anschauungsbeispiel dafür, wieso die automatische Überwachung von Inhalten aufgrund der inhärenten Ungenauigkeiten und der potentiellen Kollateralschäden nicht ganz so problemfrei ist wie man von Anbietern und Politikern immer wieder hört:

• Die anhaltlose Überwachung und Auswertung sämtlicher hochgeladener Bilder durch Google ist, auch wenn es primär durch Programme erfolgt, ein starker Eingriff in die Privatsphäre der Nutzer.
• Die Algorithmen zum automatischen Erkennen von problematischen Inhalten sind prinzipbedingt nicht perfekt und neigen dazu, lieber mal ein Problem zu viel als eines zu wenig zu erkennen.
• Die Menge an falsch erkanntem Material führt zu mehr Arbeitsaufwand für die Strafermittlung, entsprechend steht dort weniger Zeit zur Ermittlung anderer Straftaten zur Verfügung.
• Die organisatorischen Prozesse im Umgang mit Verdachtsfälle sind primär darauf ausgerichtet, Reputationsschäden für den Anbieter zu vermeiden. Die Interessen des Nutzers und die Unschuldsvermutung bleiben da gerne mal auf der Strecke.
• Digitale Mittel wie Mail sind heutzutage derart alltäglich geworden, dass deren (ungerechtfertigter) Verlust schnell zu schmerzhaften Folgen führen kann. Man kann sich durchaus auch die Frage stellen, inwieweit es überhaupt angemessen ist, den Zugang zu Mails zu sperren, falls in einem Bilderarchiv CSAM-Bilder gefunden wird.

Alles in allem sind das Problembereiche die nicht wirklich neu sind, und in digitalpolitischen Diskussionen immer wieder angesprochen werden. Es könnten sich lohnen, diesen Fall im Hinterkopf zu behalten wenn das nächste Mal Ideen wie die automatisierte Verbrechersuche auf den Tisch kommen. Schliesslich ist die anhaltslose automatische Überwachung nicht nur in den USA sondern auch in der EU und in der Schweiz immer wieder mal ein Thema:

• In der EU halten sich, allen offenen Briefen zum Trotz, Diskussionen und Vorstösse zu umfassenden Chat-Kontrollen sehr hartnäckig auf der Agenda,
• In der Schweiz versucht das EJP mit einer Teilrevision der Ausführungserlasse zur Überwachung des Post- und Fernmeldeverkehrs (BÜPF) Anbieter von Kommunikationsdienstleistungen dazu zu verpflichten, nötigenfalls die Verschlüsselung von Nachrichten zu brechen oder zu umgehen (Art 50 Abs 7),
• In derselben Teilrevision enthalten ist der Versuch, die Provider dazu zu verpflichten, sämtliche Kommunikationsranddaten (insbesondere die Ziel-IP-Adresse) anhaltslos während sechs Monaten aufzubewahren.

Kommt hinzu, dass auch in der Schweiz die Nutzung von Telemedizin zunimmt, und damit des Risikos, dass potentiell heikle Bilder sowohl in den Cloud-Datenbanken von Google und Apple landen wie auch per meist unverschlüsselter Email zwischen Patient und Arzt ausgetauscht werden.