Chatkontrolle: Die EU will jetzt einführen was aus Forschungssicht erst in 20 Jahren funktioniert. Vielleicht.

Seit über einem Jahr arbeitet die EU an einem Gesetzesentwurf zum Schutz von Kindern (konkret zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern im Internet), der neben diversen anderen, teilweise aus Datenschutz-Sicht ebenfalls heiklen Punkten auch eine verstärkte Mitwirkungspflicht von Onlinediensten und Messenger-Dienste zum Schutz von Kindern vor Missbrauch beinhaltet. Das Erkennen von für Kinder untaugliches Material in Messengern wird seit Monaten unter dem Titel “Chatkontrolle” intensiv diskutiert. Um was geht es dabei?

Chatkontrolle kurz erklärt

Grundsätzlich ist die Kommunikation zwischen Benutzern (wie hier im Beispiel Alice und Bob) bei modernen Messengern wie Signal, Threema oder WhatsApp end-to-end-verschlüsselt und daher (sofern die verwendeten Algorithmen und Schlüssel “sicher” sind) für Dritte nicht lesbar.

Das ist ganz im Sinne von Alice und Bob welche sich so sicher sein können, dass ihre Nachrichten nicht von Dritten mitgelesen werden können. Weniger erfreut sind darüber Strafermittlungsbehörden; Klagen über das angebliche “going dark” von Straftätern welche sich im Schutz der Verschlüsselung absprechen und gegen die deswegen nicht ermittelt werden kann, gibt es praktisch seit Computer leistungsfähig genug sind um Verschlüsselungsalgorithmen innert nützlicher Frist auszuführen.

Argumentiert wird dabei mit den üblichen Themenbereiche: Terrorismus, schwere Verbrechen, Finanzdelikte und Kinderpornografie bzw. Kindermissbrauch. Und nachdem verschiedene Versuche, end-to-end-Verschlüsselung als ganzes zu verbieten oder Messenger mit einer für die Ermittlungsbehörden zugänglichen Backdoor auszustatten, gescheitert sind, hat die EU mit dem eingangs erwähnten Gesetz zum Schutz vor Kindern einen anderen Ansatz gewählt. Konkret soll sämtliche Kommunikation zwischen Menschen überwacht werden, um Kindsmissbrauch (zum Beispiel in Form von Kinderpornos (“Child Sexual Abuse Material/CSAM”)) und Kontaktanbahnungen von Pädophilen mit Kindern (“Grooming”) zu erkennen. Vereinfacht gesagt soll dabei ausgenutzt werden, dass sich die Benutzer-Erwartung bezüglich End-to-End-Verschlüsselung nicht ganz mit der technischen Realität deckt.

Während Alice davon ausgeht, dass sämtliche von ihr geschriebenen Nachrichten sofort nach Eingabe vor fremden Augen sicher sind, durchlaufen sie zuerst einmal Programmroutinen des jeweiligen Betriebssystems und der jeweiligen Messenger-App. Dort sind sie zwar für Dritte nicht ohne weiteres einsehbar (und gut designte Messenger achten bei der Verarbeitung der Daten auch darauf, keine Spuren zu hinterlassen), liegen aber grundsätzlich in unverschlüsselter Form vor. Analog gilt das auch bei Bob als Empfänger, wo die verschlüsselt übertragenen Nachrichten innerhalb des Messengers entschlüsselt und dann (erneut via Betriebssystem) angezeigt werden.

Was würde das nun konkret heissen? Da sämtliche Nachrichten im Messenger ja unverschlüsselt vorliegen, ist es technisch grundsätzlich möglich, sie zu diesem Zeitpunkt inhaltlich zu überprüfen. Im Fokus stehen dabei zwei Methoden:

• Vergleich von Nachrichten-Inhalten (primär Bildern und Videos) mit bereits bekannten CSAM-Bildern/Videos
• Anwendung von “AI”-Technologien zum Erkennen von CSAM oder generell problematischer Kommunikation

In beiden Fällen ist angedacht, dass die Messenger-App im Verdachtsfall (d.h. wenn der CSAM-Check positiv ausfällt) unbemerkt vom User eine neu zu schaffende EU-Behörde informiert, welche die Meldung kontrolliert und gegebenenfalls die Strafermittlung einleitet.

Beim Abgleich mit bekannten CSAM-Bildern würde es allerdings wenig Sinn machen, diese Bilder in Originalform im jeweiligen Messenger zu hinterlegen. Einerseits braucht diese Bildersammlung sehr viel Speicherplatz, andererseits ist der Besitz solcher Bilder strafbar und das würde ja dann auch gelten, wenn diese Bilder im Programmcode des Messengers verborgen sind. Stattdessen setzt man die Hoffnung auf Hash-Funktionen: von den bekannten CSAM-Bildern sollen Hash-Werte (quasi eine Quersumme der Bytewerte eines Bilds) erstellt werden, welche der Messenger dann verwenden kann um sie mit dem Hashwert der zu versendenden oder erhaltenen Bilder zu vergleichen. Da sich die Menge der bekannten Bilder laufend erweitert, müssten Messenger auch in der Lage sein, regelmässig neue Hashwerte von einem ebenfalls von der EU bereitgestellten Server herunterzuladen. Das alles soll dann im Hintergrund funktionieren, d.h. die Benutzerin kriegt von all dem nichts mit. Dass sich ein solcher Mechanismus dann schnell auch zum Erkennen von anderem vom jeweiligen Staat als Bedrohung empfundenen Bildmaterial nutzen lässt, liegt auf der Hand (und wäre wohl schon für sich alleine ein Grund, dem Vorhaben mehr als skeptisch gegenüberzustehen).

Da aber nicht sämtliches CSAM-Material bereits aufgrund früherer Ermittlungen bekannt ist und entsprechend Hashwerte hat, ist als weitere Methode der Einsatz von AI-Algorithmen direkt im Messenger vorgesehen. Diese Algorithmen sollen einerseits Nacktheit (oder konkreter gefasst “nackte Kinder”) in Bildern und Videos erkennen können und andererseits auch in der Lage sein, Dialogverläufe als Grooming-Versuche zur Kontaktanbahnung zu erkennen. Mal abgesehen von der Problematik, dass es solche Algorithmen schwer haben dürften, zwischen dem Bild eines nackt badenden Kleinkinds für die Grosseltern und einer kinderpornografischen Darstellung zu differenzieren, stellt sich hier zentral die Frage, wie gut solche Algorithmen überhaupt sein können und wie/auf Basis welchen Materials sie trainiert werden können. Und wie beim Abgleich mit bekannten CSAM-Bildern stellt sich auch hier die Frage, ob die AI-Algorithmen dann nicht auch bald einmal auf andere Bildmuster und Texte trainiert werden und dann neben nackter Haut auch Waffen oder Absprachen zur nächsten Klimademo erkennen können.

Zusammengefasst würde die von der EU vorgesehene Chatkontrolle dazu führen, dass ohne konkreten Anlass jede Messenger-basierte Kommunikation zwischen Menschen auf Basis von veränderbaren, vom User nicht einsehbaren Kritikern überwacht wird, und dass im Verdachtsfall automatisch die Strafermittlungsbehörden informiert werden. Um EU-Bürger ins Visier der Polizei zu bringen, würde es also in Zukunft ausreichen, ihnen von einem Nicht-EU-Land aus potentielle CSAM-Bilder zu schicken, diese würden ja dann auf Empfängerseite als Verdachtsfall erkannt. Und ob dann wirklich nur nach CSAM gesucht wird, oder ob bei Bedarf auch gleich nach Terroristen und Klimaklebern gesucht wird, ist von aussen nicht erkennbar. Bei einem derart dystopisch anmutenden Szenario ist es dann ein schwacher Trost, dass die Kommunikation übers offene Netz weiterhin verschlüsselt erfolgt: Mitgelesen und überwacht wird ja schon im Messenger selbst.

Breite Kritik

Aus der Zivilgesellschaft, von EU-ParlamentarierInnen und von JuristInnen aus dem gesamten EU-Raum wird daher schon seit Vorliegen der ersten Gesetzentwürfe Kritik laut (generell geben die Beiträge auf Netzpolitik.org einen guten Überblick über die sich teilweise schnell ändernden Details des Gesetzentwurfs). Man kann auch annehmen, dass das Gesetz nach der Verabschiedung durch das EU-Gericht begutachtet werden muss und dort unter Umständen als zumindest teilweise ungültig erklärt wird (ein Gutachten der Universität von Amsterdam sieht grundsätzliche Widersprüche zu den von der EU garantierten Grundrechten).

Auch von Seiten von Sicherheitsforschern wird Kritik laut. Schon im März publizierte der US-amerikanische Kryptografie-Forscher Matthew Green einen Blog-Post, in welchem er auf die Risiken bei der Einführung einer automatischen und generellen Chatkontrolle hinwies. Er wies unter anderem mit Blick auf die ursprünglich von Apple vorgesehene Methode zur CSAM-Erkennung darauf hin, dass die Erkennung von CSAM-Bildern etc. mittels Hashwerten gleich aus zwei Blickwinkeln fragwürdig ist (Links/Quellen im oben verlinkten Blog-Post): Einerseits ist es mit vertretbarem Aufwand möglich, eigentlich unverdächtige Bilder so zu manipulieren dass sie denselben Hashwert wie ein bereits bekanntes CSAM-Bild haben (womit die manuelle Nachkontrolle überflutet werden kann), andererseits lässt sich ein CSAM-Bild durch noch viel einfachere Manipulationen so anpassen dass es völlig andere Hashwerte als die bekannten Bilder erhält und so nicht mehr erkennt wird. Im Blog-Post kam er zu folgendem Schluss:

In practice, the Commission’s proposal — if it is implemented in production systems — invites a range of technical attacks that we simply do not comprehend today, and that scientists have barely begun to think about. Moreover, the Commission is not content to restrain themselves to scanning for known CSAM content as Apple did. Their desire to target previously unknown content as well as textual content such as “grooming behavior” poses risks from many parties and requires countermeasures against abuse and surveillance that are completely undeveloped.

Worse: the “grooming behavior” requirement implies that untested, perhaps not-yet-developed AI language models will be a core part of tomorrow’s security systems. This is worrisome, since these models have failure modes and exploit opportunities that we are only beginning to explore.

https://blog.cryptographyengineering.com/2023/03/23/remarks-on-chat-control/

Aus seiner Sicht öffnet die vorgesehene Chatkontrolle also die Tür für eine Reihe von noch nicht im Detail verstandenen technischen Herausforderungen in Millionen von Smartphones, verschärft durch das weitgehend unbekannte Verhalten von Sprachmodellen, welche neben Bildern zum Beispiel auch text-basiertes Grooming erkennen soll.

Heute morgen wurde von über 300 namhaften SicherheitsforscherInnen aus der ganzen Welt (unter anderem Carmela Troncoso von der EPFL, Kenneth Paterson von der ETH, Bruce Schneier und Vanessa Teague) ein offener Brief zuhanden der EU veröffentlicht, in welchem sie in klaren Worte davon warnen, das diskutierte Chatkontrolle-Gesetz zu verabschieden. Der Brief widerlegt praktisch alle in den letzten Monaten und Jahren am Thema geäusserten Vorschläge zur Erkennung von CSAM in Kommunikationsmitteln und kommt zu einem einfachen Schluss:

We therefore strongly warn against pursuing these or similar measures as their success is not possible given current and foreseeable technology, while their potential for harm is substantial.

Konkret weisen die ForscherInnen auf folgende Punkte hin:

Detection technologies are deeply flawed and vulnerable to attacks

Die heute bekannten Algorithmen und Methoden zur Erkennung von CSAM sind äusserst fehlerhaft und anfällig für Angriffe. Insbesondere ist es ein leichtes, Bildmaterial so anzupassen dass Abgleiche der Hash-Werte fehlschlagen (false negative) oder jemandem gezielt eigentlich unproblematisches Bildmaterial unterzujubeln, welches so manipuliert wurde dass es fälschlich als CSAM erkannt wird. Neben der derart möglichen Überlastung durch die Ermittlungsbehörden (also quasi ein Denial-of-Service-Angriff durch das Erzeugen vieler False Positives durch Verbreiten entsprechend manipulierter Bilder) kann man so auch die Reputation potentieller Opfer nachhaltig schädigen.

As scientists, we do not expect that it will be feasible in the next 10-20 years to develop a scalable solution that can run on users’ devices without leaking illegal information and that can detect known content (or content derived from or related to known content) in a reliable way, that is, with an acceptable number of false positives and negatives.

Konkret ist also davon auszugehen, dass es noch 10-20 Jahre gehen wird bis eine praxistaugliche Lösung vorliegt welche ausreichend zuverlässig arbeitet. Wenn man sich vor Augen führt, dass die entsprechende Forschung bereits seit 20 Jahren betrieben wird (und bisher keine taugliche Lösung gefunden wurde), dann können die 10-20 Jahre auch optimistisch geschätzt sein.

Ähnlich unrealistisch wird die konkrete Machbarkeit eines lernfähiges Systems zum Identifizieren bisher unbekannter CSAM-Bilder oder gar zum Erkennen von Grooming-Dialogen eingeschätzt. Die entsprechenden Lösungen privater Anbieter basieren auf nicht offengelegten Algorithmen und konnten bisher nicht unabhängig verifiziert werden. Der Stand der Machine Learning-Forschung legt aber nahe, dass solche Systeme zur Zeit nicht auf einem angemessenen Zuverlässigkeits-Niveau funktionieren können. Alle bisherigen Prototypen haben sich bisher als nicht-effektiv herausgestellt und erfüllten Datenschutz- und Menschenrechts-Anforderungen bei weitem nicht.

Der offene Brief weist auch darauf hin, dass angesichts der Millionen an Nachrichten, welche täglich im EU-Raum ausgetauscht werden, schon eine kleine Menge an false positives/negatives zu einer Grosszahl von Fehlern führen wird. Keine AI-Technologie kann 100% exakt sein, daher lassen sich diese false positives/negatives auch durch Innovation nicht auf ein sinnvolles Mass reduzieren.

Technical Implications of weakening End-to-End Encryption

End-to-End-Verschlüsselung ist sowohl für ein sicheres Internet im Allgemeinen wie auch für den Schutz der Privatsphäre jedes einzelnen von zentraler Bedeutung. Eine Aufweichung dieses Grundsatzes ist aufgrund der damit verbundenen Nachteile keine akzeptable Lösung, eine allfällige Erkennung von CSAM-Inhalten kann daher nur in den Endgeräten erfolgen.

Auch mit einem Client Side-Scanning wird aber schlussendlich Überwachungstechnologie implementiert, welche sämtliche Kommunikation mitliest und bei vordefinierten Mustern Alarm schlägt. Die einzig bisher in der Praxis eingesetzte Implementierung davon stammte von Apple, sie wurde aber nach wenigen Wochen wieder vom Markt genommen da sich sie als untauglich und angreifbar erwies.

Eine solche Technologie hätte darüber hinaus den Nachteil, dass ihre Funktionsweise aus Usersicht nicht nachvollziehbar ist, der Benutzer also keine Möglichkeit hat, um zu erkennen welche konkreten Muster nun gerade als “verboten” erkannt werden. Es ist zu erwarten, dass selbst in demokratischen Staaten schnell der Ruf nach weitergehenden Muster-Sammlungen laut werden wird, um neben Kinderpornographie auch terroristische Vereinigungen, Geldwäscher etc. usw. zu erkennen. Was weniger demokratische Staaten mit einer solchen breit eingesetzten Technologie machen würden, kann sich jeder selber ausdenken.

Effectiveness

Generell ist zu bezweifeln, dass die vorschlagenen Methoden, selbst wenn sie technisch ausgereift wären, unterm Strich effektiv wären. Verbreiter von kinderpornografischem Material oder Pädophile können ihre Methoden ebenfalls anpassen und so das Gesetz unterlaufen, sei das durch den Wechsel auf eine andere (nicht überwachte) Plattform, sei das durch eine Anpassung des Kommunikationsverhaltens (oder im Fall von Bildmaterial schlicht durch eine zusätzliche Verschlüsselung).

Andererseits greift das Gesetz in die Freiheit von Jugendlichen ein, da deren rechtlich zulässige Kommunikation (seien es Textnachrichten, seien es Bilder) von der CSAM-Gesetzgebung gleich behandelt wird wie der Austausch solchen Materials unter Erwachsenen. So dürfte das latente Risiko, mit eigentlich zulässiger Kommunikation ins Visier der Strafermittlung zu kommen, dazu führen, dass sich Jugendliche in ihrer Kommunikation selbst einschränken.

Fazit

Die EU ist drauf und dran, die Privatsphäre sämtlicher ihrer Bürgerinnen und Bürger durch eine Aufweichung des Prinzips der End-to-end-Verschlüsselung und der defacto-Einführung einer Dauerüberwachung massiv zu schädigen. Verwendet werden sollen dazu Technologien, welche noch Jahre von einer Einsatzreife entfernt sind und zu einer kaum beherrschbaren Menge von false positive-Meldungen führen werden (während gleichzeitig eine vergleichbar grosse Menge an false negatives unentdeckt bliebt). Nicht nur wird die Privatsphäre massiv eingeschränkt, die anvisierten Methoden sind zu allem auch alles andere als effektiv.

Und auch wenn es Anzeichen dafür gibt, dass das Gesetz an einzelnen Kritikpunkten nochmals abgeschwächt werden soll: Die neu vorgeschlagenen Formulierungen bleiben wage und interpretationsbedürftig, entsprechend gross ist das Risiko, dass am Schluss trotzdem neue Überwachungsforderungen im Gesetz stehen. Von daher wäre es mehr als nur wünschenswert, wenn sich die EU, auch gerade im Sinne der Sache “Kinderschutz”, zu einem Marschhalt entscheiden könnte um besser machbare und mit den Grundrechten vereinbare Wege zu suchen.

PS: Inwiefern betrifft uns das in der Schweiz, mag sich jetzt vielleicht der eine oder andere fragen.

• Nun, einerseits betrifft es uns alle sobald wir mit einem Menschen in der EU kommunizieren, und es wäre zumindest fraglich, inwieweit Messenger beim Scannen überhaupt die Geographie berücksichtigen können und wollen (heute kann man ja Messenger auch verwenden ohne ihnen Zugriff zur Positionserkennung des Smartphones zu geben).

• Und andererseits dürfte nach der Implementierung eines solchen Client Side Scannings dann auch in der Schweiz das Interesse steigen, diese Technologie zur Überwachung der BürgerInnen Erkennung von strafbarem Material einzusetzen.

Dass der Bundesrat in seiner Antwort auf eine Motion der GLP-Nationalrätin Judith Bellaiche schreibt, dass “eine kontinuierliche, anlasslose staatliche Überwachung digitaler Kommunikation […] im Vorschlag der EU-Kommission nicht vorgesehen” ist, stimmt jedenfalls nicht zuversichtlich. Aber vielleicht ändert sich das jetzt nach dem Wechsel von Karin Keller-Sutter ins Finanzdepartement: Ihre Nachfolgerin hat immerhin den Brief der JustizministerInnen aus Deutschland, Österreich, Liechtenstein, Luxemburg und der Schweiz mitunterzeichnet in welchem sich diese besorgt über die grundrechtlichen Auswirkungen einer Chatkontrolle äussern.