Chatkontrolle: Es geht weiter!

In der EU wird seit letztem Mittwoch wieder über die sogenannte «Chatkontrolle» verhandelt. Worum geht es da? Und welche Auswirkungen hat das auf die Schweiz?

Der Schwesterartikel «Depeschen aus der Zukunft: Rückblick auf das erste Jahr Chatkontrolle» bietet mit seinem fiktiven Setting einen unterhaltsameren, aber ebenfalls sehr erhellenden Blick auf die Chatkontrolle.

Das Ziel

Seit mehreren Jahren wird über den Vorschlag zu einer «Verordnung des Europäischen Parlaments und des Rates zur Festlegung von Vorschriften zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern» debattiert. Dieser Vorschlag, oft auch «EU-Verordnung zur Prävention und Bekämpfung von sexuellen Missbrauchs bei Kindern» oder handlicher «Chatkontrolle» genannt, setzt sich zum Ziel, Kinder vor sexuellem Missbrauch zu schützen, in dem alle unsere Chats, Mails und Nachrichten über Instant Messenger kontinuierlich gescannt würden.

Gleichzeitig könnte eine umfassende Alterskontrolle (und damit offizielle Identifikation) gegenüber Privaten notwendig werden — eine schlechte Idee, sowohl aus Datenschutz- als auch aus Datensicherheitssicht.

Auswirkungen auf die Schweiz

Auch wenn die EU-Regelung nicht direkt auf die Schweiz anwendbar ist, sie wird viele Schweizer Kommunikationsbeziehungen betreffen. Überwachungsfreundliche Kreise der Schweiz werden sowieso auf eine rasche Übernahme der EU-Regelung pochen. Und die Betreiber der Messenger werden eine messerscharfe Trennung zwischen Schweiz und EU kaum erreichen können. Und wahrscheinlich werden sie den aus ihrer Sicht unnötigen — wegen Rechtsunsicherheiten vielleicht sogar gefährlichen — Aufwand für die Unterscheidung auch kaum treiben wollen.

So behandeln viele US-Plattformen die Schweiz wie ein EU-Land, beispielsweise WhatsApp (Datenschutz, zuständigem Firmensitz, …) oder Google (Vertragspartner, Nutzungsbedingungen, auch bei YouTube (Uploadfilter)).

Vorgeschichte — Die Zeit der «Cryptowars»

Seit es Verschlüsselung auf Computern gibt, versuchen Regierungen diese “Waffe” zu kontrollieren. Ein bekanntes Beispiel sind die US-Exportrestriktionen für kryptographische Produkte, welche insbesondere um 1990 herum hohe Wellen schlugen. Der Export von Verschlüsselungsalgorithmen war dem für Munition gleichgestellt, weshalb damals nur Software mit maximal 40-Bit-Verschlüsselung exportiert werden durfte. Gegen Phil Zimmermann, den Entwickler der 1991 publizierten Verschlüsselungssoftware PGP, wurden auf Basis dieses Gesetzes jahrelang wegen «unlizenzierten Munitionsexports» ermittelt.

Das Ende der «Export Grade»-Kryptographie

Die beste aus den USA direkt als Software exportierbare mit 40-Bit-Verschlüsselung war so schwach, dass an einem offiziellen Wettbewerb Anfang 1997 zwei studentische Teams den geheimen kryptographischen Schlüssel in jeweils rund 3½ Stunden knacken konnten, nur mit den ihnen zur Verfügung stehenden Rechenleistung. (Der Autor dieses Artikels war Teil des um wenige Minuten langsameren, zweitplatzierten Teams.)

Trotzdem sollte 40-Bit-Verschlüsselung noch jahrelang das Maximum der Gefühle bei frühen Finanztransaktionen übers Internet und WLAN-Verschlüsselung bleiben.

Aber auch die in den USA verwendete, stärkere 56-Bit-Verschlüsselung mittels des Data Encryption Standards (DES) aus 1975 war überholt, da die Rechenleistung von Computern inzwischen auf das Mehrtausendfache angestiegen war und absehbar war, dass Verschlüsselung zukünftig vor allem in Software erfolgen würde. Ebenfalls Anfang 1997 begann die Electronic Frontier Foundation (EFF) an einem spezialisierten Computer, dem DES Cracker, zu arbeiten. Für unter 250’000 Dollar wurde damit 1998 eine Maschine vollendet, die innert weniger Tage jeden beliebigen DES-Schlüssel knacken konnte.

Die Stunden von 40-Bit- und 56-Bit-Verschlüsselung waren durch solche Aktivitäten und ihre Vorankündigungen nun definitiv gezählt. So startete Anfang 1997 unter internationaler, öffentlicher Beteiligung und Ägide der US-amerikanische Standardisierungsbehörde NIST endlich der längst überfälligen Wechsel zu einem Nachfolgestandard, dem Advanced Encryption Standard (AES), einem der wichtigsten Arbeitspferde der modernen Kryptographie.

Hintertüren für die Verschlüsselung

Vor ziemlich genau 30 Jahren wurde klar, dass der Siegeszug der Verschlüsselung u.a. für die aufstrebende vernetzte Wirtschaft nicht mehr aufzuhalten war. Deshalb versuchte die US-Regierung bzw. die NSA, alle US-amerikanischen Nutzer von Kryptographie zu einem sicheren Verschlüsselungsverfahren zu verpflichten. Im Gegenzug für die Nutzung dieses sichereren Verfahrens sollte die US-Regierung einen Nachschlüssel zu allen Nachrichten bekommen.

Um diesen Deal zu besiegeln, gab es die Verschlüsselung nur in Spezialchips; die Funktionsweise des Algorithmus war nicht öffentlich. Jeder Chip hatte eine eigene Seriennummer und versandte diese Seriennummer mit jedem verschlüsselten Datenpaket. Aufgrund dieser Seriennummer und weiterer sachdienlicher Hinweise in den verschlüsselten Datenpaketen hätte ein richterlicher Abhörbeschluss bei den zwei zuständigen Behörden die Teilschlüssel erfragt und damit die Entschlüsselung des Datenstroms ermöglicht.

Als klar wurde, dass diese Verschlüsselung mehrere Nachteile hatte (kryptografische Schwächen, Langsamkeit, einfache Umgehungsmöglichkeit), wurde das Projekt abgebrochen.

Neben dieser “offiziellen Hintertür” gab es auch verschiedene Versuche weltweit, dass Regierungen oder Geheimdienste sich anderweitig Zugang zur Verschlüsselungen verschaffen. Oft sind die Hintermänner schwer auszumachen; in einem Fall (“Dual_EC_DRBG”) ist eine Autorenschaft der NSA aber sehr wahrscheinlich. Verschiedene andere Länder (u.a. Frankreich, China, Iran oder Belarus) kennen Einschränkungen für den Einsatz von Kryptographie, z.B. dass der Einsatz einer individuellen Lizenz bedarf. (In Frankreich ist die Inverkehrbringung von kryptographischen Mechanismen deklarations- bzw. bewilligungspflichtig; die Nutzung ist frei.)

Drei der zwölf Gründe, wieso der Telegram-CEO Pavel Durov letzten Monat in Frankreich festgehalten und befragt wurden, beziehen sich übrigens genau auf den Verstoss gegen diese französische Kryptografiegesetze.

Das Schreckgespenst des «going dark»

Immer wieder wird von Strafverfolgungsbehörden oder Geheimdiensten das Gespenst des «going dark» beschworen, dass sie also wegen der Verschlüsselung bald keine Möglichkeit mehr hätten, an notwendige Informationen zu kommen. Dass Spuren im Netz auch ohne Zugriff auf die ausgetauschten Nachrichten sehr informativ sein können, beweist das Zitat des Ex-NSA-Chefs Michael Hayden, dass sie Leute aufgrund von Metadaten umbrächten (“we kill people based on metadata”).

Als weitere Gründe für das Aufbrechen der Verschlüsselung werden Terrorismus, Extremismus oder — wie in diesem Fall — Kinderschutz aufgebracht. Es könne doch niemand ernsthaft mehr Terrorismus, mehr Extremismus wollen oder unsere Kinder schutzlos einer der unzähligen Formen des Bösen ausliefern. Ganz im Stil von, «Wer nicht für uns ist, ist gegen uns.» Dabei geht vergessen, dass jede politische Entscheidung — vom Bau eines Veloweges über Altersvorsorge bis zur Armee — immer auf einer Interessenabwägung beruht. Denn jeder dieser Schritte verringert Landflächen, finanzielle Mittel und/oder Freiheiten etc. anderswo.

Chatkontrolle: Entwicklungen

• 2020: Die EU-Kommission schlägt ein zeitlich begrenztes Gesetz vor, welches Chatkontrolle durch die Kommunikationsanbieter erlaubt(!).
• 2021-07-06: Freiwillig (!) dürfen Firmen die Kommunikation von EU-Bürgern nach verdächtigem Material durchsuchen (“Chatkontrolle 1.0“). Bisher nutzen das etliche US-Kommunikationsdienste zur Überprüfung unverschlüsselter(!) Kommunikation, beispielsweise GMail, iCloud Email, Facebook Messenger, Skype, Snapchat.
• 2020…2022: «Thorn», eine angeblich wohltätige Kinderschutzorganisation, aber mit konkreten wirtschaftlichen Zielen, bzw. ihr Mitgründer Ashton Kutcher trifft sich über ein Dutzend Mal mit der EU-Innenministerin Ylva Johansson. Mumassliches Ziel: Pushen der Chatkontrolle, damit «Thorn» ihre Scanningsoftware an unzählige weitere Anbieter verkaufen könne (“Regulatory Capture“).
• 2022-05-11: Die EU-Kommission stellt einen Gesetzesentwurf für eine verpflichtende(!) und sehr viel weitergehende Folgeverordnung (“Chatkontrolle 2.0”) vor.
  • Dort wird auch die Durchsuchung aller Nachrichten und
  • eine verpflichtende Alterskontrolle sowie
  • Ausschluss Minderjähriger von der Installation vieler Apps gefordert.
  • Jegliche Kommunikation auf jeglichen Plattformen, welche üblicherweise gegen Entgelt oder Werbung erbracht werden, soll gescannt werden müssen, auch Telefonie und In-Game-Chats;
  • unabhängig von der Grösse des Anbieters.
  • Auch Ende-zu-Ende-Verschlüsselung entbindet nicht von diesen Pflichten. Das Gesetz macht dabei keine Vorgaben zur Umsetzung; aber wenn die Ende-zu-Ende-Verschlüsselung beibehalten werden soll, bleibt eigentlich nur die Option, dass die App auf dem Gerät der Benutzerin die Informationen analysiert, bevor sie verschlüsselt und übermittelt werden.
  • Verdächtige bekannte oder neue Inhalte werden der Polizei angezeigt.
  • Alle Kommunikationsdienste müssen das Alter der Nutzer:innen überprüfen.
• 2023…2024: Betroffene und Kinderschutzorganisationen lehnen das Gesetz in dieser Form ab.
• 2024-06-13: Die Abstimmung über die Einführung einer etwas abgeschwächten Form des obigen scheitert äusserst knapp. Nur Deutschland und Polen sind gegen diesen Vorschlag; Estland, die Nidederlande, Slovenien, Tschechien und Österreich enthalten sich; die übrigen 19(!) Mitgliedsländer sind für diesen Vorschlag. Frankreich kam bei den Diskussionen im Vorfeld eine Schlüsselrolle zu: So wollte Paris der Überwachung zustimmen, wenn dadurch die Verschlüsselung nicht geschwächt würde.
• 2024-06-17: Signal verbreitet eine Pressemitteilung, dass auch die neuesten, “schöneren” Formulierungen nur alter Wein in neuen Schläuchen seien und dass die Schwächung der Ende-zu-Ende-Verschlüsselung. Auch wenn die Technik «Client-side Scanning» oder «Upload Moderation» genannt werde oder anfänglich nur für einen Teil der User gälte, seien immer noch alle Nutzer:innen betroffen und potenziell gefährdet. Signal-Präsidentin Meredith Whittaker betont darin auch, dass Signal seine Ende-zu-Ende-Verschlüsselung nicht schwächen werde und impliziert damit auch, dass sie sich notfalls aus dem EU-Markt zurückziehen würden.
  (Siehe dazu auch ihr Interview mit der Zeit im Bild vom 2024-05-30.)
• 2024-09-04: Die aktuelle Ratspräsidentschaft Ungarn will das Thema vorantreiben. Das Gesetz soll dahingehend “entschärft” werden, dass nur noch nach bekannten Inhalten gesucht werden soll. Die besonders fehlerträchtige automatische Erkennung neuer, noch nicht klassifizerter Inhalte soll weggelassen werden. Wer dem Scannen nicht zustimmt, soll keine Bilder oder Videos mehr verschicken können, sondern nur noch Textnachrichten ohne Links. (Instant Messaging ohne Bilder oder Links dürfte für die wenigsten Nutzer:innen eine Option sein.)

Ganz viele weiterführende Informationen finden sich u.a. auf Patrick Breyers Infoportal Chatkontrolle und dem ausführlichen Dossier Chatkontrolle von Netzpolitik.org. Beide wurden auch beim Zusammenstellen dieser Liste fleissig konsultiert.

Schlechte Idee

Zuallererst einmal müssen einige allgemeine Punkte klargestellt bzw. in Erinnerung gerufen werden:

1. Gesellschaftliche Probleme lassen sich nicht mit Technik lösen.
   • Solange das Problem besteht, werden die Profiteure dieses Problems Wege um die Technik herum finden. Und sei es, dass sie ihre eigene Technik nutzen.
2. Automatische Klassifizierung von Text- oder Bildmaterial ist nie perfekt
   • Es liegt in der Natur der Sache, dass KI-Techniken nie fehlerfrei sind, weder bei «klassischer KI» (auch bekannt als «Maschinelles Lernen») noch bei der darauf aufbauenden Generativen KI, wie den Chatbots.
   • Besonders schlimm ist das Missverhältnis, wenn sehr seltene Ereignisse erkannt werden können, zu diesen auch wenig Trainingsmaterial zur Verfügung steht und/oder die Versender der Nachrichten ein Interesse haben, dass diese nicht erkannt werden.
3. Es gibt keine Möglichkeit — technisch oder sonstwie —, die nur «den Guten» via Hintertür Zugriff zu verschlüsselten Daten gibt.
   • Mächtige Schlüssel werden via Bestechung, Erpressung oder eine von unzähligen weiteren Möglichkeiten in die Hände von «nicht ganz so Guten» fallen. (Wir erinnern uns an die altbekannte Geheimdienstregel, dass jedes Geheimnis, welches mehr als eine Person kennt, kein Geheimnis mehr sei.)
   • Wenn die Technik einmal eingeführt ist, werden auch autokratische Regimes dieselbe Technik einsetzen wollen. Oder grundsätzlich andere Regierungen mit anderen Interessen.
4. Eine einmal etablierte Überwachungstechnik wird nachher auch für andere Zwecke eingesetzt werden.
   • Mit der Zeit — wir kennen das von allen Überwachungsgesetzen — werden auch die ursprünglichen Regierungen ihre Befugnisse ausweiten wollen und neue Überwachungsziele mit der einmal etablierten Technik erreichen wollen.
5. Es ist nicht möglich, Massenüberwachung privat umzusetzen. Punkt.
   • Ein Perpetuum Mobile zu erfinden wäre ein Kinderspiel dagegen.

Konkret bedeutet das u.a. Folgendes:

1. Informationsschwemme

Alleine über WhatsApp werden täglich über 140 Milliarden Nachrichten verschickt, weitere unzählige Milliarden von Nachrichten über die anderen Nachrichtenkanäle. KI-basierte Erkennungstechniken haben immer eine gewisse Rate an Fehlererkennungen — in beide Richtungen.

Nehmen wir optimistisch an, dass nur 0.01 ‰ der Nachrichten falsch als Missbrauchsmaterial oder Versuch einer Anbandelung eines Erwachsenen mit einem Kind («Cybergrooming») erkannt wird. Nehmen wir nur die WhatsApp-Nachrichten. Selbst dann wären es noch täglich(!) über 1 Million Falschmeldungen, welche die Polizeidienststellen fluten würden. Auch bei einer Beschränkung auf Bildmaterial ergäben sich noch zehntausende von Nacktbildern täglich, die jemand händisch klassifizieren müsste.

Diese Fehlerraten bei der Erkennung sind bei KI-Systemen (Maschinelles Lernen oder «klassische Künstliche Intelligenz») immer vorhanden. Sie sind je höher, je weniger Daten zu einem Thema vorliegen. Bei schweizerdeutschen Texten, Jugendsprache, Diskussionsthemen abseits vom Mainstream uvam. dürften sie noch höher liegen.

«Viel hilft viel» dürfte hier nicht gelten. So waren 2020 laut Fedpol nur 14 % der Meldungen strafrechtlich relevant. Zu den restlichen rund 7000 Meldungen gehörten auch etliche Urlaubsfotos. Durch eine Erhöhung der Anzahl Meldungen infolge der geforderten Zwangsmitteilungen dürfte dieser Prozentsatz eher noch sinken.

2. Auswirkungen von False Positives

Es gab in der Vergangenheit einige Beispiele über die Auswirkungen von Fehlalarmen. Beispielsweise hat Google das Konto eines Nutzers gesperrt, der seiner Frau ein Foto des gemeinsamen Kindes schickte, damit sie medizinischen Rat einholen könne. Obwohl die Strafverfolgungsbehörden ihn entlasteten, verlor er damit auch ohne Vorwarnung permanent Zugang zu seinen Emails, seiner Mailadresse, allen Bildern, Dokumenten, Kontakten und seinem Kalender. Also kurz, zu seinem ganzen (digitalen) Leben (DNIP berichtete).

3. Missbrauch der «schwarzen Liste»

Es versteht sich von selbst, dass nicht jede Messenger-App mit Abertausenden von Bildern von Kindsmissbrauch ausgeliefert werden kann, damit jedes zu versendende Bild dagegen abgeglichen werden kann. Also müssen die Bilder oder sonstige Dateien anderweitig erkannt werden können. Dazu wird eine Liste von abstrakten Merkmalen mitgeliefert, im einfachsten Fall mit einer Liste von sicheren Prüfsummen (sogenannten «kryptographischen Hashes»). Gegen diese werden dann die zu versenden Bilder verglichen. Wie genau diese Prüfsummen zustande kommen und welche Bilder sie jetzt wirklich identifizieren, das muss angesichts der Art der zu erkennenden Bilder ein Geheimnis bleiben.

Damit wird der ganze Prozess zur Identifikation jeder Nachvollziehbarkeit beraubt. Das bedeutet auch, dass keiner der App-Anbieter wissen kann, welche Dokumente wirklich erkannt werden.

Es ist daher nicht auszuschliessen, dass auch Prüfsummen von Bildern oder Dokumenten in dieser Datenbank landen, von denen eine autokratische Regierung nicht will, dass ihre Bevölkerung sie teilt. Damit könnte auch die Meinungsfreiheit effektiv eingeschränkt werden. Es ist davon auszugehen, dass Signal-Präsidentin Meredith Whittaker in ihrer dezidierten Absage gegen die Einführung der Chatkontrolle sich u.a. genau um diese Art des Missbrauchs sorgt.

Mehr zu diesem Thema (und zu anderen Problemen der Chatkontrolle) in folgendem DNIP-Artikel:

Kasten: Details zur Bildidentifikation
Die obige Beschreibung mit den Prüfsummen ist des einfacheren Verständnisses wegen stark vereinfacht. Die kryptographischen Hashes kamen Anfangs zwar für die Identifikation von Bildmaterial zum Einsatz. Sie hatten jedoch den Nachteil, dass bereits leichte Veränderungen an den Bildern — wie z.B. Ändern von Bildgrösse oder Helligkeit — zu einem neuen, völlig(!) anderen Hash führt. (Ein Computer kann sehr einfach feststellen, ob zwei Dinge genau gleich sind. Falls es aber darum geht, ob zwei Dinge fast gleich sind, müssen Computer einen riesigen Aufwand treiben, wie man beispielsweise beim Maschinellen Lernen sieht.)
Unterdessen werden komplexere Systeme eingesetzt, z.B. «perceptual hashing», welche andere Probleme haben, aber auch für die bewusste Fehlidentifikation eingesetzt werden können.

4. Alterskontrolle ist Identitätsbeweis ist Missbrauchspotenzial

Zuverlässige Alterskontrolle funktioniert nur, wenn auch eine Ausweispflicht besteht. Und das bedeutet wiederum, dass aus Datenschutz- und Datensicherheitssicht kritische und wertvolle Daten mit jedem Feld-Wald-Wiesen-Anbieter von Kommunikationsdienstleistungen geteilt werden müssen.

Es ist nicht abzusehen, was zwielichtige Anbieter dann mit diesen Daten machen (Stichwort: Identitätsdiebstahl). Aber auch eigentlich gut meinenden Anbietern können von Sicherheitslücken, Hackerangriffen oder Ransomware betroffen sein. Und dann sind diese Daten auch in den Händen der organisierten Kriminalität.

Mehr dazu, wieso Alterskontrolle eine schlechte Idee ist:

5. Ausgerechnet Ungarn

Ungarn ist dafür bekannt, dass ein Grossteil der Medien von der Regierung abhängig sind, oft über eine Holdingstruktur; dass die Berichterstattung zu gewissen Themen eingeschränkt ist und Journalist:innen mit kritischen Meinungen öffentlich diskreditiert werden. Dieses Gesetz aus dem letzten Jahr wird jetzt auch angewendet, um das Aufdecken von Missständen in der Regierung Orbán zu erschweren.

Ein Land also, dass auch Interesse hätte, die Kommunikation seiner Bevölkerung aktiv beeinflussen zu können. Man kommt nicht umhin zu denken, dass neben dem Kinderschutz auch noch andere Motivationen mit im Spiel sind.

Die kürzlich ausgehandelte UN-Cybercrime Convention (DNIP berichtete) soll übrigens ebenfalls Staaten vereinfachten Zugang zu Inhaltsdaten der Kommunikation von Personen liefern, auch autokratischen Regimes solche über Journalisten und Regierungskritikern. Mehr dazu:

Alternativen

Aber: Wenn Chatkontrolle schlecht ist, wie kann man dann Kinder schützen (oder Terrorismus verhindern oder …)? Patrick Breyer listet einige Massnahmen:

• Ausbau der Kapazitäten der Strafverfolgung
• Ursachenbekämpfung statt Symptombekäumpfung
• Schnelle und einfache Hilfe für (bestehende oder potenzielle) Opfer
• Verbesserung der Medienkompetenz

Ja, das bedeutet Arbeit. Und ist nicht einfach mit der Verabschiedung eines Gesetzes getan. Aber es hilft auch langfristig und nachhaltiger. Aber je länger wir mit gefährlichen Ablenkmanövern wie der Chatkontrolle Zeit verplempern, desto länger sind die echten Probleme nicht gelöst.

Für jedes komplexe Problem gibt es eine einfache, billige und schnelle Lösung, die aber falsch ist.
In diesem Fall ist das die Chatkontrolle.

Schweizer Politik

Judith Bellaiche hatte 2022 im Nationalrat eine Interpellation gestartet, welche Auswirkungen die Chatkontrolle auf die Schweiz hätte. Die Antwort des Bundesrats könnte man — stark verkürzt — wie folgt zusammenfassen: Wir beobachten. [neu 2024-09-16]

Weitere Literatur

• Bundesamt für Polizei (fedpol): Bericht zu den Vorschriften zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern, Medienmitteilung, 2024-09-27. [neu 2024-09-29]
  Das Fedpol hat einen auf den 2024-08-07 datierten Bericht zur EU-Chatkontrolle (PDF) verfasst, der am obigen Datum veröffentlicht wurde.