Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute u. a. mit viel zuviel Überwachung und dem nächsten KI-Panik-Hypezyklus.
Allgegenwärtige Normalisierung der Überwachung
25 Jahre Normalisierung
Letzte Woche jährte sich die Zerstörung und der Einsturz der Zwillingstürme des World Trade Centers zum 25. Mal. Heise blickt zurück auf den darauf folgenden Ruf nach staatlicher Härte und den resultierenden schleichenden Abbau von Grund- und Bürgerrechten. Parallel zur stetigen Weiterentwicklung des Überwachungskapitalismus mit und durch die Techkonzerne.
In der Schweiz führt der Nachrichtendienst derweil – vom Bundesverwaltungsgericht bestätigt – Überwachungen durch, die nicht mit den Grundrechten der Europäischen Menschenrechtskonvention vereinbar sind, setzt auf Intransparenz beim Datenauskunftsrecht und will nicht erklären, wieso er glaubt, dass seine Gesichtserkennung – eine Bearbeitung von besonders schützenswerten Personendaten – rechtskonform sei, obwohl dafür laut Ansicht der Digitalen Gesellschaft eine konkrete gesetzliche Grundlage benötige.
Private Überwachung ist nicht normal
Letzte Woche – in derselben Woche, in der unser Bundesrat die schon Jahre überfällige Plattformregulierung ein weiteres Mal auf Eis legte – präsentierte der Hamburgische Datenschutzbeauftragte (mit voller Abkürzung HmbBfDI) einen Abschlussbericht der Untersuchung von Smart Glasses. Seine Einschätzung nach deutschem Recht: Ausserhalb des engen Freundes- und Familienkreises dürfte ihr Einsatz datenschutzrechtlich nur selten zulässig sein, so dass Smart-Glasses-Träger eigentlich mindestens mit Warnwesten herumlaufen müssten. In der Schweiz plädiert die Digitale Gesellschaft deshalb für ein Verbot mit Ausnahmen und sammelt Campax aus ähnlichen Überlegungen heraus schon seit ein paar Wochen Unterschriften für einen Petition an den Bundesrat.
SMART = Surveillance Marketed As Revolutionary Technology
Letzte Woche hat der YouTube-Kanal Gamers Nexus seine Recherche zur Datensammelwut von LG Smart TVs veröffentlicht. Die mehr als zwei Stunden Video hat Heise in unter 1600 Worten zusammengefasst. Resultat: Die Fernseher senden Fingerprints der angezeigten Audio- und Videodaten an LG bzw. seine Adoptiv-Werbetochter Alphonso (Jahresumsatz: knapp 200 Millionen Dollar). Ebenso werden auch Informationen über andere Geräte im WLAN gesammelt sowie Audiodaten aus dem Raum aufgezeichnet, die sich aus der Ferne auslesen lassen. Und die LG Smart TVs besitzen Funktionen zur Werbeeinblendung.
Übrigens: Man muss fast 3000 Mal „OK“ klicken auf der TV-Fernbedienung, um sich durch die ganzen Vertragsbedingungen des Smart TVs durchzukämpfen. Heise dazu:
Mit über 50.000 Wörtern, für die im Mittel drei bis vier Stunden Lesezeit fällig sind, mache LG zwar sehr deutlich, dass die TV-Zuschauer und alle im Haushalt Anwesenden belauscht werden. Doch wer liest schon die ganzen Bedingungen.
LG stehe damit nicht alleine da, so Heise weiter. Auch andere Smart TVs überwachten ihre Besitzer.
Normalisierung von Recall
Microsoft („Recall“) und OpenAI („Chronicle“) versuchten die dauerhafte Aufzeichnung all‘ unserer Bildschirmaktivitäten zu normalisieren. Letzte Woche nun startete Apple mit ihrer Version des dauerhaften Mithörens („Live Rewind“ und „Audio Intelligence“). Auch wenn Apple etwas zurückhaltender vorgeht (auf der Apple Watch werden die Gespräche transkribiert und nur als Zusammenfassungen gespeichert, zumindest aktuell), findet Pixel Envy den Vorgang „gruselig“ („creepy“), auch wenn scheinbar die Aufzeichnung nicht dauerhaft sei:
I think normal people will continue to react negatively when you tell them you have been passively recording them because, outside Silicon Valley, that is considered gross and invasive.
Sind ungeschützte ID-Kopien das neue Normal?
Personendaten – ganz besonders Ausweiskopien – eignen sich ideal für Identitätsdiebstahl. Und „Altersverifikation“ bedeutet heutzutage – in Ermangelung einer e-ID – meist, Online-Übermittlung einer ID-Kopie. Über die Probleme bei der Online-Identifikation haben wir bei DNIP schon mehrfach berichtet, ganz besonders im Rahmen von Alterskontrollen.
So hat letztes Jahr der Altersverifikations-Subunternehmer für Discord Datendieben zehntausende ID-Kopien preisgegeben. Vor einigen Tagen wurde bekannt, dass eine Alters-, also Identitätsverifikationsfirma in den USA über ein Jahr lang nicht gemerkt hat, dass 153 Millionen ID-Kopien quasi live von Angreifern abgezogen wurden. Diese werden nun online verkauft, inklusive den Identitätskarten von führenden Mitgliedern der Trump-Regierung, wovon sich potenzielle Käufer sicher besonderes Missbrauchspotenzial versprechen.
Reclaim The Net spricht im Rahmen des allgegenwärtigen Trends zu ID-Kopien überall von einem „surveillance dragnet that can only end in disaster“ (in etwa: „Überwachungs-Grossfahndung, die nur in einem Desaster enden kann“).
Dieser Fall ist nur einer von rund 80 solchen Lecks an Ausweisdaten. Und diese Lecks werden zunehmen, solange es Anreize für ID-Verifikationsfirmen gibt, sich die Verifikation und ihre IT-Sicherheit möglichst einfach zu machen. Gleichzeitig klingt es wie ein attraktives Geschäftsmodell, welches noch weitere Firmen – auch unerfahrene – in diesen Bereich drängen wird.
Um so mehr brauchen wir rasch eine funktionierende, datenschutzfreundliche e-ID.
Der KI-Kritik-Zyklus geht in die nächste Runde
Seit LLMs allgegenwärtig sind, folgt KI-Kritik mehr oder weniger demselben Zyklus: Mal droht die finanzielle Blase demnächst zu platzen, mal wird die KI uns allen die Jobs wegnehmen und mal droht die KI so mächtig zu werden dass sie dringend reguliert werden muss. Zu all diesen Punkten haben wir in den letzten 88 Ausgaben des DNIP-Briefings wiederholt etwas geschrieben.
Mit der neusten Modell-Generation von OpenAI und Anthropic liegt der Fokus der Kritik nun wieder auf dem Regulierungsbedarf. Und nicht zum ersten Mal kommt der Ruf nach Regulierung quasi von innen: Sowohl OpenAI-CEO Sam Altman wie auch Antrophic-CEO Dario Amodei fordern eine eine koordinierte Pause vor, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Dies nachdem Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen war und andere Unternehmen gehackt hatte. Tage zuvor hatte OpenAI bereits seinen Börsengang auf 2027 verschoben, und begründete dies mit Sicherheitsbedenken.
Nun ist es eine Binsenwahrheit, dass KI-Modelle mit jeder Generation mächtiger und leistungsfähiger werden, und dass diese Entwicklung Gefahren mit sich bringt. Genauso wie aktuelle Modelle Sicherheitslücken schneller finden als sie behoben werden können ist es zumindest denkbar, dass die oft angepriesenen Fähigkeiten zur Entwicklung von neuen Medikamenten auch dazu genutzt werden, neue Viren oder Biowaffen zu entwerfen. Falls OpenAI und Anthropic hier auf die Bremse treten wollen, reicht dazu ein Entscheid ihrer CEOs.
Ob das effektiv einen positiven Effekt haben wird, sei allerdings dahingestellt:
- Nicht nur OpenAI und Anthropic, auch andere Anbieter inner- und ausserhalb der USA, haben leistungsstarke Modelle entwickelt, und werden das weiterhin tun. Es ist unwahrscheinlich, dass das Wettrüsten aufhört nur weil zwei grosse Player nicht mehr mitspielen.
- Hinter all den mehr oder weniger real wirkenden Gefahren steckt weiterhin ein Mensch. Es ist keine KI, welche selbständig entscheidet, jetzt die Computer der Konkurrenz zu hacken oder einen Giftstoff zu entwickeln. Es ist ein Mensch, welcher mit einem entsprechenden Prompt den Auftrag dazu gibt, und anschliessend auch darüber entscheidet, wie er mit dem Ergebnis umgehen will.
- Falls Menschen in fremde Computersysteme eindringen, wird das in praktisch allen modernen Staaten strafrechtlich verfolgt (es gibt sogar eine UN-Konvention dazu). Es ist auf den ersten Blick nicht nachvollziehbar, wieso diese strafrechtliche Verfolgung nicht auch bei angeblich amok-laufender KI greifen sollte.
Um jetzt keine Missverständnisse zu verursachen: Die Fähigkeit aktueller Modelle, sich unter Ausnutzung von oft seit langem bestehenden Sicherheitslücken Zugang zu vermeintlich gut geschützten Daten zu verschaffen, ist gleichermassen beeindruckend wie besorgniserregend. Aber dieser Geist ist bereits aus der Flasche, selbst eine extreme Selbstregulation der Branche wird bestehende Modelle nicht aus der Welt schaffen. Ob es uns daher gefällt oder nicht: Mit dem Auswirkungen dieser Sicherheitslücken werden wir in den nächsten Jahren leben müssen.
Und so wird es schlussendlich an den Parlamenten und Regierungen liegen, dem Wettlauf der KI-Modelle Schranken zu setzen. Angesichts der völlig unterschiedlichen Ausgangslagen und Rechtsphilosphien in den USA, in China und in Europa dürfte es allerdings noch ein Weilchen dauern bis entsprechende Regelwerke effektiv steuernde Wirkung entfachen. Bis dahin können sich Sam Altman und Dario Amodei zumindest dahinter verstecken, dass sie ja vor den Konsequenzen gewarnt hätten, aber niemand auf sie hören wollte.
Auch Apple trainiert jetzt mit Nutzerdaten
Jahrelang hat Apple damit geworben, dass Nutzerdaten bei ihnen sicher seien und sie kein Interesse an diesen hätten, da sie ihr Geld mit Hard- und Software verdienen. Das war in dieser Absolutheit zwar schon immer falsch, da Apple Nutzerdaten sehr wohl zur Werbung in eigener Sache nutzte, hob sie aber immerhin von Google, Meta und Microsoft ab. Es trug allerdings auch dazu bei, dass Apple in Sachen KI etwas den Anschluss verlor, da ihnen schlicht die Trainingsdaten fehlten, um ihre Modelle an den Bedürfnissen der Nutzerinnen zu trainieren.
Mit der gestern (zumindest in English) lancierten Version von Siri AI ist diese Zurückhaltung nun Geschichte. Wer Siri AI aktiviert, stimmt auch der Übermittlung sämtlicher Siri-Interaktionen inklusive der dabei entstehenden Audio-Daten an Apple zu, und damit verbunden der „Überprüfung“ dieser Daten durch Apple-Mitarbeitende. Zwar lässt sich dies anschliessend in den Einstellungen wieder deaktiveren, Apple setzt mit diesem zumindest halb-dunklen Pattern aber wohl darauf, dass das die wenigsten tun. Zumindest was das Trainieren von KI betrifft, unterscheidet sich Apple nun also explizit nicht mehr von der Konkurrenz.
Und schliesslich:
- Nur weil Daten in der Cloud sind, heisst nicht automatisch, dass sie dort bleiben. Mehrere Cloudprovider haben schon Kundendaten verloren. Eine US-Fernsehstation kämpft nun darum, wieder Zugriff zu 50 Terabyte Filmarchiv aus 70 Jahren zu bekommen. Der Grund ist nicht, dass die Daten weg sind. Der Grund ist, dass die Daten über einen Dienstleister in der Cloud gelandet sind und dieser Dienstleister nun Konkurs gegangen ist. Aktuell sieht es gut aus, dass sie wieder an diese Daten herankommen. Das muss nicht immer so sein. Und rückwirkend wäre es wohl einfacher gewesen, zusätzlich noch 1000 Franken für ein zusätzliches lokales Backup auszugeben …
- Nur einfach KI auf irgendwelche (Verwaltungs-)Prozesse anzusetzen, könne nicht die Lösung sein, sagt Stefan Kaufmann im Netzpolitik-Interview. Die Daten müssten vernünftig strukturiert sein und es müsste von vorherein klar sein, welche Qualität die Antworten auch haben sollten. Und diese Qualität müsste überprüft werden.
- Meta (die Mutter von Facebook, Instagram und WhatsApp) verdient gerne (und viel) an Werbung, auch bzw. gerade wenn sie Nutzer:innen kriminellen Internet-Betrügern aussetze. Meta hat auch etliche Nacktbilder von Erwachsenen und Kindern in Werbungen präsentiert und zum Teil Tage gebraucht, bis sie die Bilder gelöscht hatten.
- LibreOffice wurde häufiger heruntergeladen, seit sie offiziell bekannt gegeben haben, dass sie keine KI-Funktionen integrieren: 1 Million Downloads in einer Woche.
- Der Nationalrat hat heute über das neue Elektronische Gesundheitsdossier debattiert. Und dabei der Pflichtlösung (d.h. nur Opt-Out) ebenso beschlossen wie auch eine neue zentralen Datensammlung von besonders schützenswerten Personendaten ohne vollständige Ende-zu-Ende-Verschlüsselung. Wohin das führen kann? Die Beispiele zur Altersverifikation oben sprechen für sich.
