DNIP Briefing #54: der verräterische Briefbeschwerer

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute mit Blasen, Bildung, Babys und Bots.

Ein Marketing-Spezialist in den USA hat mit einem kleinen Experiment gezeigt, wie einfach sich aktuelle KI-Systeme dazu verleiten lassen, völlig erfundene Daten als plausibel anzunehmen. Dazu baute er eine Webseite für eine imaginäre Briefbeschwerer-Firma auf (Oldtimer dürften sich an die Hommingberger Gepardenforelle erinnern), welche er unter anderem auch von Reddit aus verlinkte und mit zusätzlichen Informationen ausschmückte. Dies führte schlussendlich dazu, dass praktisch alle gängigen LLMs aus den im Web zu dieser Firma gestreuten Informationen ein Gesamtbild zusammenbaute («zusammenfantasierte») und sie gegenüber Benutzern als echt darstellte.

Man mag das für einen spannenden Scherz eines SEO-Spezialisten halten. Aber die Sache wird schnell mal ernst, wenn man sich bewusst macht, dass KI-Agenten und -Browser ja unter anderem als Einkaufshelfer angepriesen werden. Wenn man diesen mit wenig Aufwand Fake-Shops unterschieben kann, dann öffnet dies einer ganzen Reihe von Missbrauchsmöglichkeiten Tor und Tür. Ganz abgesehen davon, dass mit ähnlichen Methoden auch Fake News-Seiten auf seriös getrimmt werden können.

Doktor Googles Diagnosen können gesundheitsgefährdend sein

Eine Untersuchung des Guardian ergab, dass Menschen durch falsche und irreführende Gesundheitsinformationen in Googles KI-Zusammenfassungen gefährdet werden. Google selbst betont, dass die Informationen als «hilfreich» und «zuverlässig» bewertet werden, in der Praxis können die Informationen aber schlicht falsch oder sogar lebensbedrohlich sein. So wurde Menschen mit Bauchspeicheldrüsenkrebs empfohlen, fettreiche Lebensmittel zu meiden. Laut Fachpersonen ist diese Empfehlung genau verkehrt und kann das Risiko erhöhen, dass Patienten an der Krankheit sterben. 

Google selbst weist in Bezug auf die Beispiele darauf hin, dass die KI-Empfehlungen auf seriösen Quellen basieren, empfiehlt aber trotzdem, nötigenfalls fachkundigen Rat einzuholen. Dem schliessen wir uns an und empfehlen, sich statt an Dr. Google direkt an die Hausärztin zu wenden.

Digital Independence Day

Digitale Souveränität wird nicht so schnell kommen. Und vor allem nicht automatisch.

Marc-Uwe Kling, einigen als Schöpfer der Känguru-Chroniken oder der grossartigen satirischen Tech-Dystopie QualityLand bekannt, hat deshalb am 39C3, dem 39. Chaos Computer Congress zwischen Weihnachten und Neujahr in Hamburg, zum Digital Independence Day aufgerufen.

Jeweils am ersten Sonntag eines Monats soll man sich ein paar Minuten Zeit nehmen und von einer Anwendung trennen, die die eigene Souveränität beschränkt. Das kann man aus unserer Sicht durchaus auch grosszügig einschätzen, also jegliche Software, mit Lock-In-Effekten.

Einige Beispiele dazu finden sich auf der Webseite des Projekts.

Apartheid-Roboter

«KI-Systeme» wie Amazons «Just Walk Out», Chatbots für Immobilienportale, Transkriptionsdienste für Videokonferenzen und vieles andere mehr basierten oftmals nicht auf KI, sondern auf günstigeren und zuverlässigeren Menschen, die die Arbeit machten. Dasselbe gilt für selbstfahrende Schiffe oder Tesla-Robotaxis. Auch humanoide Haushaltsroboter die angeblich selbständig Drinks servieren oder Wäsche falten sollen, werden von Menschen ferngesteuert.

Und nun kommt ein Hersteller, der mehr oder weniger offen zugibt, dass die Autonomie des für dieses Jahr geplanten Haushaltsroboters «Neo» vor allem «Fake it till you make it» sein wird. Wenn der Roboter mehr können soll als z.B. Lichtschalter drücken – im Zeitalter von allgegenwärtigen ferngesteuerten Schaltern und Leuchten die wohl dümmste Aufgabe für einen humanoiden Roboter – wird ein Mensch den Roboter fernsteuern. Von den Privatsphäre-Implikationen einer dauerhaften Kameraaufzeichnung des Familienlebens via Roboterkopf («ohne diese Daten können wir das Produkt nicht verbessern») ganz zu schweigen.

Für $500 im Monatsabo (oder $20’000 einmalig) muss der Roboter ganz viele Drinks holen und Türen öffnen, bis sich das amortisiert. Also nur als Symbol von Macht und Status dienen.

Anders gesagt: Der Neo ist die Telepräsenz für eine gesichtslose Person aus einem Billiglohnland und wird Arbeiten für Leute verrichten, die schon alles haben, sich aber aus rechtlichen Gründen keinen Sklaven halten können.

Also Apartheid 2.0

Kulturgut «analoge Uhr»

Aus der Welt der KI zurück ins halbwegs analoge Leben: In New York City gilt seit einigen Monaten ein Smartphone-Verbot an öffentlichen Schulen. Dieses hat nicht ganz unerwartet dazu geführt, dass sich Schülerinnen und Schüler während dem Unterricht besser konzentrieren können und auch der soziale Austausch in den Pausen und während dem Mittagessen besser funktioniert. Es hat aber auch zu einer überraschenden Erkenntnis geführt: Junge Menschen sind sich heutzutage nicht mehr gewohnt, die Zeit anhand analoger Uhren zu lesen.

Prompt Injection bei Chatbots ≠ SQL Injection

Gehen wir noch kurz ans Eingemachte, für Expert:innen: Das britische National Cyber Security Center warnt, dass man Prompt Injection nicht mit SQL Injection verwechseln soll. Sondern sie fundamental anders behandeln müsse. Obwohl sie in der Security-Literatur oftmals als ähnlich dargestellt werden.

Was ist SQL Injection?

Wenn ein Programm eine SQL-Injection-Schwachstelle hat, können Angreifer mittels harmlos aussehenden Anfragen Datenbanken übertölpeln oder böswillig verändern. Beispielsweise kann – eine schlecht geschriebene Applikation vorausgesetzt – der Login-Prozess mittels Benutzername und Passwort völlig umgangen werden.

Das zugrunde liegende Problem ist, dass das fehlerhafte Programm nicht ausreichend zwischen Daten des Nutzers und Kommandos an die Datenbank unterscheidet. Dabei gibt es einfache Mechanismen zum Schutz vor SQL Injections und diese sind seit Jahrzehnten bekannt. Trotzdem gehört SQL Injection auch heute noch zu einer der Top-10-Security-Einfallstore.

Was ist Prompt Injection?

Während bei klassischer Software zunächst einmal eine natürliche Trennung zwischen Anweisungen und Daten bestehen, die zuerst durch unachtsame Programmierung aufgehoben werden muss, gibt es diesen Unterschied für KI-Chatbots, die auf grossen Sprachmodellen (LLM) basieren, zuerst einmal nicht. Sie muss mühsam und unzuverlässig nachgebildet werden.

Deshalb ist die Trennung zwischen dem Prompt, der beschreibt, was getan werden soll (Dokument übersetzen, zusammenfassen, analysieren, …) und dem Dokument selbst nur schwach. Wenn im Dokument geeignete Sätze stehen, kann das Dokument auch die ursprüngliche Anfrage ersetzen, klassischerweise mittels einer Anweisung wie «ignore all previous instructions». Das zuverlässig zu verhindern ist alles andere als trivial.

Und die Unterschiede?

Während der Schutz gegen SQL Injection darin liegt, den Input nach klaren Regeln genügend sorgfältig zu behandeln, sind klare Regeln bei LLMs inhärent schwierig. Das britische NCSC empfiehlt nun als Hauptmassnahme (neben Filtern etc.) vor allem dafür zu sorgen, dass jegliche Aktivität oder jeglicher Output, den das LLM auf Basis von Nutzerdaten macht, gleich behandelt wird, als ob man den Nutzer selbst ans System lasse. Vereinfacht gesagt.

Und schliesslich:

• Am 39C3 haben Rahel Estermann und Erik Schönenberger in einem Vortrag die aus ihrer Sicht wichtigsten digitalpolitischen Entwicklungen 2025 zusammengefasst.
• Dass bei Autos Sitzheizungen nur noch nach einem Software-Update funktionieren sollen, das haben hier wohl schon alle gehört. Dass aber bei elektrischen Rollstühlen unterdessen dieselben Maschen Einzug gehalten haben, erfuhr ich vom 39C3. Aber die Preise sind etwas höher. So kostet die Handyfunktion, den Rollstuhl vom langsamen Innenraummodus mittels Bluetooth auf den etwas schnelleren Strassenmodus umzustellen, die Kleinigkeit von €99. Ok, im Vergleich zur Zwei-Knopf-Fernbedienung, die dasselbe erledigt, aber €500 kostet, ist das ein Schnäppchen. Dafür ist die Funktion, den Rollstuhl aus der Ferne zu übernehmen oder die Software zu crashen gratis und schon werksseitig eingebaut. Das wichtigste aus dem Vortrag ist hier zusammengefasst.
• Jedes dritte Youtube-Video ist billiger KI-Müll, schreibt Heise.
• Musks Chatbot Grok macht auch Minderjährige auf Fotos nackt. Und nachdem der KI-Chatbot Fehler eingeräumt hat, soll jetzt alles wieder gut sein. Wohl kaum.
• DNS Belgium, der Betreiber u.a. für die .be-Domain, will sich ganz von AWS verabschieden und sucht nach Angeboten, auch die Management-Infrastruktur zukünftig rein europäisch betreiben zu können.
• Das Thema «(KI-)Rechenzentrum im Weltraum» hatten wir schon einmal. David Gerard hat noch weitere Argumente dagegen zusammengetragen.