DNIP Briefing #39: Purzelbäume für die KI

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat.

Seit 2018 setzt Postfinance Stimmerkennungssoftware ein, um anrufende Kund:Innen zu identifizieren. Und spätestens seit einem Entscheid des eidgenössischen Datenschutzbeauftragten (EDÖB) in 2019 ist bekannt, dass es dazu (bzw. zum Speichern der Stimmabdrücke) einer ausdrücklichen Einwilligung der Kunden bedarf. Eine Einwilligung, welche Postfinance bis heute nicht einholt. Wie der Ktipp schreibt, hat der EDÖB deshalb im Mai dieses Jahres eine Verfügung erlassen. Darin hält er fest, dass das Vorgehen von Postfinance gegen das Datenschutzgesetz verstösst, die Verarbeitung biometrischer Daten sei unverhältnismässig. Gegen die damit verbundene Auflage, die Stimmabdrücke zu löschen, hat Postfinance nun Beschwerde beim Bundesverwaltungsgericht erhoben. Die Verfügung des EDÖB ist daher bislang nicht rechtskräftig.

Irritierend am Ganzen ist nicht nur die Weigerung eines weiteren De-facto-Staatsbetriebs, sich an Gesetze bzw. Verwaltungsentscheide zu halten (die Swisscom versucht das mit dem Glasfaser-Monopol ja ebenfalls). Die fehlende Sensibilität von Unternehmen im Umgang mit schützenswerten Personendaten ist auch Wasser auf die Mühlen all derjenigen, welche das Fehlen von harten Missbrauchsbestimmungen im E-ID-Gesetz bemängeln.

Marines vs. AI 8:0

Allen Bedenken zum Trotz wird AI (vor allem LLM-basierte AI) seit 2-3 Jahren als Wundermittel für so ziemlich alle Probleme dieser Welt gehypt. Sei es die «Demokratisierung» der Software-Entwicklung mittels Vibe Coding (also das Entwickeln von Software im «Dialog» mit einer AI), sei es die unmittelbar vor der Tür stehende allgemeine künstliche Intelligenz, welche dann selbständig alle Probleme der Menschheit lösen soll: Wir leben quasi im goldenen AI-Zeitalter (welches, am Rande bemerkt, momentan weitgehend auf Pump lebt, da Venture-Kapitalgeber jährlich Milliarden investieren, ohne signifikante Gewinne zu sehen).

Dass sich AI-Lösungen aber nach wie vor mit einfachen Mitteln übertölpeln lassen, zeigt ein schon etwas älteres Experiment von DARPA (welches militärisch relevante Forschungen in den USA fördert). Darin hatten acht Marines die Aufgabe, in ein AI-geschütztes Gebäude einzudringen. Die AI war zuvor spezifisch zur Erkennung von Angriffen trainiert worden. Nichtsdestotrotz schafften es in diesem Experiment alle acht Soldaten, unbemerkt an der AI vorbeizukommen. Überlistet haben sie das System, indem sie sich dem Gebäude mit Purzelbäumen näherten, einen kleinen Baum vor sich hertrugen oder schlicht eine Schachtel über sich stülpten.

Das Experiment deckte auf, was Experten als «Verteilungsverschiebung» bezeichnen – ein Phänomen, bei dem KI-Systeme, die mit spezifischen Datensätzen trainiert wurden, mit Szenarien ausserhalb ihrer Trainingsparameter zu kämpfen haben. Die KI hatte zwar gelernt, normal gehende Menschen zu erkennen, war aber noch nie auf Purzelbäume schlagende oder als sich bewegende Bäume getarnte Personen gestossen. Oder, wie es ein Beobachter im Artikel ausführt: „Ein Algorithmus ist anfällig, und die Schlussfolgerung daraus ist, dass es immer solche Grenzfälle geben wird. Das eigentliche Problem für das Militär besteht darin, dass es in einem von Natur aus feindseligen Umfeld operiert und Menschen sich stets weiterentwickeln können.“

Mit anderen Worten: Auch mit mehr Training wird die AI Mühe haben, mit der menschlichen Kreativität mitzuhalten. Das ist eine Erkenntnis, welche sich grundsätzlich auch auf andere Gebiete übertragen lässt, in welchen AI inflationär eingesetzt wird.

Kein Social Media unter 13 Jahren?

So zumindest lauten die Headlines, mit denen ein Diskussionspapier der Leopoldina, der Deutschen Akademie der Naturforscher, gerade durch diverse Medien geistert. Die Kollegen von Netzpolitik.org haben das Papier genauer gelesen und teilen ihre Erkenntnisse. Wichtigste Erkenntnis: Alles über einen Kamm zu scheren ist nicht, denn es gibt bisher wenig eindeutige Resultate und je nach Kind und Umfeld können die Auswirkungen positiv oder negativ sein.

Einig ist sich die Leopoldina aber dahingehend, dass das Geschäftsmodell kommerzieller sozialer Medien radikale Kritik verdient. Zu den konkretere Handlungsempfehlungen gehören Safe Spaces, Deaktivieren von suchtfördernden Optionen, entschärfte Empfehlungssysteme und mehr Medienkompetenz, aber auch Unterstützung für die Eltern und Aufklärungskampagnen.

Ein empfehlenswerter Artikel, dem eine Zusammenfassung nicht gerecht wird. Gerade jetzt. Also hier nochmals der Link zum Artikel.

Erste Anzeichen einer KI-Bubble

Nachdem Sam Altman bereits im letzten Briefing mit «Die Antwort ist Ja» auf die Frage zur KI-Bubble zitiert wurde, gibt es inzwischen weitere Meldungen zum Thema und Vergleiche mit der platzenden Dot-Com-Bubble vor 25 Jahren.

So begannen letzte Woche erste Verkäufer ihre KI-Aktien loszuwerden, nachdem eine MIT-Studie warnte, dass die meisten KI-Investitionen aus Businesssicht «Null Rendite» lieferten (Telegraph).

Auch Meta, das Facebook/WhatsApp/Instagram-Mutterunternehmen, scheint seine KI-Strategie zu überdenken (Wall Street Journal, Paywall). Nachdem Meta bis vor Kurzem noch KI-Experten mit Einstiegsboni bis zu 100 Millionen $ köderte, gibt es inzwischen einen Einstellungsstop.

Derweil wird ein grosser Teil der US-amerikanischen Chip-Industrie verstaatlicht. Richtig gelesen: Trumps Regierung kauft 10% der Anteile des Unternehmens. Wobei fraglich ist, ob „kaufen“ stimmt. Laut einem Posting von Trump selbst, hätten die USA „nichts“ bezahlt für die Aktienanteile. Das ist auf vielen Ebenen bemerkenswert. Noch vor zwei Wochen hatte Trump den Rücktritt des Intel-CEOs Lip-Bu Tan gefordert. Dies ist nun offenbar vom Tisch.

Nicht einfach blind Software (und Plugins) installieren

Eigentlich sollte es allen inzwischen klar sein, dass man nicht einfach irgendwelche Software installieren sollte. Doch zumindest 100’000 Leute hatten eine nicht ganz so vertrauenswürdige VPN-Extension in ihren Browser installiert, wie CyberInsider berichtet. Nachdem sie anfänglich das machte, was sie behauptete, begann sie später, regelmässig Bildschirmfotos der Browsersession der Nutzer aufzunehmen und an die Server der Entwickler zu senden. Natürlich ohne die Benutzer zu informieren. Und damit es nicht auffiel, hatten sie diese Kommunikation noch zusätzlich verschleiert.

Browser-Stalking durch Tech-Firmen

Wenn es um Nachverfolgung unserer Browsing-Aktivitäten und -Interessen geht, denken viele erstmal an Cookies. Doch Cookies sind nur ein kleiner Teil dessen, wie Big-Tech-, Werbe- und andere Tracking-Firmen an unsere Online- (und damit auch Offline-)Aktivitäten kommen wollen.

Shivan Kaul Sahib, der Vizepräsident für Privacy and Security bei Brave, hat zusammengefasst, wie wir heute online verfolgt werden. Und was Browser schon tun, um uns davor zu schützen. Wen es erstaunt, dass Chrome und seine Ableger da am wenigsten tun, soll doch bitte mal die Hand heben.

Interessant auch, dass Geheimdienste Ad-Blocker verwenden, weil sie eben nicht von Big Tech & Co. verfolgt werden wollen. Was den Geheimdiensten recht ist, soll uns billig sein: Werbe- und Trackingblocker helfen auch recht gut gegen viele der «moderneren» Fingerprinting-Techniken, die Sahib beschreibt. Und die kann jeder einfach einrichten. Wäre das nicht eine gute Tat für heute?

Konstantin Klein ärgert sich übrigens in seinem aktuellen Blogbeitrag darüber, dass gerade angesichts dieser zunehmen Datensammelwut immer mehr Webseiten «Sorry, du verwendest einen Werbeblocker» anzeigen. Auch wenn er sich mit dem Anschauen von Werbung möglicherweise noch einverstanden erklären könnte, das gleichzeitige Tracking hält er für absolut unmöglich. Er plädiert (unter anderem) für ein niederschwelliges Pay-Per-View, gerade auch angesichts der Tatsache, dass Deutschland nach China zum zweiten Land werden könnte, das Werbeblocker verbietet (deutsch, aber manchmal Adblocker-Blocker; oder englisch, definitiv ohne).

«KI-Atomkraft? Nein danke!»

Einige kennen es bereits aus 2023: Damals warnten ein paar Leute, die gerade gross mit den frisch aufgekommen Grossen KI-Sprachmodellen (LLM) Geld verdienten, wie gefährlich die Technik doch sei. Und dass man unbedingt etwas gegen Gefahr der Auslöschung der Menschheit durch ebendiese KI unternehmen müsse. Das Ziel: «Criti-Hype», also, den Hype durch as Heraufmalen von Gefahren noch zu verstärken. Was damals Sam Altman und Bill Gates mitunterschrieben haben kommt aktuell ähnlich aus dem Mund des Anthropic-CEO (Paywall): Sie seien gerade dabei, einen Werkzeugkasten zu bauen, damit ihre KI niemanden beim Bau von Atomkraftwerken und -waffen unterstützen würde.

Die versteckte Aussage dahinter: «Unsere KI ist so mächtig, dass sie dir sogar die Baupläne für Atom-Wasauchimmer zeichnen kann. Du musst nur noch bauen!»

Auch hier wird durch das Aufzeigen von potenzieller Gefahr die Macht des KI-Systems überzeichnet. Dass man Atomwaffen nicht einfach so im Keller baut, egal mit oder ohne KI, zeigen unter anderem die nötigen 67 Atombombenversuche der Amerikaner alleine auf dem Bikini-Atoll oder die Anstrengungen Nordkoreas. Und auch ein Atomkraftwerk ist kein Pappenstiel, wie der letztes Jahr eingeweihte 3. Block von Flamanville nach 12 Jahren und 13 Milliarden € zeigt.

Mehr zu den (menschlichen und technischen) Gründen für Hype-Tech hat übrigens Felix von Leitner 2021 in einem Vortrag aufgezeigt.

KI-Stellenabbau verfrüht

Die grösste australische Bank hatte wegen angeblicher Effizienzsteigerungen beim Telefonsupport der Kunden ein Teil ihres Supportpersonals entlassen (Ars Technica). Es stellte sich aber heraus, dass die angeblich gemessene Reduktion des Telefonvolumens dank KI-Vorfilterung nicht stimmte. Im Gegenteil: Die Kundenanfragen hätten zugenommen.

Die Bank musste jetzt intern Leute zum Telefonsupport umschulen und stellt wieder Personal ein.

Es bleibt unklar, aus welchem Grund die Zahlen falsch waren. Und ob es etwas damit zu tun hat, dass die Bank gleichzeitig den Telefonsupport in ein günstigeres Land auslagern wollte, dort aber noch Probleme hat.

Anyway: Ob bei der Einführung von KI oder beim Outsourcing in ein Billiglohnland sollte man zuerst sicher sein, dass das neue Setup funktioniert, bevor man das alte abbaut. Und nicht vorzeitig Erfolge melden, egal, wie sehr sie «von oben» gewünscht werden.

GrapheneOS im Aufwind

Wer die Sicherheit von Android-Geräten erhöhen will, greift gerne zu GrapheneOS, ein Android-Ableger, der zusätzliche Schutzmassnahmen rund um Datenschutz und IT-Sicherheit bietet (leider bisher nur für Google-Hardware, wegen der bisher dort verfügbaren Open-Source-Gerätetreiber).

Gewisse Finanzinstitute (aber auch andere) testen aber «aus Sicherheitsgründen», ob sie auf dem Originalbetriebssystem des Telefons laufen, auch wenn dieses «Original» selbst unsicher ist. SwissQuote hat nun einen Schritt gemacht und unterstützt nun GrapheneOS offiziell. Wir gratulieren zu diesem wichtigen Schritt!

KI-Sprachmodelle zur Datenkompression

Daten kompakt zu speichern und zu übertragen ist wichtig, besonders bei grossen Datenmengen oder langsamen Leitungen. Entsprechend versuchen Forscher, Datenkompression immer effizienter zu machen. Eine Forschergruppe hat nun strukturierte Datenexporte mit GPT-2 umzuformatieren versucht, so dass sie nachher besser komprimierbar sind. Bei Logfiles erreichten sie beispielsweise eine Verbesserung von 0.34 %.

Petar Marjanović erreichte bessere Resultate, in dem er anstelle der Kombination aus GPT-2 und einem 30 Jahre alten Kompressionsalgorithms einfach neuere Kompressionsalgorithmen verwendete. Die haben erst noch den Vorteil, dass sie weder halluzinieren noch zuerst auf die spezifischen Datenformate trainiert werden müssen.

Und schliesslich:

• Wer sein erstes Mobiltelefon vor 2010 gekauft hat, wird sich vermutlich noch daran erinnern, dass man damals Klingeltöne kaufen oder auch eigene erstellen konnte. In der Zwischenzeit sind Klingeltöne generell kaum mehr ein Thema, und das öffentliche Ärgernis hat sich von lautem Geklingel eher zu nicht weniger lauten Telefonaten in Bus und Zug verlagert. Dass das Verschwinden der Klingeltöne auch mit der sinkenden Bedeutung von Telefonanrufen an sich zu tun hat, zeigt eine statistische Analyse zu Klingeltönen und deren Verbreitung. Global gesehen verwenden selbst Boomer etwa gleich häufig Telefonanrufe wie Textnachrichten, alle Jüngeren favorisieren aber klar Textnachrichten. Und da wir alle ja oft längere Zeit am Smartphone hängen, braucht es nicht für jede Textnachricht einen Signalton. PS: Wer sich den im Artikel erwähnten Crazy Frog nochmals in Erinnerung rufen will, wird auf YouTube  (insbesondere hier und hier) fündig. Reinhören auf eigene Gefahr!
• Agentenbasierte KI-Browser wie Comet von Perplexity sollen uns einen Teil unserer täglichen Bildschirmarbeit abnehmen, berichtet Futurezone. Doch dieser «Agent» klingt eher nach Doppelagent: Denn er lässt sich von Scam-Webseiten sehr einfach übertölpeln. Die Cybersicherheitsfirma Guardio fasst die Resultate ihrer Studie wie folgt zusammen: «Ein kleiner Schritt für KI-Agenten, ein grosser Rückschritt für unsere Sicherheit.»
• McDonald’s hatten wir erst kürzlich im Briefing, weil Personaldaten mittels des Passworts „123456“ zugegriffen werden konnten. Nun liefern sie erneut Schlagzeilen: Ein Sicherheitsforscher entdeckte unzählige Sicherheitslücken, die eigentlich schon Anfänger kennen und im grossen Bogen vermeiden können sollten. So wurden Passwortüberprüfungen im Webbrowser des Users gemacht statt im Webserver (war noch nie eine gute Idee); beliebige Benutzer konnten sich ohne weitere Überprüfung im System registrieren; API-Schlüssel mit Massen-Phishing-Rechten wurden an jeden Browser übermittelt; … Dabei gibt es eine gute Liste, welche Fehler man bei Webapplikationen unbedingt vermeiden sollte, nämlich die OWASP Top Ten. Sollte jeder, der eine Webapplikation erstellt, unbedingt verstanden haben.
• Das Waadtländer Parlament fordert seine Regierung auf, die Ausgaben an US-Lizenzen zu reduzieren.