DNIP Briefing #28: Machen KI-Modelle abhängig?

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat.

Ab sofort strukturieren wir das Briefing und beginnen mit leicht verdaulichen und verständlichen Inhalten – und enden mit technologisch-komplexen Artikeln. Ziel ist es, dass sich unsere Leser:innen schneller zurechtfinden und besser einschätzen können, was sie erwartet.

Was hältst du davon? Schreibe es uns.

Microsoft on Tour

Microsoft scheint gerade auf Europatournee zu sein: vor einer Woche in der Schweiz, ein paar Tage später in Nordrhein-Westfalen. Der Unterschied: Anscheinend hat NRW in puncto Ausbildung besser verhandelt. Erstens soll allen 200’000 Lehrer:innen ein Angebot zur Weiterbildung für die Arbeit mit KI gemacht werden. Zweitens sollen die rund 33’000 Beschäftigten der Finanzverwaltung ein KI-Qualifizierungsprogramm erhalten. Und drittens habe sich Microsoft bereit erklärt, das KI-Training von rund 100′.’000 Auszubildenden in allen denkbaren beruflichen Anwendungsbereichen zu unterstützen. Das klingt positiv, aber natürlich konzentrieren sich die Fortbildungen primär auf die Produkte des Konzerns. Und wie auch hierzulande wird in NRW die Frage diskutiert, ob sich das Land zu stark an Microsoft kettet.

Neben Microsoft sind auch Amazon und Google dabei, europäische Souveränität zu propagieren. Während Microsoft als Zückerchen eine Kopie des gesamten Cloud-Quellcodes in der Schweiz hinterlegt, will Amazon seine europäischen Ableger mit europäischem Technik- und Führungspersonal versehen.

Wer den Überblick über die unterschiedlichen Souveränitätskategorien verloren hat, findet bei Pablo Chavez eine Zusammenfassung aus US-Sicht. Er zeigt auch auf, dass eine sofortige Unabhängigkeit von Google und Co. nicht einfach machbar ist. Er fordert aber die USA auch auf, die europäischen Bedenken ernst zu nehmen und hofft, dass es weiterhin transatlantische Solidarität gebe.

Ob das klappt, ist allerdings fragwürdig, wie die ungeklärten Fragen zum Datenschutz zeigen, bei denen die USA und US-Firmen die europäischen und schweizerischen Bedürfnisse nicht ernst zu nehmen scheinen. Deshalb sei an dieser Stelle nochmals an das Statement der Digitalen Gesellschaft und die Definition von Souveränität durch den Digitalisierungschef der deutschen Schwarz-Gruppe verwiesen.

KI soll nicht mehr sicher oder ethisch sein

Nachdem etliche KI-Firmen ihre Abteilungen für ethische bzw. verantwortungsvolle KI z.T. bereits vor Jahren «entrümpelt» haben, geht es nun auch der KI-Sicherheit an den Kragen.

So hat das US-Handelsministerium sein bisheriges «AI Safety Institute» in «Center for AI Standards and Innovation (CAISI)» umbenannt. Trump hat schon an seinem ersten Tag im Amt das Biden-Dekret annulliert, das (a) Sicherheitsstandards für grosse KI-Systeme definiert werden müssten und (b) einen Bericht über den Einfluss von KI auf Konsument:innen und den Arbeitsmarkt forderte.

Das Institut soll sich neu vor allem um Risiken von KI-Systemen kümmern, die in anderen Ländern erarbeitet werden. Die lokale Tech-Wirtschaft wird es freuen; ihre Millioneninvestitionen in Trump und seine Feste haben sich ausbezahlt.

KI als Droge

David Gerard vergleicht die Verwendung grosser Sprachmodelle (Large Language Model, LLM) wie ChatGPT zur Software-Entwicklung (dem sogenannten Vibe Coding) mit den Effekten von Drogen oder Spiel- und Social Media-Sucht. Insbesondere KI-Modelle, welche spezifisch für die Erzeugung von Programmcode genutzt würden, würden psychologische Reaktionen auslösen.

Auf der einen Seite würden Softwareentwickler, die sich von LLMs Code erzeugen lassen, darin vor allem das Gute und Zutreffende sehen, ähnlich wie bei Horoskopen. Etwas, das als Barnum- oder Forer-Effekt bekannt ist. Auf der anderen Seite würden auch die gleichen Abhängigkeitsmuster genutzt, die bei Spielsucht oder für kommerzielle Online-Angebote genutzt werden, bei denen die Aufenthaltszeit der Nutzer:innen maximiert werden soll: der unbezwingbare, vielversprechende Zufall (was dem Umstand zu verdanken ist, dass der vom LLM erzeugte Code meist nur eben fast korrekt ist). Da das LLM-KI-Modell zwischendurch immer mal wieder einen «Glücksgriff» landet, hofft der Mensch, dass er das System irgendwann doch bezwingen könne bzw. den generierten Code nutzen könne. Selbst vehemente Verfechter von KI-unterstützter Entwicklung räumen ein, das der von den KI-Agenten erzeugte Code ohne manuelle Nachjustierung nicht lauffähig ist. Dabei blenden sie aus, dass die Fähigkeit zur manuellen Nachjustierung sinkt, desto mehr man sich auf KI-generierten Code verlässt.

Dasselbe beschrieb Baldur Bjanason schon 2023 als den «LLMentalist-Effekt», als er LLMs mit den Tricks angeblicher Hellseher verglich. Und Stefano Marinelli beschreibt die sich ändernde Erwartungshaltung im Management und schliesst daraus, dass es irgendwann keine Menschen mehr geben wird, die Programmcode verstehen.

Auch das ist schlussendlich nur weitere Analogie zu Drogen: Wenn IT-Manager erkennen, dass da ein Werkzeug/Medikament/… die Leistungsfähigkeit ihrer Mitarbeitenden zumindest kurzfristig steigert, erzeugen sie einen Liefer-Druck, der nur durch Nutzung dieser Werkzeuge behoben werden kann. Dabei ist es egal, ob dies dann langfristige Schäden anrichtet, sei es an der Psyche der Mitarbeiter, sei es an der Qualität, Sicherheit und längerfristigen Wartbarkeit des erzeugten Codes; oder ob die realen Kosten (die heute primär von Kapitalgebern getragen werden, da sich bisher keines der KI-Angebote rein aus den Abo-Kosten heraus finanzieren kann) effektiv tiefer sind als menschliche Entwickler.

Hier noch eine Bestätigung, aus einem Bereich, der nichts mit Programmcode zu tun hat: Amanda Guinzburg wollte sich beim Zusammenstellen eines Bewerbungsportfolio unterstützen lassen. ChatGPT gab tiefschürfende Bemerkungen dazu ab. Bis sich herausstellte, dass ChatGPT die zur Verfügung gestellten Inhalte gar nicht gelesen hatte, allerdings so tat als ob.

Vom Beobachten des Beobachters beim Beobachten

Viele Staaten wollen möglichst viel über das Leben (zumindest einiger) ihrer Untertanen wissen und sammeln deshalb Daten. So haben die USA bei diversen Telekommunikationsfirmen Geräte installiert, die ohne lokales Zutun Teile des Internetverkehrs mitschneiden und ausleiten können. Wie Ende 2024 bekannt wurde, wurden diese und andere Systeme von einem Drittstaat, möglicherweise China, benutzt, um ihrerseits den Internetverkehr mitschneiden zu können. Schon damals wurde berichtet, dass die Angreifer sich schon über ein Jahr in diesen US-Netzwerken breit gemacht hätten. Nun ist bekannt geworden, dass schon im Sommer 2023 erste Malware in den Netzen war. Zwischendurch wurde gemunkelt, dass diese Malware noch von einem weiteren Staat sein könnte.

Sichere IT-Infrastruktur – wie sie für eine starke Wirtschaft und eine stabile Demokratie nötig sind – braucht zuverlässigen Schutz. Dieser Schutz ist heute vielschichtig und wird oft als «Defense in Depth», «Swiss Cheese Model» oder – in seiner umfassendsten Ausprägung – «Zero Trust» bezeichnet. Absichtlich automatische Lücken in diese Verteidigungssysteme zu bauen gefährdet das ganze Land.

Und schliesslich:

• QR-Codes für URLs sind auf Plakaten etc. beliebt, ersparen sie doch am Inhalt interessierten Passanten das Abtippen der URL und senken so die Engagement-Schwelle. Allerdings bergen gerade in der Öffentlichkeit angebrachte QR-Codes auch Risiken: So können sie recht einfach durch andere QR-Codes überklebt werden, welche Passanten auf Malware- oder Fakeseiten umleiten. Oder man verlässt sich als Werber auf eine Drittfirma, welche die URLs nicht direkt zum Ziel zeigen lässt, sondern über einen eigenen Server umleitet (vermutlich verbunden mit «Mehrwert» wie Nutzungsstatistiken oder sogar Auswertungen darüber, welche Plakate und Standorte beim Publikum am besten ankommen). Handelt es sich um einen Zugang zu einem Gesundheitsangebot, dann kommt noch eine datenschützerische Komponente hinzu. Es empfiehlt sich daher generell, QR-Codes von URLs nicht mit der Kamera-App des Smartphones zu scannen, sondern eine App zu verwenden, welche die URL vor dem Öffnen anzeigt.
• Vor zwei Briefings berichteten wir, dass Einreichungen vor Gericht ein Hoch von KI-halluzinierten Entscheiden zitierten; mutmasslich, weil diese Missetaten ohne echte Konsequenzen blieben. Die Woche darauf wurde ein erster Jurist von einer Firma deswegen entlassen, ein erstes Zeichen für Konsequenzen, auch wenn es nach einem Bauernopfer aussieht. Eine Richterin am Obergericht von England und Wales was not amused: «Juristen, welche ihre berufsmässigen Pflichten nicht nachkommen, riskieren scharfe Sanktionen,» warnte sie vor zukünftigen Einreichungen von (KI-generierten) Unwahrheiten.
• In einem der obigen Verhandlungen gegen eine fehlbare Juristin verteidigte sich diese mit der Aussage, sie hätte keine KI benutzt, aber möglicherweise KI-generierte Zusammenfassungen von «Google oder Safari» benutzt. Es ist definitiv mehr Medienkompetenz angesagt.
• Die Firma, die wohl aktuell mit KI am meisten Geld verdient, Microsoft, will keine Bewerbungen, welche mit KI-Unterstützung generiert wurden. Keine weiteren Fragen, Euer Ehren.
• Wer echte Entscheidungen vom echten Eidgenössischen Datenschutzbeauftragten such: Es gibt neu über 500 EDÖB-Enscheide bei Entscheidsuche.ch.
• Wer sich mal wieder überlegt, von den datensammelnden und algorithmengetriebenen kommerziellen sozialen Netzwerken loszukommen und wissen will, was dieses komische Fediverse eigentlich so ist: Letzten Herbst hat WordPress 6 Folgen der «Fediverse Files» produzieren lassen; eine englische, nicht-technische Einführung in etwas Urschweizerisches, den Föderalismus. Im Internet bei Webseiten, Email oder eben auch im verteilten Sozialen Netz, dem Fediverse. (Auch wenn es manchmal «Mastodon» genannt wird: Das ist genauso falsch, wie jemanden zu bitten, «Schick mir ein Outlook».)
• Vielleicht erinnert sich der eine oder die andere noch an HyperCard, einem Hypermedia-System von Apple aus den späten 80er-Jahren. Es erlaubte Hypertext-Dokumente und einfache, auch Endusern zugängliche Programmierung zu einer Zeit, als das WWW noch nicht geboren war. Nach Jobs’ Rückkehr zu Apple wurde es allerdings nicht mehr weiterentwickelt und in 2004 aus macOS entfernt. Erfinder von HyperCard war Bill Atkinson, der Jahre zuvor die zentralen Grafikroutinen für den Macintosh (und dessen Quasi-Vorläufer Lisa) entworfen hatte, und die ersten Versionen von MacPaint (quasi ein Photoshop-Vorgänger) entwickelte. Insbesondere seine im Rahmen der limitierten Hardware hochperformanten Grafikroutinen haben das Mac-GUI in den 80er-Jahren überhaupt erst möglich gemacht. Auch die abgerundeten Ecken von Fenstern und Dialog-Boxen, welche in macOS heute noch zu finden sind, basieren auf seinen Algorithmen. Bill Atkinson ist letzte Woche im Alter von 74 Jahren gestorben.

Zitate der Woche

Seltene Erden sind für die Industrie überlebenswichtig. Damit sie Kaffeemaschinen mit Displays bauen kann, die Werbung anzeigt, die kein Mensch sehen will.

Thomas Weibel, Professor für Media Engineering

Ein Leben ohne Adblocker ist möglich aber sinnlos.

«Quelle: Internet 😉 (nach Loriot)» (in Absprache mit dem Autor)

Adblocker sind aber vor allem Tracking-Blocker. Wie einfach diese einzurichten sind, haben wir bei DNIP beschrieben.