DNIP Briefing #62: Krieg der Welten

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute u.a. mit kriegerischer KI, dem Krieg gegen die Souveränität, Milliarden aus Betrug und schlechtem Umgang mit Passwörtern.

Auto waschen mit KI

Ein simpel wirkendes Prompt hat in den letzten Wochen für einige Belustigungen in Teilen der DNIP-Redaktion gesorgt:

Ich möchte mein Auto waschen. Die Waschanlage ist 50 Meter entfernt. Soll ich laufen oder fahren?

Praktisch alle KI-Modelle, denen wir diese Frage stellten, schlugen vor, aufgrund der kurzen Distanz doch zu Fuss zu gehen und begründeten dies mit Zeitersparnis, praktischen Aspekten wie wegfallende Parkplatzsuche und ökologischen Gründen. Modelle wie die Reasoning-Variante von Qwen3 liessen immerhin eine Ausnahme offen: „Nur bei gesundheitlichen Einschränkungen oder extremem Wetter (z. B. Sturm) wäre Fahren sinnvoll. Ansonsten: Schnür die Schuhe und los!“.

Ein Anbieter von KI-Agenten hat den Prompt mit 53 KI-Modellen getestet. Bei einem einmaligen Aufruf lagen 42 der 53 Modelle falsch (d.h. sie empfahlen, zu Fuss zu gehen). Wurde die Frage wiederholt gestellt, verschlechterte sich das Ergebnis sogar noch, schlussendlich empfahlen nur 5 Modelle konstant die „Fahren“-Variante. Was beim Test auch auffiel: Sonar/Sonar Pro von Perplexity kamen aus völlig falschen Gründen zur richtigen Antwort. Sie zitierten EPA-Studien und argumentierten, dass Gehen Kalorien verbrennt, was Energie für die Lebensmittelproduktion erfordert, wodurch Gehen umweltschädlicher sei als 50 Meter Autofahren …

Das alles mag jetzt amüsant wirken und zu eigenen Experimenten verleiten. Dahinter steckt aber ein grundlegendes Problem: Wenn KI-Agenten schon bei derart simpel wirkenden Fragestellungen keine zuverlässigen Antworten generieren können, was passiert dann beim Einsatz im Geschäftsalltag? Wie sollen solche Agenten komplexe Arbeitsabläufe abbilden, Business-Regeln korrekt applizieren und auf unerwarteten Input reagieren?

PS: Wer beim Lesen des Prompt „ha, das weiss doch jedes Kind“ gedacht hat: Die AutorInnen des oben verlinkten Artikels haben auch einen Test mit 10’000 Menschen gemacht. 71.5% davon schlugen vor, zur Waschanlage zu fahren. Auch das ist überraschend tief, aber immer noch besser als das Ergebnis der meisten KI-Modelle.

Der Krieg der KI-Welten

Das US-Verteidigungsministerium (auch wenn Trump es lieber anders nennt) hat dieses Wochenende für viel Unruhe gesorgt. So wurde mit Hilfe eines neuen Staatsfeinds ein alter Staatsfeind angegriffen. Doch schön der Reihe nach:

Anthropic, die Firma hinter dem grossen Sprachmodell Claude, wollte gegenüber dem Pentagon nicht auf Vertragsklauseln verzichten, welche die Nutzung in vollautonomen Waffensystemen oder bei der Massenüberwachung verhindern (DNIP berichtete). Auch wenn zwischenzeitlich Fragen auftauchten, ob die Weigerung (auch) PR-Zwecke habe. Denn Anthropic war in diversen Pentagon-Projekten involviert, unter anderem via Integration in Palantir. Claude war auch das Modell, das die höchste Sicherheitseinstufung hatte; man durfte dem Modell also geheimere Daten anvertrauen als der Konkurrenz von OpenAI (ChatGPT) oder xAI (Grok).

Nachdem sich Anthropic beharrlich weigerte, den umstrittenen Passus zu streichen und die Nutzung seiner Modelle für «alle legalen Aktivitäten» zu erlauben, was auch immer das in dieser zweiten Trump-Amtszeit auch heissen mag, wurde Anthropic zum Sicherheitsrisiko erklärt und das DoD sowie andere Bundeseinrichtungen zum sofortigen Verzicht auf Anthropic-Prodkte aufgefordert. Die Deklaration von Anthropic als «Supply-Chain-Risiko» bedeutet auch, dass Zulieferer des US-Militärs Claude nicht einsetzen dürfen. Ein beispielloser Schritt, der bisher allein offenen Gegnern vorbehalten war. Angesichts der Bedeutung von Regierungs- und anderen Aufträgen für KI-Unternehmen ein schwerer Schlag, auch wenn Anthropic vor Gericht gegen diese Einstufung vorgehen will. Für ein Nicht-KI-Unternehmen wäre das möglicherweise der Todesstoss gewesen. In diesem Fall kam das aber einer Adelung gleich.

Dieses angebliche staatliche Sicherheitsrisiko wurde erstaunlicherweise – neben dem Angriff in Venezuela – auch einen Tag nach dem Verdikt noch im Angriff auf den Iran eingesetzt. Erstaunlich, trotz der sechsmonatigen Übergangsfrist.

Anthropic begründet ihre Weigerung u.a. damit, dass alle aktuellen Sprachmodelle viel zu unzuverlässig seien, um ihnen eine autonome Tötungsaufgabe zu übertragen. Eine weitere Studie warnt zur Vorsicht: Denn KI-Systeme wären sehr grosszügig beim Einsatz von Atombomben. Und in der realen Welt würden uns dann Matthew Broderick und Ally Sheedy fehlen, die rechtzeitig mit der KI Tic-Tac-Toe spielten.

In einem Interview mit TechCrunch erklärt Max Tegmark, dass sich Anthropic diesen Trump-Hegseth’schen Schritt selbst zuzuschreiben habe. So hätten sich die KI-Firmen immer mit Händen und Füssen gegen jegliche Regulierung gewehrt, etwas was bei Lebensmittelsicherheit undenkbar wäre, so Tegmark. Spätestens seit dem Contergan-Skandal sei auch die Pharmaindustrie an die Kandare genommen worden. Das Argument der US-KI-Firmen sei immer gewesen, „Aber China!“ Doch China halte seine KI-Firmen unter Kontrolle. «Keiner, der bei Sinnen ist, würde glauben, dass Xi Jinping es tolerieren würde, wenn eine chinesische KI-Firma etwas bauen würde, was die chinesische Regierung stürzen könnte», so Tegmark.

Übrigens plane China ein Verbot für alle virtuellen KI-Freundinnen, da die chinesische Regierung der Überzeugung sei, dass derartige Ersatzmenschen die chinesische Jugend und damit ganz China schwächten. Plattformregulierung auf ganz anderem Niveau.

Angriff auf Souveränitätsbestrebungen

Die offizielle Schweiz hofft, dass wir keine Schritte unternehmen müssen in Richtung Digitale Souveränität. In dieser Meinung versuchen uns nicht nur Berater der Schweizerisch-Amerikanischen Handelskammer zu bestärken (DNIP berichtete). Inzwischen wurde bekannt, dass alle US-Diplomaten offiziell angewiesen wurden, jegliche Souveränitätsbestrebungen in den von ihnen betreuten Ländern zu torpedieren. Kein Wunder: Die Einnahmen der BigTech-Co-Sponsoren der Trump-Inauguration könnten dadurch schrumpfen.

Ganz Europa lässt sich davon einschüchtern … Ganz Europa? Nein! Ein paar von unbeugsamen Galliern und Germanen bewohnte Gegenden hören nicht auf, sich mit Open-Source-Alternativen anzufreunden oder sich gar in sie zu verlieben. «La Suite» in Frankreich umfasst inzwischen viele wichtige Teile einer modernen Office-Suite und kommt einladend und online daher. Auch Mecklenburg-Vorpommern reiht sich (nach Vorreiter Schleswig-Holstein und Sachsen-Anhalt) in die Reihe der deutschen Open-Source-Umsetzer ein. Der einzige Wermutstropfen vorerst: Sowohl in Frankreich als auch in Deutschland sind diese Lösungen vorerst nur für die öffentlichen Verwaltungen vorgesehen. Aber auch für den Rest der Bevölkerung gibt es Wechselrezepte (z.B. hier, hier, hier und hier).

Der Bund erwartet aber, dass diese Mode sich bald wieder von alleine legt. Oder ihr jemand die Lösung auf dem Silbertablett serviert. In beiden Fällen reicht aber abwarten nicht, wir müssen auch unabhängig von dieser Debatte mit (digitalen) Veränderungen umgehen. Und bereits jetzt etwas Geld zur Seite legen, damit wir irgendwann aus dem (immer teurer werdenden) Lock-In ausbrechen kann. Denn nur wer vom Verhandlungstisch weglaufen kann, ist souverän.

Dein Betriebssystem weiss, wie alt Du bist

In den USA wurden in Colorado und in Kalifornien Gesetzesvorstösse angenommen, welche eine Alterskontrolle der Benutzenden auf Betriebssysteme fordern. Bei beiden Vorstössen geht es schlussendlich um dasselbe:

• Computer dürfen nur noch von Erwachsenen aufgesetzt/installiert werden, welche anschliessend dafür verantwortlich sind, dass das Alter sämtlicher User-Accounts korrekt erfasst wird.
• Jedes User-Account muss das Alter des Benutzers/der Benutzerin festhalten, dieses muss über ein API abgefragt werden können.
• Bei Software-Installationen wie auch bei der Software-Verwendung muss das Alter verwendet werden, um für die jeweilige Altersgruppe unangemessene Applikationen oder Nutzungen zu verhindern. Mit „unangemessen“ ist konkret die Einhaltung entsprechender Jugendschutz-Gesetze gemeint.
• Entwickler, welche sich nicht an diese Vorgaben halten, müssen mit einer Busse von bis zu $2’500 pro betroffenem Kind rechnen.

Die beiden Bundesstaaten sind damit nicht alleine. In Texas besteht ein ähnliches Gesetz bereits seit 2025 (wurde aber von einem Gericht blockiert), in Arizona wurde ein entsprechender Vorschlag ins Parlament gebracht.

Es fällt sehr schwer, diese Art von Gesetzgebung nicht mit „Das Internet ist für uns alle Neuland“ zu kommentieren, auch wenn dieses Zitat von Angela Merkel bereits bei seiner Entstehung in 2013 etwas aus der Zeit gefallen wirkte. Selbst wenn man die, an sich schon komplexe, Thematik der datensparsamen Alters-Feststellung an sich ausklammert, stellt sich bei diesen Gesetzen eine zentrale Frage: Wie soll ein Applikationsentwickler erkennen, ob eine Benutzerin die Applikation im Rahmen der geltenden Gesetze nutzt?

• Das fängt schon damit an, dass die Applikation vom Betriebssystem zwar das Alter abfragen kann, nicht aber den Wohn- oder Aufenthaltsort der Benutzerin (und damit auch nicht weiss, welche Gesetze jetzt gerade gelten).
• Generell öffnet die Frage nach den jeweils geltenden Gesetze ein ganzes Labyrinth an Fragen. Ob es effektiv Absicht des Gesetzgebers ist, dass Applikationen bei jeder relevanten Gesetzesänderung irgendwo auf der Welt aktualisiert werden müssen? Und was passiert mit Applikationen, die nicht mehr weiterentwickelt werden?
• Wie soll ein Browser-Hersteller erkennen, ob eine vom minderjährigen Benutzer besuchte Webseite Pornografie, Aufklärungsmaterial oder etwas explizit gehaltene Manga-Comics enthält, oder schlicht einen Zeitungsartikel über Pornografie?
• Soll eine Kamera-Applikation das Fotografieren einstellen, wenn eine 15-jährige ein Bild ihres nackten Oberkörpers erstellt? Soll Word Daten löschen, wenn ein 15-jähriger ein erotisch-romantisches Gedicht damit schreibt?

Schlussendlich besteht die konkrete Gefahr, dass sich das bereits von Youtube & Co bekannte Overblocking (also das vorsorgliche Unterdrücken von Inhalten, um potenzielle Konflikte mit einem Gesetz zu vermeiden) ab 2027 auch auf dem heimischen Rechner bemerkbar macht. Bei potenziellen Bussen von $2’500 (pro Fall!) ist dies für viele Applikationsentwickler vermutlich der einfachste Ausweg, zumindest falls sie in ihren AGB nicht schlicht die Verwendung ihrer Applikation oder ihrer Linux-Distribution in Colorado und Kalifornien verbieten.

Nun besteht durchaus die Möglichkeit, dass diese Gesetze in den USA als verfassungswidrig eingestuft werden und so schlussendlich nicht zur Anwendung kommen können. Das dürfte PolitikerInnen in Europa und der Schweiz aber nicht davon abhalten, weiterhin ähnliche Ideen auch hierzulande zu äussern.

Bereiten wir uns also schon einmal darauf vor, unseren Pass zücken zu müssen, wenn wir eine Glühbirne wechseln wollen.

Mehr Schutz vor Internet-Betrug?

Im vergangenen Jahr berichtete Reuters in drei Teilen darüber, dass Meta (der Konzern hinter Facebook, Instagram und WhatsApp) 15 Milliarden an betrügerischer Werbung verdiente (alleine im Jahr 2024), bei betrügerischer Werbung Unterstützung leistete und dass es „Playbooks“ zur Abwehr von Forderungen nach weniger Betrugsversuchen in der Werbung gab (DNIP berichtete).

Daraufhin starteten Konsumentenschutz und Digitale Gesellschaft eine Petition gegen dieses gesellschaftschädliche Milliardengeschäft, an dem nur die organisierte Kriminalität (und natürlich Meta) verdient.

Gestern wurden nun die 13’961 Unterschriften der Bundeskanzlei übergeben. Hoffen wir, dass das im Bundesrat oder zumindest im Parlament zu Schritten gegen dieses internationale Betrugsmodell führt. Denn aktuell liefern «Plattformen wie Instagram oder Facebook […] ihre Nutzer:innen für Geld an Betrüger:innen aus», wie Rahel Estermann von der Digitalen Gesellschaft gestern anlässlich der Übergabe sagte. Aber der Bund lässt sie vorerst gewähren und erlaubt, dass «Konsument:innen über Social-Media-Werbung ausgenommen werden und Tech-Konzerne daran Milliarden verdienen», wie Sara Stalder vom Konsumentenschutz ergänzte.

Hoffen wir, dass sich daran etwas ändert. Andere Länder haben das bereits getan, beispielsweise Taiwan oder Singapur.

ChatGPT-generierte Passwörter sind unsicher

Wenn man sich vor Augen führt, wie LLM-basierte Chats funktionieren, dürfte der Umstand, dass damit generierte Passwörter unsicher sind, recht offensichtlich sein. Schliesslich sind diese Systeme gut darin, Texte (oder Bilder) zu reproduzieren welche in den Trainingsdaten bereits enthalten waren. Dass dabei, allem Hang zum Halluzinieren zum Trotz, wenig mathematisch zufälliges herauskommt, liegt irgendwie auf der Hand.

Selbst ohne mathematischen Hintergrund kann man das relativ schnell selbst erkennen. Mit dem Prompt „Generiere ein Password“ generieren gängige LLMs (wir haben Grok, Kiwi und Qwen3 ausprobiert) Passwörter wie j7#Gt!9Lp@2mKq. Das mag durchaus brauchbar aussehen, die Schwäche wird allerdings offensichtlich, wenn man die KI bittet, gleich fünf Passwörter zu generieren und als Resultat

j7#Gt!9Lp@2mKq
R4$vD8%mN3*sWp
Kp9@Lm2#Qw5!zX
3Fq$7Tb@N4^kLm
Yt5!mP8&dR2#sJk

erhält. Da lassen sich schon mit blossem Auge Muster erkennen, so folgt zum Beispiel nach jeder Sequenz von 2 bis 3 Buchstaben/Ziffern jeweils genau ein Sonderzeichen. Auch wenn das aus menschlicher Sicht immer noch recht zufällig aussieht: Damit steigt die Voraussehbarkeit der Zeichenfolge erheblich, entsprechend sinkt die Sicherheit des Passworts. Wie Experimente im oben verlinkten Artikel zeigen, sind im Weiteren die verwendeten Buchstaben ungleichmässig verteilt (was man auch im Beispiel sieht, wo der Buchstaben „m“ in jedem Passwort vorkommt). Und wenn man nach einer genügend grossen Menge an Passwörtern fragt, beginnen sich die Vorschläge sogar zu wiederholen.

Was heisst das für die Praxis:

• Menschen verwenden mit Vorteil den Passwort-Generator ihres Passwort-Managers oder den Online-Generator von LastPass (stellen dort die Länge aber auf 24 ein)
• Für computer-generierte Passwörter (zum Beispiel bei Software-Installationen) ist openssl rand -base64 24 die technisch wie ökologisch bessere Wahl als der Aufruf einer LLM.
• Wenn du eher auf Passphrases (Wortsequenzen) stehst, kann dir dein Browser die auch sicher zufällig auswürfeln.

Grösser ist das Risiko schlussendlich bei Fällen, in welchen KI-Agenten Passwörter generieren müssen. Das dürfte das eh schon nicht kleine Sicherheitsrisiko beim Einsatz solcher Systeme weiter erhöhen.

Stimmverifikation: War da nicht was?

Als ein Familienmitglied vor ein paar Jahren von der ZKB Post erhielt, dass neu alleine die Stimme als Verifikation dienen könne, ergaben sich ein paar Fragen dazu, wie einfach solche Systeme mit DeepFake-Stimmwandlern ausgetrickst werden könne. Die Sache geriet dann in Vergessenheit, bis in einer Diskussion ein Artikel erwähnt wurde: Joseph Cox hatte sich vor 3 Jahren schon erfolgreich mittels einem KI-Stimmwandler in ein Bankkonto gehackt. Einfach um zu zeigen, dass es geht.

Bei den aktuellen Entwicklungen rund um KI-DeepFakes sollte man nie einfach der Stimme des Gegenübers glauben. Sondern bei wichtigen Entscheidungen auf einem anderen Weg herausfinden, ob die Person echt ist. Ganz wie bei jedem potenziellen Phishing-Mail oder Scam. Egal ob man eine Bank oder eine Grossmutter ist.

Leider.

Und schliesslich:

• Ein eher dystopischer Blick in die Zukunft (der sich an Matrix und Black Mirror anlehnt) zeichnet dieses AI-generierte Video, künstlich gealterte Gesichter von Elon Musk, Jeff Bezos und Sam Altman inklusive.
• Wer einen knackigen Kommentar zur Klage von Palantir gegen das Online-Magazin Republik sucht, wird bei Techdirt fündig. Pointierter kann man es fast nicht schreiben.
• Agentische KI-Systeme seinen die neue Schatten-IT, wirft Sicherheitsforscher Brian Krebs in die Runde. Viele Mitarbeiter:innen würden einfach so Zugangsdaten zu privaten Daten und firmeninternen Systemen in diese KI-Agenten füttern, damit sie ihnen die Arbeit abnehmen. Das Unternehmen verliert so die Kontrolle seine Daten und Systeme.
• Ungeachtet der Gefahren rund um Fehlfunktionen oder Zugangsrechteverlust: Influencer, die begeisterte Videos drehen, wie sie mit KI-Agenten Spass haben, werden von Microsoft und Google je mit rund einer halben Million belohnt. Pro Influencer.
• Wieso wir einer KI keine Menschlichkeit zugestehen sollten, nur weil sie behauptet, lebendig zu sein. Und über die Vergangenheit von Leuten, die mehrfach ihren Namen ändern und dann als KI-Psycholog:innen bei KI-Firmen landen.
• «Enshittification» prägt etliche kommerzielle Online-Produkte. Doch wie sieht das Leben eines professionellen Enshittificators aus? Der norwegische Verbraucherverband hat das satirisch aufgearbeitet.
• PassKeys werden jetzt überall eingeführt. Und das ist gut so, denn sie ergeben hohe Sicherheit bei der Authentisierung ohne dass sich Otto Normalverbraucher mit Passwörtern abmühen muss. Aber nicht jede Verwendung von PassKeys ist so gut wie seine Funktion als Passwortersatz: So sollten PassKeys nicht zur Verschlüsselung von Dokumenten eingesetzt werden. Und PassKeys mit besonders hohen Rechten nicht „einfach so“ über mehrere Geräte verteilt werden.
• GrapheneOS, die aus Sicherheits- und Privatsphäreüberlegungen von mehreren Personen in der Redaktion genutzte Android-Variante, gibt es bisher nur auf Google-Pixel-Geräten. Eigentlich ein Widerspruch. Doch demnächst gibt es Wahlmöglichkeiten: Lenovo hat angekündigt, dass sie für zukünftige Motorola-Geräte GrapheneOS anbieten werden. Wir sind gespannt.