DNIP Briefing #33: McPasswort mit Sicherheitslücke

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat.

Feature Request by AI

Dass AI-Chatbots zu Halluzination neigen, d.h. in ihren Antworten Dinge erfinden, welche es in der realen Welt nicht gibt, ist an und für sich nichts neues, und einer der Gründe, wieso man sich nie ausschliesslich auf die Antworten von ChatGPT & Co. verlassen darf. Eine etwas speziellere Art der Halluzination erlebte in den letzten Monaten der Entwickler von Soundslize, einer Online-Lösung welche Bilder und PDFs von Musiknoten scannt und die Musik dann wiedergibt. In den Fehlerlogs sammelten sich nicht-scanbare Bilder, welche ein Scan-Feature voraussetzten welches die Software gar nicht unterstützte. Die Bilder waren allerdings deutlich als ChatGPT-Screenshots erkennbar. Wie der Entwickler verifizieren konnte, hatte ChatGPT die Existenz eines solchen Scan-Features schlicht herbeihalluziniert und es als Lösung vorgeschlagen. 

Der Entwickler stand vor der Wahl, das Problem zu ignorieren und potentielle neue Benutzer von vornherein zu verärgern oder zu verlieren. Er entschied sich daher für die andere Option und implementierte das herbeiphantasierte Feature kurzerhand in seiner Software.

KI 1, Mensch 0.

KI à la Musk

Ein Problem mit einer weitaus grösseren Tragweite beschäftigte die letzten Tage derweil die Entwickler von Elon Musks KI Grok. Dem Chef selbst gefielen die Antworten der KI nicht, sie waren ihm wohl zu liberal. Entsprechend wies er seine Leute an, ihn umzuprogrammieren – woraufhin die KI mit antisemitischen Aussagen auffiel. Wie gewollt das war, ist nicht überliefert. Fakt ist jedoch, dass bei bestimmten Fragen nach Tweets von Elon sucht, und diese in seinen Antworten dann rezitiert (bzw. den Inhalt als Wahrheit verkauft). Mittlerweile hat sich auch Musk selbst zum Verhalten von Grok geäussert. Er schob die Schuld dafür den Nutzerinnen und Nutzern in die Schuhe, die versucht hätten, Grok zu manipulieren.

Ein Statement der Grok-Firma xAI hingegen schiebt die Schuld jedoch später auf einen Programmierfehler. Egal, welcher Version man nun glauben will: Viele KI-Systeme und ganz besonders grosse Sprachmodelle (Large Language Model, LLM) wie ChatGPT passen nicht in die Abläufe, wie sie heute für zuverlässige Softwareentwicklung üblich sind. Entsprechend darf man weder von ihnen selbst noch von Anwendungen, die darauf aufbauen, Zuverlässigkeit erwarten. Ganz besonders nicht nach Änderungen irgendwo im Gesamtsystem, egal wie klein und unbedeutend sie scheint.

EPFL-Professor Marcel Salathé schrieb jüngst auf Linkedin: Grok ist das am wenigsten vertrauenswürdige KI-Modell zu diesem Zeitpunkt. (Wenigstens kann man Musk hier keine Mittelmässigkeit vorwerfen.) Trotzdem hat die US-Regierung gerade einen 200-Millionen-Dollar-Vertrag mit xAI abgeschlossen und das Pentagon will zukünftig Grok nutzen. Ob da wirklich nur die objektiven Qualitäten ausschlaggebend waren, ist nicht bekannt.

Praktisch gleichzeitig dazu hat die Staatsanwaltschaft in Frankreich ein Ermittlungsverfahren gegen X aka Twitter eingeleitet. Der Verdacht lautet auf Manipulation des Plattform-Algorithmus zum Zweck ausländischer Einflussnahme. Auch andernorts gibt es Kritik an Musks Plattform: Die EU-Kommission hat 2023 ein Verfahren gegen ex-Twitter eingeleitet. Themen dort sind Täuschungen und mangelhaftes Vorgehen gegen Desinformation. Übrigens ist letzte Woche auch die X-Chefin gegangen. Es wird gemunkelt, dass sie mit dem mangelnden Handlungsspielraum unter Musk nicht klarkam.

Musk kompakt

Wer noch einmal die wichtigsten Stationen von Musk kritisch (und vor allem satirisch) beleuchtet haben möchte: Die «heute-show Extra» mit Valerie Niehaus vom vergangenen Freitag packt viele seiner Stationen kompakt und unterhaltsam in 30 Minuten zusammen.

Einen McPasswort mit Ketchup und Sicherheitslücke, bitte

Eines der weitverbreitetsten Passwörter ist seit Jahren „123456“ (oder eine Variante davon) und man sollte meinen, dass zumindest in kommerziellen Produkten dieses Passwort nicht mehr vorkommen sollte. Entsprechend überrascht dürften Sicherheitsforscher in den USA gewesen sein, als sie mit genau diesem Passwort und gleichlautendem Benutzer-Name Zugang zur Admin-Konsole eines Bewerbungs-Systems von McDonalds USA erhielten. In den darüber lesbaren Bewerbungs-Chats von mehr als 64 Millionen Bewerber:innen waren nicht nur Namen, Email-Adressen und Telefonnummern enthalten, sondern auch die Ergebnisse eines Persönlichkeitstests, welche jede Bewerber:in absolvieren muss. Im weiteren Verlauf der Analyse fanden sie zusätzlich heraus, dass innerhalb des Systems selbst jegliche Zugriffskontrolle fehlte und die Bewerber-Identifikation Teil der URL war. Damit wäre es jeder Bewerberin möglich gewesen, durch entsprechendes Hoch- und Runterzählen der Bewerber-Identifikation die Daten jedes beliebigen anderen Bewerbers einzusehen.

Da heute praktisch alle grösseren Unternehmen eine Online-Bewerbungslösung betreiben und Papierbewerbungen oft gar nicht mehr beachtet werden (ausser vielleicht beim NDB), bleibt Job-Suchenden nur die Hoffnung, dass andere Unternehmen nicht gleichermassen leichtsinnig mit dem Zugriffsschutz umgehen.

IT-Sicherheit hautnah erleben – von der bösen Seite her

Wer wirklich verstehen will, wie IT-Sicherheit bei kritischer Infrastruktur funktioniert, sollte an einem entsprechenden professionell geleiteten Rollenspiel teilnehmen. Dank Eva Wolfangel geht das jetzt aber auch vom heimischen Sofa aus: Für uns hat sie an einem entsprechenden Rollenspiel teilgenommen und gelernt, ihre böse Seite – ihr «evil bit» – auszuleben. Im Rahmen des Rollenspiels kann sie ihre dunkle Seite rund um Desinformation und Lahmlegen von Kernkraftwerken durch Manipulation von Thermometern mit Internetanschluss voll geniessen. Und hat das in gewohnt eindrücklicher und unterhaltsamer Art für uns aufgeschrieben (💰🧱).

Zumindest den Artikel sollte jeder Entscheidungsträger über IT-Sicherheit oder Desinformation mal gelesen haben.

«Technischer Fehler» bei der Post ist keiner

Die Post verschickte letzte Woche eine Mail mit Blindtext («Lorem ipsum …»), scheinbar an einen Grossteil der ihr bekannten Mailadressen. Diese Mail sah – abgesehen vom Text – auf den ersten Blick nach einem missglückten Phishingversuch aus.

Rund 22 Stunden später löste die Post das Rätsel mit einer Mail, wonach «ein interner technischer Fehler» schuld gewesen sein soll.

Doch: Wenn «die Technik» schuld sein sollte, dann müsste doch irgendein Programm ohne menschliche Anweisung sämtliche Email-Adressen gesammelt und dann selbstständig verschickt haben? Aber wenn «die Technik» das alles eigenmächtig auslösen kann, dann sollte «die Sicherheit» doch bitte rasch diese unautorisierten Handlungen und die Zugriffsrechte von solchen eigenmächtigen Programmen einschränken.

Solche Fähigkeiten einzelner Programme wurden von der Post dementiert, aber ohne weitere Erläuterungen zu liefern. Im Umkehrschluss heisst das wahrscheinlich, dass es menschliches Versagen war (eine Einzelperson hat einen Fehler begangen) und/oder es war organisatorisches Versagen (also die Organisation hat keine ausreichenden Vorkehrungen gegen solche Fehlfunktionen getroffen).

Da nur ein paar harmlose Emails versandt wurden, lohnt sich weiteres Grübeln nicht. Es wäre aber trotzdem hilfreich, wenn die Empfänger:innen eine ehrliche Antwort erhalten hätten, und sei es nur «Sorry, war ein Versehen» oder «Ein Test ist schiefgelaufen». Und nicht erst nach 22 Stunden.

Bei einem sicheren Messenger ist der Server irrelevant

Der Sicherheitsforscher Soatok erklärt, dass das Land, in dem ein sicherer Messenger seinen Sitz habe, kaum Relevanz habe. Falls die Ende-zu-Ende-Verschlüsselung solide umgesetzt ist.

Ein ähnliches Argument kann auch für den Quellcode des Servers geltend gemacht werden: Wenn der Messenger-Client seine Daten sicher verschlüsselt, kann der Server damit auch kaum Unfug anstellen. Welche Daten Threema erhebt und erheben kann, ist auch Thema bei den aktuellen Datenschutz-Plaudereien zwischen Martin Steiger (Rechtsanwalt) und Peter Szabó (Jurist bei Threema).

Wir möchten an dieser Stelle noch hinzufügen, dass diese Annahme nur gilt, falls der Sitzstaat seine Firmen nicht zur Schwächung der Ende-zu-Ende-Verschlüsselung oder der Schwächung des Clients zwingen kann.

Und schliesslich:

• Aufmerksame Leser erinnern sich vielleicht: In 2018 wurden Standort und innere Struktur von geheimen US-Stützpunkten bekannt, da die dort stationierten Soldaten beim Joggen ihre Position in der Online-Plattform Strava registrierten, und Strava eine Weltkarte aller aufgezeichneten Jogging-Strecken veröffentlicht hatte. Letztes Jahr konnte man den Strava-Daten die Bewegungsdaten der Bodyguards diverser Politiker wie Biden oder Macron entnehmen. Und dieses Jahr ist es der schwedische Secret Service, dessen Mitglieder ihre Position allzu bereitwillig mit der Welt teilten. Auch wenn man für sich selbst vielleicht weniger Schutzbedürfnis sieht als im Fall von hochrangigen Politikern: Es gibt im Allgemeinen weder für Bodyguards noch für Private einen Grund, ihre Position laufend mit der ganzen Welt zu teilen.
• KI-generierte Meldungen von angeblichen Sicherheitslücken waren schon Thema bei DNIP. Dort gab es aber wenigstens noch die Erklärung, dass die angeblichen Jäger von Sicherheitslücken auf die Belohnung aus waren, den sogenannten Bug Bounty. Nun melden aber auch andere Open-Source-Entwickler, dass sie unzählige Fehlermeldungen erhalten, die keinen Realitätsbezug haben. Offen bleibt, wieso hier KI aufs automatische Melden von Fehlern angesetzt wird.
• Wer einfach irgendwelche Software herunterlädt und installiert, lebt gefährlich. Das trifft auch auf Browser-Erweiterungen (sog. Extensions) zu. Laut Berichten von Ars Technica seien eine Million Nutzer:innen auf Extensions hereingefallen, welche im Hintergrund unerkannt das Internet im Namen der legitimen Nutzer:innen abgesucht hätten.