DNIP Briefing #72: Künstlich gut, künstlich schlecht

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute u. a. mit Abschieden von Twitter, Ende-zu-Ende-Verschlüsselung und Privatsphäre.

Wer misst, misst oft Mist

Wohl alle welche in einem Unternehmen mittlerer oder grösserer Grösse arbeiten, kennen den Begriff „KPI“ (Key Performance Indicator). Damit werden Messkriterien bezeichnet, an welchen die Mitarbeiter (und inbesondere auch die Manager gemessen werden). Klassische Beispiele sind Dinge wie Eigenkapitalrendite oder (zum Beispiel bei Webseiten) die Zahl der Besucher, welche mehr als eine Seite anschauen. Viele dieser KPIs haben aber das Problem, dass die damit gemessenen Mitarbeiter bewusst oder unbewusst ihr Verhalten ändern, um einen möglichst guten Wert zu erhalten. Wer Hotline-Mitarbeiter daran misst, wieviele Service-Anrufe sie selbst lösen können, muss sich nicht wundern, wenn diese anschliessend Service-Anrufe auch dann als gelöst markieren wenn das Kundenproblem nicht wirklich gelöst ist.

Im Zeitalter des KI-Hypes in Unternehmen ist es nicht mehr als naheliegend, dass die KI-Nutzung der Mitarbeitenden gemessen wird. Damit sollen diese dazu motiviert werden, möglich oft KI während ihrer täglichen Arbeit zu nutzen. Wie die Financial Times (Archive.is-Link, Ars Technica hat ebenfalls berichtet) jetzt in Bezug auf Amazon berichtet, verwenden Mitarbeiter KI-Tools auch zur Automatisierung von eigentlich irrelevanten oder nebensächlichen Tätigkeiten. Dabei ist ein allfälliger Mehrwert durch KI nicht vorhanden, eine Automatisierung hilft aber dabei, den eigenen KPI (d.h. die eigene KI-Nutzung) in einem besseren Licht dastehen zu lassen.

Amazon dürfte mit einem solchen KPI nicht alleine sein, und man kann davon ausgehen, dass sich auch Mitarbeitende anderer Unternehmen ähnlich opportunistisch verhalten. Es lohnt sich, dies im Hinterkopf zu behalten, wenn sich (auch schweizerische) Unternehmen gegenseitig mit der hohen Zahl von „KI-Nutzung“ überbieten wollen.

Verfehlte KI-Kritik

In einer Art umgekehrtem Turing-Test hat jemand vor einigen Tagen ein Bild auf X/Twitter gepostet, welches angeblich von einer KI im Stil des Künstlers Claude Monet generiert worden war.

Die Follower wurden aufgefordert, im Detail zu beschreiben, was genau dieses Bild zu einer schlechten Version echter Monet-Bilder macht.

Das Feedback war zahlreich, teilweise umfangreich und sich grundsätzlich einig: Dem gezeigten Bild fehlte es an Tiefe und Kontrast, es wirkte nicht lebendig und eine Bild-Komposition (Gestaltung welche das Auge der Betrachtenden leitet) wurde vermisst. Ein Kommentator gab an, dass es bei ihm im Gegensatz zu via Google auffindbaren Monet-Originalen keine Emotionen auslöse und schlicht ein farbiges Hintergrund-Bild sei.

Der Clou am Ganzen? Beim verwendeten Bild handelte es sich effektiv um ein Gemälde von Monet (und eben nicht um ein KI-Produkt).

Dass als von KI wahrgenommene Bilder als „schlechter“ bewertet werden als von Menschen geschaffene Werke ist wissenschaftlich bereits belegt (Understanding how personality traits, experiences, and attitudes shape negative bias toward AI-generated artworks). Ein ähnlicher Effekt tritt auch auf, wenn man Menschen erklärt, dass ein Werk besonders aufwändig zu erstellen war: Solche Werke werden typischerweise als „besser“ wahrgenommen beschrieben als vergleichbare Werke ohne eine entsprechende Einordung (ein Effekt, der nebenbei bemerkt auch in der Produktwerbung zum Einsatz kommt).

Es geht uns an die Kabel

Unter dem Druck der USA hat Iran seine Schlüsselposition an der Strasse von Hormus so richtig erkannt und beginnt sie jetzt auszunutzen. Neben Durchfahrtszöllen für Schiffe sind seit letzter Woche auch Gebühren für Untersee-Glasfaserkabel im Gespräch. Die Iranische Militärführung hat das auf Ex-Twitter die Forderung nach Vergütung für die Glasfaserkabel geäussert („We will impose fees on internet cables.“). Laut CNN doppelte der Iran in eigenen Medienberichten nach, die Besitzer dieser Kabel (u.a. Google, Microsoft, Meta und Amazon) müssten sich auch an iranische Gesetze halten. Was das genau bedeutet, ist unklar.

In der Strasse von Hormus liegen laut Submarine Cable Map 9 Glasfaserkabel, davon zwei Schleifenpaare. Die dortigen Kabel sind nicht nur für die genannten Grosskonzerne wichtig, sie sind auch für die Internetversorgung vieler Golf-Anrainerstaaten essenziell. Ob diese iranischen Nachbarländer den steigenden Machtanspruch der Iraner so einfach hinnehmen werden, sei dahin gestellt.

Auf alle Fälle hat der Iran Erfahrung im Unterbruch der Internetversorgung für die eigenen Bevölkerung, die inzwischen über 80 Tage andauert. (Die Mechanismen hinter Internetsperren, auch im Iran, hat Lea Schönberger bei uns vor vier Wochen sehr plastisch erklärt.)

Keine Souveränität in fremden Datenzentren

In einem ausführlichen Report geht The Register der Frage nach, ob wir US-amerikanischen Prozessoren überhaupt vertrauen könnten. So würden die Chips von Intel und AMD, die in den meisten Servern verbaut würden, Komponenten beinhalten, welche nicht unter der Kontrolle des Betriebssystems seien und trotzdem auf alle Systemkomponenten zugreifen könnten, inklusive dem gesamten Speicher und des Internetanschlusses.

Diese Komponenten sind nicht eigentlich geheim, sie dienen der legitimen Fernwartung von Servern. Bei Intel heissen sie Management Engine und ist Teil der Active Management Technology; bei AMD heisst das System PSP. Doch sie wurden beispielsweise schon zur Daten-Exfiltration genutzt oder auch als Angriffspunkt, da ihre Netzanbindung oft nicht ausreichend geschützt ist. Standardmässig sind solche Geräte mit dem Nutzernamen „admin“ und keinem Passwort aus der Ferne vollständig fernsteuerbar, wenn die Funktion an ist.

Doch da sich diese Managementsoftware vollständig dem Zugriff des Betriebssystems und des Nutzers entzieht, ist nicht klar, was die Software sonst noch kann. Insbesondere, da ein US-Gesetz (RISAA) diese Hersteller von Prozessoren als „Anbieter von elektronischen Kommunikationsdiensten“ geheimen Regierungsanweisungen unterstelle.

So solle man, empfiehlt The Register in seinem Report, auf alle Fälle die Kommunikationskanäle des Prozessors spätestens an der Firewall explizit blockieren. Da man das aber nur könne, wenn die Netzwerkinfrastruktur unter eigener Kontrolle sei, seien Prozessoren in fremden Datenzentren grundsätzlich zuerst einmal als nicht vertrauenswürdig anzusehen. Und damit die Dienste, die darauf laufen, als nicht souverän.

Auch wenn der Bericht einige Fragen aufwirft, sollten diese Überlegungen in die Risikobetrachtungen einer Firma einfliessen, die Clouddienste nutzen will. Ganz besonders, falls ein Datenabfluss in die USA (oder zu anderen staatlichen Akteuren oder Cyberkriminellen, die sich in die Datenzentren einhacken könnten) vermieden werden sollte.

Die Fehler bei den KI-Fehlermeldungen

Euch ist es vielleicht aufgefallen: Es werden mehr Sicherheitslücken gefunden als früher. Die Listen von gefixten Bugs bei Softwareupdates werden länger und die Frequenz steigt, mit der man auch mal sehr kurzfristig („gestern“) kritische Sicherheitsupdates einspielen muss.

Generell wird das den Fähigkeiten der KI-Tools zugeschrieben. Aber oft hängt es auch an der Unfähigkeit der Personen.

Doch der Reihe nach.

Mythische Fähigkeiten werden Antropics neuester Variante ihres Claude-LLMs zugeschrieben; passend dazu wurde es „Mythos“ benannt. So soll das Modell, das noch nicht öffentlich verfügbar ist, deutlich mehr Sicherheitslücken finden können, wie Anthropic selbst in einem Blogpost Anfang April schrieb. Das AI Security Institute (AISI) der britischen Regierung, das Vorabzugriff auf Mythos hat, hat das bestätigt. Das AISI hat eine Simulation eines Firmennetzwerks erstellt, in dem man sich über 32 Angriffsschritte zum Ziel vortasten muss. Innerhalb einer vorgegebenen Rechenzeit schaffte es diese Mythos-Vorabversion, im Durchschnitt fast 50 % weiterzukommen als der Zweitplatzierte, seine Vorgängerversion Opus 4.6. In einzelnen Versuchen schaffte Mythos es sogar bis ins Ziel.

Ein gefährliches Werkzeug, das nicht in die Hände von Cyberkriminellen gelangen sollte, so die Schlussfolgerung von Anthropic. Dies der Grund, wieso Mythos (noch) nicht an die Öffentlichkeit dürfe.

Davi Ottenheimer hat die Berichte ganz gelesen und kommt zu einer ganz anderen Schlussfolgerung: Vieles sei aufgebauscht. So seien – laut Angaben von Anthropic selbst und unterstützt durch Aussagen von Mozilla – die eigentlichen Fehler alle schon vorher bekannt gewesen. Mythos sei nicht besser beim Finden der Fehler, sondern nur beim Missbrauch dieser schon bekannten Lücken. Und die tollen Erfolgsquoten seien vor allem zwei Sicherheitslücken zu verdanken, die immer wieder ausgenutzt wurden und so die Erfolgsquote von unter 5 auf über 70 % ansteigen liess.

Dass Fehlersuche auch mit KI nicht so einfach ist, wie sich das die Verantwortlichen bei Anthropic vorstellen, zeigte der Hackerwettbewerb Pwn2Own, der letzte Woche in Berlin stattfand. Dabei hatten Teams aus der ganzen Welt verschiedene IT-Systeme angegriffen, die von ihren Herstellern für diesen Zweck zur Verfügung gestellt wurden. Und dabei mehrfach Anthropic-Produkte erfolgreich gehackt.

Ob Mythos wirklich so mythisch ist, wird sich in den nächsten Monaten zeigen. Aber unabhängig von Mythos gilt es, sich und die eigene IT-Infrastruktur vorzubereiten. Denn die Cyberkriminellen – mit oder ohne KI – schlafen nicht. Im Gegenteil.

Neben Cyberkriminellen machen aber auch Neulinge im IT-Sicherheitsbusiness das Leben schwer. Indem sie nämlich Sicherheitslücken melden, die gar keine sind oder Sicherheitslücken veröffentlichen, bevor sie behoben sind (DNIP berichtete). Davon hat es inzwischen auch Linus Torvalds, dem Vater von Linux, die Hutschnur geplatzt: Die Mailingliste rund um Linux-Sicherheit sei wegen dieser selbsternannten KI-Bug-Jäger inzwischen so gut wie unbrauchbar geworden. Sie sollen doch bitte zumindest überprüfen, ob das Problem nicht schon behoben sei. Und wenn, dann bitte auch gleich konstruktiv an der Fehlerbehebung mitarbeiten.

Also lieben Leute: Wenn ihr KI nutzt, solltet ihr trotzdem wissen, was ihr tut. Die Verantwortung liegt bei euch.

Und schliesslich:

• Wer sich auf die Schnelle einen Überblick darüber verschaffen will, wie stark die eigene IT-Nutzung USA-lastig ist, kann dies mit Tech Origin tun. Aus Schweizer Sicht natürlich erfreulich, dass auch Produkte wie Threema und Twint aufgeführt sind (und letzteres mithilft, im stark US-lastigen Online-Zahlungs-Bereich zumindest ein kleines Gegengewicht zu bilden). Und wie ist euer Score so?
• Eine nicht ernst-gemeinte Wikipedia-Alternative setzt voll auf KI: Bei Halupedia werden sämtliche Inhalte von KI generiert, typischerweise erst im Moment des erstmaligen Aufrufs des entsprechenden Themas. Wie der Autor selbst auf Reddit schreibt, handelt es sich sprichwörtlich um eine Bieridee („Long story short: Was drunk with my friend and we built halupedia.“). Spannend zu lesen ist, wie versucht wird, in der Fantasiewelt von Halupedia Widersprüche zu vermeiden.
• Der wissenschaftliche Dienst des europäisichen Parlaments hat eine Studie über Jugendschutz und Altersverifikation verfasst. Eine der Erkenntnisse: „Wer Kinder ausschließen will, muss Anonymität verbieten„, wie Netzpolitik.org berichtet. Und natürlich freuen sich auch die Techkonzerne über die zusätzlichen Daten aus der Verifikation.
• Es gibt viele Gründe gegen die sog. „Nachhaltigkeits“-Initiative. Sie würde aber vor allem auch an den Grund- und Menschenrechten rütteln und direkt und indirekt zu mehr Überwachung führen, wie die Digitale Gesellschaft ausführt. U.a., weil die SVP-Initiative de facto (neben vielen anderem auch) die baldige Kündigung der Europäischen Menschenrechtskonvention (EMRK) fordert, welche oft der letzte Schutzschild gegen unverhältnismässige Übergriffe durch Behórden darstellt.
• Zumindest in Deutschland gelten jetzt für die Nutzung von Gesichtserkennung als Basis zur Haftbefehle von mutmasslichen Straftätern Mindeststandards. So müssten zuerst einmal (u.a.) die Fehlerraten der eingesetzten Systeme nachvollziehbar dokumentiert sein, fordert das Amtsgericht Reutlingen in der Nähe von Stuttgart. Also eigentlich das, was bei „klassischen“ Beweismittelverfahren wie Fingerabdrücken und DNA-Abgleichen als Standard gilt. Denn je nach Beleuchtung, Hautfarbe des Täters und vieler anderen Rahmenbedingungen kann Gesichtserkennungssoftware sehr vorurteils- und fehlerbehaftet sein. Hoffentlich werden auch in der Schweiz solche grundlegenden wissenschaftlichen Standards angewendet.
• Elon Musks KI-Firma xAI hat ihre offizielle Kontaktadresse für die Schweiz und Europa in Estland. Doch an der Adresse ist eigentlich nichts und sie ändert sich, wenn man das merkt, wie Follow The Money nachvollzogen hat (Paywall).
• Die Geschäftsprüfungsstelle der kanadischen Provinz Ontario („Office of the Auditor General of Ontario“) hat die KI-Nutzung der Provinzverwaltung unter die Lupe genommen (PDF). Dabei hat sie u.a. gefunden, dass viele unsichere KI-Webseiten genutzt wurden und die dort eingegebenen Daten jetzt möglicherweise missbraucht werden könnten. Und die KI-Software, mit der medizinische Protokolle erfasst werden soll, hätte fehlerhafte oder fehlende Informationen erfasst oder einfach halluziniert. Beides Probleme, denen wir uns auch bewusst sein sollten und sie vermeiden sollten.