DNIP Briefing #66: Was kann schon schiefgehen?

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute u.a. mit verschiedenen Aspekten von „was kann schon schiefgehen“: Patienten, Router, Unterhaltung.

Patientenverwaltung selbstgemacht

Stell‘ dir vor, du gehst als Patient:in zu deiner medizinischen Fachperson und sie schwärmt über die neue Praxissoftware, die so viel benutzerfreundlicher sei als zuvor. Und vor allem günstiger: Keine Lizenzzahlungen für teure Spezialsoftware, sondern nur einmal ein Monatsabo bei einer KI-Codingsoftware gelöst. Mit dem Video ab Youtube sei das ganz einfach gegangen, der KI die richtigen Anweisungen zu geben. Auch seien schon alle Krankengeschichten aller Patienten importiert. Und die KI würde die Gespräche während der Behandlung mithören und zusammenfassen.

Und dann schaut ihr euch an, was die tolle Webapplikation so macht, die da öffentlich im Internet steht. Und ihr stellt fest, dass die Daten ohne echte Zugriffskontrolle (Zugangsschlüssel lag im Klartext im Code der Webseite) und Auftragsdatenverarbeitung auf US-Servern liegen und die ganzen Gespräche im Behandlungszimmer an gleich zwei US-KI-Dienste geschickt wurden.

Wer jetzt denkt, das alles sei unrealistisch: Tobias Brunner hat in der Schweiz vor wenigen Tagen ziemlich genau diese Erfahrung gemacht und ist dabei fast vom Hocker gefallen. Ihr könnt sie auf seinem Blog nachlesen.

Leider ist dies kein Vibe-Coding-Einzel-(Un)-Fall, sondern sowas passiert regelmässiger. Es bedeutet aber auch, dass Vibe-Coding definitiv in der Schweiz angekommen ist. Und auch vor Personen mit Berufsgeheimnissen nicht Halt macht. Also wenn eure Ärztin, euer Treuhänder oder eure Anwältin ohne vorherige IT-Erfahrung plötzlich neue KI-Software haben, seid auf der Hut.

Es kann ein mächtiges Werkzeug sein, richtig eingesetzt. Auch eine Motorsäge kann die Arbeit im Wald deutlich beschleunigen. Aber als Menschheit haben wir inzwischen gelernt, dass man damit nicht unerfahren und ohne Begleitung in den Wald geht und wahllos Bäume umsägt. Hoffe ich.

Router born in the USA

Das FCC ist in den USA die Regulierungsbehörde, was in irgendeiner Form mit Funk und Datenübermittlung zu tun hat. Dazu gehören Radio und TV genauso wie Funkgeräte oder Internet-Router. In einem am 23. März publizierten Entscheid hat die Behörde kommuniziert, dass ab sofort keine nicht in der USA hergestellten Router mehr zugelassen werden. Die Regelung bezieht sich dabei nicht nur auf den Zusammenbau, sondern umfasst die gesamte Herstellungskette insbesondere der Router-Komponenten, welche direkt für die Datenübertragung relevant sind (RAM-Chips müssen zum Beispiel nicht zwingend aus USA stammen). Als Begründung wird auf die nationale Sicherheit verwiesen.

Dieser Entscheid ist aus mehreren Gründen brisant:

• Je nach Lesart verbietet die neue Regelung auch den Software-Update bestehender Modelle, und damit insbesondere auch Security-Updates.
• Per dato gibt es keinen Anbieter in den USA, welcher in den USA Router für Endbenutzer in nennenswerten Stückzahlen herstellt. Netgear zum Beispiel ist zwar ein US-Unternehmen, lässt aber im Fernen Osten fertigen.
• Auch Chip-Hersteller, welche Mobilfunk- und WiFi-Chips in den USA fertigen, sind eher Mangelware.

Ausländische Anbieter können zwar eine Ausnahmebewilligung beantragen, müssen dabei allerdings viele Geschäftsdetails offenlegen. Gemäss den Approval Guidelines müssen sie ausserdem erklären, wieso sie bisher nicht in den USA produzierten, und darüber hinaus einen Plan vorlegen, wie die Produktion in den USA aufgebaut werden soll („A detailed, time-bound plan to establish or expand manufacturing in the United States for the router for which the applicant is seeking Conditional Approval in order for that device to qualify for FCC authorization„). Die Vermutung, dass es schlussendlich mehr um die Umsetzung der MAGA-Politik als um die Erhöhung der nationalen Sicherheit geht, liegt geradezu auf der Hand.

Interessant auch das Timing: Am gleichen Wochenende verkündete auch der MAGA-Meister der Vorankündigungen, Elon Musk, dass er eine Chip-Fabrik in den USA bauen wolle.

Copilot liefert Werbung

Nicht nur ChatGPT blendet seit ein paar Wochen Werbung ein (und erwartet daraus 100 Mio Dollar Einnahmen in 2026), auch Copilot (die KI-„Marke“ von Microsoft) hält sich diesbezüglich nicht mehr zurück. So staunte ein Software-Entwickler vor ein paar Tagen nicht schlecht, dass seine auf Github (einem System zur versionierten Verwaltung von Software-Quellcode) mit Copilot erstellte Change-Beschreibung eine Werbenachricht für ein Drittprodukt enthielt. Wie eine Analyse zeigt, enthalten bereits mehr als 1.5 Millionen solcher Change-Beschreibungen kurze Werbetexte.

Internet-Werbung ist damit auch in einem Bereich angekommen, in welchem sie bisher kaum anzutreffen war: In den web-basierten Tools und Sites zur Software-Entwicklung. Wer sich diesem Trend als EntwicklerIn entziehen will, kann zum Beispiel auf Codeberg wechseln. Dank Migrationstools kann man dabei auch die gesamte Historie von Github mitnehmen.

KI-Unterhaltung

Ob wir es wollen oder nicht, KI-generierte Unterhaltung (und Information) haben in den letzten Jahren unsere Welt verändert. Autor:innen lassen ihre Bücher mit ChatGPT & Co. schreiben oder sich zumindest dabei unterstützen. Unter Umständen nimmt dann der Verlag das Buch aus dem Angebot, falls es zu offensichtlich war (und die Qualitätskontrolle des Verlags schlechter ist als die der Leser:innen).

Schwieriger aber ist es, wenn die Autorin das Buch gar nicht selbst geschrieben hat, sondern irgendjemand es in ihrem Namen hochgeladen hat. Und sie dann Probleme hat, dieses falsche Werk unter ihrem Namen wieder aus den Online-Buchläden zu entfernen.

Genau dieses Problem will Spotify bei Musik nun angehen: Künstler können sich informieren lassen, wenn ein Stück hochgeladen wird, welches unter ihrem Namen erscheinen soll. Und damit – wenn sie sich rechtzeitig für dieses Programm einschreiben – unautorisierte KI-Musikstücke in ihrem Namen verhindern.

Ich vermute aber, dass KI-Musikscammer da neue Ideen finden werden, diesen Schutz zu umgehen. Schliesslich lässt sich damit fast ohne Arbeit Geld verdienen. Und welcher Schwindler will sich denn sein Geschäftsmodell einfach so madig machen?

Übrigens: Tamedia (das Haus hinter Tages-Anzeiger und 23 weiteren) hat gerade angekündigt, dass ihre Journalist:innen die Artikel nicht mehr alleine schreiben werden. Sondern, dass gewisse Artikel ohne menschliches Zutun aus Pressemitteilungen generiert würden und auch bei den anderen Artikeln der KI-Einsatz nicht deklariert würde, «wenn sie zu 95 Prozent den Text geschrieben hätte», wie die KI-Chefin von Tamedia vor kurzem informierte. Ob das dem Vertrauen der Schweizer:innen in den einheimischen Qualitätsjournalismus wirklich förderlich ist?

Kabelaufklärung – nein, danke

Dieser Tage berät die Sicherheitskommission des Nationalrats über die Revision des Nachrichtendienstgesetzes (NDG). Das nimmt die Digitale Gesellschaft zum Anlass, nochmals auf das von ihr erstrittene Urteil vor EGMR und Bundesverwaltungsgericht hinzuweisen. Die DigiGes hat 19 aus dem Urteil herausgearbeitete Mängel analysiert und kommt zum Schluss: „Die Massenüberwachung durch Funk- und Kabelaufklärung kann nicht mit den Grundrechten konform gemacht werden. Diverse Mängel kann der Gesetzgeber schon theoretisch nicht beheben, und bei einer überwiegenden Mehrheit der Mängel scheitert die Behebung in der Praxis.“

Als ein Beispiel wird der Quellenschutz im Journalismus erwähnt; ein wichtiges Werkzeug, mit dem demokratie- und gesellschaftsrelevante Missstände ans Licht gebracht werden können; eine wichtige Grundlage eben für Qualitätsjournalismus. Diese würde vollständig unterlaufen. Die anderen 18 Beispiele sind in der ausführlichen Analyse (PDF) zu finden.

Und schliesslich:

• Die US-Amerikaner:innen versuchen es ein zweites Mal, eine Applikation zu launchen, um die Übergriffe der vermummten Geheimpolizei ICE im Inland zu tracken. Nachdem die App ICEBlock auf Drängen von Trumps Chefanklägerin Bondi aus Apples App Store entfernt wurde, gibt es eine Nachfolgeversion, AntiFreeze, die ohne App Store auskommt und nur Webtechnologien nutzt. Als Backupdomain nutzen sie passenderweise Island (engl. ICEland).
• Nachdem Elon Musk Twitter übernommen, das Team entliess, dass Hassrede etc. moderieren sollte und sogar gebannte Personen wieder auf die Plattform einlud, begannen Werber sich zurückzuziehen, weil sie Angst um ihren Ruf hatten. Eine US-Bezirksrichterin hat nun entschieden, dass dieser gemeinsame Schritt nicht gegen das Kartellrecht verstosse. Denn er sei nicht zum Nachteil der Kund:innen erfolgt. Und im Übrigen sähe es so aus, dass Musk mittels der Discovery-Phase vor den Verhandlungen vor allem an Geschäftsinterna der beklagten Firmen gelangen wollte.
• In der EU wurde die Verlängerung der „temporären“ Chatkontrolle äusserst knapp mit 307 zu 306 Stimmen blockiert. Dass dies auch die Privatsphäre von Schweizerinnen und Schweizern betroffen hätte, haben wir schon mehrfach angesprochen.
• Russland schränkt den Internetzugang immer weiter ein. Und verbietet Proteste mit kafkaesken Begründungen. Beispielsweise dass an den gewünschten Demoterminen alle dafür geeigneten Plätze in der Stadt gleichzeitig grundgereinigt werden müssten und damit „leider“ nicht für Versammlungen zur Verfügung stehen würden.
• Netflix will alle Synchronsprecher dazu zwingen, ihre Rechte an ihrer Stimme kostenlos abzugeben. Damit Netflix zukünftig ihre Produktionen auch ohne die Synchronsprecher übersetzen könne.
• Apple wird morgen 50 Jahre alt. Ein wichtiger Schritt auf dem Weg zum Mac und Apples Erfolgen danach war der Besuch beim Xerox PARC, dem Forschungszentrum, das damals an grafischen Benutzeroberflächen forschte. Michael Hiltzik erzählt diesen wegweisenden Besuch aus 1979 spannend nach.

Zitat der Woche

Let’s really hope the bubble bursts soonest. Because when the money goes away, so will a lot of the shitty people.

schreibt der kanadische Software-Entwickler Tim Bray in seinem neusten „Long Links“-Blogpost. Mit der Blase ist (was wohl kaum überraschend sein dürfte) der aktuelle KI-Hype gemeint.