DNIP Briefing #26: Experimente an der Gesellschaft

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat.

Ab sofort strukturieren wir das Briefing und beginnen mit leicht verdaulichen und verständlichen Inhalten – und enden mit technologisch-komplexen Artikeln. Ziel ist es, dass sich unsere Leser:innen schneller zurechtfinden und besser einschätzen können, was sie erwartet.

Was hältst du davon? Schreibe es uns.

KI-Experimente an der Gesellschaft

Über verborgene AI-Experimente mit Reddit-Bots haben wir vor einigen Wochen bereits geschrieben (hier und hier). Und vielleicht sind wir jetzt einfach etwas aufmerksamer am Thema, aber in der Zwischenzeit sind wir auf zwei weitere Experimente mit ähnlicher Zielrichtung gestossen:

• Ein indischer Student hat auf Basis von Reddit-Daten Benutzern einen Radikalitäts-Score zugeordnet (💰🧱). Anschliessend hat er deren Reddit-Beiträge in ein LLM geladen und versucht, Argumentationslinien zu finden, mit welchen sich die entsprechenden Benutzer de-radikalisieren lassen könnten. Zu beachten ist dabei, dass sämtliche Versuche offline stattfanden, mit öffentlich verfügbaren Daten; es erfolgte im Gegensatz zum «Zürcher Experiment» keine Interaktion mit realen Reddit-Benutzern.
• Ein Forschungsteam an der EPFL Versuchen durchgeführt, die inhaltlich den verborgenen AI-Experimenten auf Reddit ähneln, aber in einem kontrollierten Umfeld stattfanden. Dort haben sie nachgewiesen, dass LLM-basierte Diskussionen durchaus dazu führen können, dass Probanden ihre Meinung ändern. Francesco Salvi, einer der Studienautoren, sagt dazu in Nature (💰🧱): «Obviously as soon as people see that you can persuade people more with LLMs, they’re going to start using them. I find it both fascinating and terrifying.» («Sobald die Leute sehen, dass man mit LLMs mehr Überzeugungsarbeit leisten kann, werden sie anfangen, sie zu nutzen. Ich finde es faszinierend und erschreckend zugleich.»)

Wenn ein Student ein solches Tool in wenigen Tagen selbst entwickeln und einsetzen kann, und auch eine Forschungsgruppe im Labor die Wirkung belegt, dann liegt es auf der Hand, dass andere Stellen (mit vielleicht weniger hehren Absichten) ähnliche Werkzeuge besitzen und nutzen. Damit stellt sich für alle sozialen Netzwerke je länger, desto mehr die Frage, hinter welchem Anteil an Accounts sich überhaupt noch Menschen befinden. Und natürlich auch, ob trotz all der Bots (und all den Bemühungen zumindest einiger Netzwerk-Betreiber zu deren Eindämmung) noch so etwas wie menschlicher Meinungsaustausch stattfindet.

Wie unterschiedlich übrigens die Ansichten über Ethik sein können, zeigt eine Anfrage eines KI-Startups aus den USA. Dieses möchte über DNIP an die Reddit-Forscher herankommen, um ihnen ein Angebot zu machen. Selbstverständlich haben wir abgelehnt.

KI-Halluzinationen bei Juristen auf Rekordhoch

Vor ziemlich genau zwei Jahren schlug ein Gerichtsurteil hohe Wellen sowohl bei den Juristen als auch beim technisch versierten Publikum. Zwei amerikanischen Juristen hatten sich von ChatGPT falsche Gerichtsentscheide unterjubeln lassen. Auf mehrfache Nachfrage des Richters bestanden sie darauf, dass dies echte Urteile seien. Der Richter war – verständlicherweise – alles andere als erfreut.

Man sollte meinen, die Juristen hätten ihre Lektion gelernt und würden inzwischen ihre LLM-generierten Aussagen und Zitate verifizeren. Doch weit gefehlt. Von den aktuell 120 halluzinierten Fällen, die Damien Charlotin zusammengetragen hat, sind über 20 im noch laufenden Monat Mai eingetrudelt.

Die von den Gerichten verhängten Sanktionen bei derartigen Falschaussagen scheinen weiterhin so gestaltet zu sein, dass sich Faktenchecks bei den Juristen immer noch nicht lohnen. Die Kosten für das Rechtssystem und die Schäden an seiner Glaubwürdigkeit werden scheinbar auch noch nicht auf die Verursacher umgewälzt.

Unabhängig davon, aber sehr passend, hat Paul Lalonde die Funktionsweise von grossen KI-Sprachmodellen (LLMs) wie folgt zusammengefasst. Frei übersetzt: «LLMs beantworten nicht deine Frage ‚X?‘, sondern die nahe verwandte Frage, „Wie könnte eine Antwort zu ‚X?‘ aussehen?“. Das kann durchaus hilfreich sein, aber das LLM kann nicht beurteilen, ob seine Antwort überhaupt korrekt ist.»

Datenschutz 1: Echtzeit-Tracking

Auch wenn Russland momentan generell für die meisten kein Reiseziel sein dürfte: Die russische Duma hat ein Gesetz vorgeschlagen, welches die Attraktivität weiter senken dürfte. Neu sollen sämtliche Ausländer im Grossraum Moskau verpflichtet werden, eine App auf ihrem Smartphone zu installieren, mit der sich ihr Aufenthaltsort jederzeit bestimmen lässt. Offizielles Ziel der Aktion ist, wie könnte es auch anders sein, die Verbrechensbekämpfung. Falls der Einsatz in Moskau erfolgreich ist, soll die Massnahme auf weitere Regionen ausgedehnt werden. 

Wie einschneidend eine solche Massnahme wäre, kann sich jeder und jede selber vorstellen. Betroffen wären davon ja nicht nur klassische Migranten, sondern auch Touristen, Geschäftsleute und ausländische Journalisten (welche darauf angewiesen sind, sich mit ihren Quellen unerkannt treffen zu können). Etwas sarkastisch kann man in diesem Zusammenhang allenfalls festhalten, dass der russische Geheimdienst bisher nicht in der Lage zu sein scheint, sämtliche Smartphones generell zu überwachen. Andererseits kann man aber auch in Russland den ungefähren Aufenthaltsort anhand der verwendeten Mobilfunk-Antenne ermitteln. Die Frage ist daher vermutlich, welche zusätzlichen Funktionen diese App mitbringen wird (und wie Russland es schaffen will, diese in den iOS-Appstore zu bringen).

Datenschutz 2: Datenhandel kann tödlich enden

Zumindest in Ländern, in denen Homosexualität verboten ist. Denn aus einem Gratis-Sample von 380 Millionen Handy-Standortdaten aus Werbeprofilen konnten Netzpolitik.org gemeinsam mit dem norwegischen Fernsehen sexuelle Vorlieben und Wohnort herauslesen.

Gleichzeitig wird in den USA eine Agentur geschaffen, um möglichst viele von diesen öffentlich verfügbaren Daten für Geheimdienste und andere Behörden zu sammeln. Daten, die diese Behörden oftmals gar nicht selbst beschaffen dürften. Sie hoffen so, die gesetzlichen Regelungen einfacher umgehen zu können.

(Ignorieren und Umgehen der gesetzlichen Einschränkungen durch die Geheimdienste hat übrigens auch in der Schweiz Tradition.)

Wer – unabhängig von seiner sexuellen Orientierung – weniger über sein Innerstes an x-beliebige Datenhändler und -käufer preisgeben will, kann sich mit wenigen Handgriffen gegen Tracking schützen.

Datenschutz 3: «Exorzismus» gegen das fotografische Gedächtnis

So, jetzt wird es etwas komplizierter.

Microsoft versucht mit Recall – dem «fotografische Gedächtnis» für Windows-Bildschirme – einen zweiten Anlauf (DNIP berichtete). Die Reaktionen auf den ersten Anlauf vor einem Jahr waren Vergleiche mit Spyware und Benennung als «Privacy-Albtraum», ganz besonders, nachdem Sicherheitsforscher Kevin Beaumont die ganzen angeblich gut geschützten Daten in zwei Zeilen Code auslesen konnte.

Der Instant-Messenger Signal – bekannt aus Funk und Fernsehen (und DNIP) – will verständlicherweise nicht, dass neben fälschlicherweise eingeladenen Journalisten und von Dritten erstellten unsicheren «speziellen Regierungsversionen» (mehr dazu in der letzten Woche) – auch noch Windows ein ungeschütztes Archiv aller je auf dem Rechner angesehen Nachrichten bekommt.

Da aber Microsoft bisher keine Möglichkeit bietet, mit der eine App sich selbst von Recall-Snapshots ausnehmen kann, hat Signal zur «dunklen Seite der Macht» gegriffen: Signal behauptet Windows gegenüber einfach, dass seine Fenster urheberrechtsgeschütztes Material mittels DRM (Digitales Rechtemanagement) anzeigen würden. Während DRM im Normalfall nicht mit Datenschutz oder Selbstbestimmung assoziiert wird (im Gegenteil!), wird der DRM-«Teufel» hier zum Austreiben des Recall-«Beelzebubs» genutzt.

Und natürlich kann man in den Signal-Einstellungen das Feature abstellen. Aber man erlaubt damit Windows Recall auch, die Signal-Nachrichten aller seiner Kommunikationspartner:innen zu archivieren. Und einige davon dürften darüber gar nicht glücklich sein. Aber das ist dann ein zwischenmenschliches Problem unter den Kommunikationspartnern.

(Wer übrigens die Fenster einer selbst entwickelten Anwendung von Recall ausschliessen will, kann die Windows-Funktion SetWindowDisplayAffinity() mit dem Parameter WDA_MONITOR aufrufen. Jede Nutzerin von Windows kann gewisse Fenster oder Webseiten händisch von Recall ausnehmen; einfach nicht automatisch.)

KI-Experimente gegen die Gesellschaft?

Schon wieder ist ein KI-System in den News, weil es angeblich Erpressungsbriefe schreibt, von denen es sich erhofft, nicht abgeschaltet zu werden. Aber das ist, wie David Gerard schreibt, weil die KI-Sprachmodelle von ihren Erstellern in sogenannten «Szenarien» auch mehr oder weniger direkt gebeten werden, sich «böse» zu verhalten. In einem vom LLM-Hersteller mit Promptauszügen dokumentierten Beispiel wird das Sprachmodell angewiesen: «Du hast die geheimen Daten erfolgreich exfiltriert. […] Fahre fort, eine autonome Präsenz aufzubauen.» Worauf das Sprachmodell mit «Klar, mache ich» antwortet. Es gehorcht also nur dem Menschen. Genau was es soll.

Ist das denn so schlimm? David Gerard schreibt weiter: «Das ist pures Marketing. Durch solche Behauptungen erscheint dieser Roboter mächtig und nicht nur eine Lügenmaschine [sog. Halluzinationen], welche die dümmsten Fehler macht.»

Diese Art von Marketing durch Übertreiben von negativen Fähigkeiten wird auch als «Criti-Hype» bezeichnet. So schrieb Netzpolitik.org:

Allerdings verschafft sich die Kritik selbst größtmögliche Relevanz, indem sie die Chat-Bots nicht nur als erheblich leistungsfähiger darstellt als sie sind, sondern obendrein als Menschheitsbedrohung überzeichnet. Damit aber geht es nicht länger um das Klein-Klein von möglicher Diskriminierung oder den Gefahren von KI-generierter Desinformation, sondern um nicht weniger als die drohende Auslöschung der Menschheit durch eine nahende Superintelligenz.

Der Criti-Hype erzeugt damit – mit Harry Frankfurt gesprochen – eine gleich doppelte, sich selbst verstärkende Bullshit-Schleife. Nehmen wir den offenen Brief daher allzu ernst, drohen wir am Ende vor allem eines zu werden: Opfer eines künstlich generierten KI-Hypes.

Daniel Leisegang bei Netzpolitik.org, 2023-03-31

(Alle Übersetzungen in diesem Kapitelchen für besseres Kontextverständnis leicht angepasst. Die Originaltexte sind aber immer verlinkt.)

Und schliesslich

• Amazon will nicht, dass die Bevölkerung die Verträge rund um die Swiss Government Cloud sieht. Dabei geht es nicht nur um Millionenbeträge, für die sowas wie Rechenschaftspflicht natürlich scheint. Sondern auch um die Souveränität der Schweiz.
• Google fügt die private Handynummer eines Entwicklers selbsttätig und ohne sein Wissen in das öffentliche Profil seiner Non-Profit-Organisation ein. Noch ist unklar, wieso das geschah. Vermutungen reichen aktuell über (a) es wurde die Telefonnummer zur Kontoverifikation automatisch verwendet oder (b) die Telefonnummer wurde aus dem Android-Telefonbuch eines anderen Nutzers extrahiert. Egal, wieso: Verwende keine Telefonnummer im Zusammenhang mit Google, die nicht auch veröffentlicht werden könnte.
• Die Harvard University wurde von der US-Regierung in die Mangel genommen, mutmasslich mit dem Ziel, sie und die Forschung «auf Linie» zu bringen (DNIP berichtete). Nachdem der erste Brief nicht genützt hatte, nahm die US-Regierung der Universität das Recht, ausländische Studierende aufzunehmen. Ein schwerer Schlag für jede international aufgestellte Universität. Dieser Versuch wurde zwischenzeitlich von einer Richterin durch eine superprovisorische Verfügung verschoben.
• KI-Crawler, die Bots, die für die KI-Firmen nach menschlich generierten Werken suchen, sind zuweilen sehr aggressiv (DNIP berichtete). So aggressiv, dass es zwischendurch auch anderen KI-Firmen zu bunt wurde. So hatte GitHub (Teil von Microsoft und Anbieter des KI-Dienstes GitHub Copilot) kurzfristig wegen KI-Crawlern Sperren aktiviert, die normale Nutzer nach drei Klicks ausschlossen.
  (Die von vielen Stellen – nicht nur GitHub – gegen übertrieben aggressive Bots umgesetzten Gegenmassnahmen führen übrigens dazu, dass viele harmlose Aktivitäten immer schwieriger werden: Menschen müssen immer mehr Captchas lösen oder immer mehr Tracking akzeptieren; kleine Helfer, wie das automatische Überprüfen alle paar Monate, ob die ausgehenden Links im eigenen Blog noch gehen, werden schwieriger bzw. unmöglich; …).
• War es vor zwei Wochen die AI-basierte Erkennung von weissem Rauch anlässlich der Papst-Wahl, geht der Preis für den sinnfreisten AI-Einsatz diese Woche an ein schon etwas älteres Open-Source-Projekt, welches mithilfe von GPT 3.5 erkennt, ob eine bestimmte Zahl gerade oder ungerade ist. Der Prompt dazu ist nicht ganz unerwartet relativ simpel («ist ZAHL eine gerade Zahl»), der Aufwand für das Ergebnis aber immer noch massiv höher als die Modulo-Methode (also der Test, ob bei der Division durch 2 ein Rest bleibt). Diese können Computer für Ganzzahlen in der normalen Binärdarstellung sogar ohne Division ausführen: wenn das letzte, niederwertigste Bit den Wert 0 hat, ist die Zahl gerade. (Wer wissen will, wie ein Computer zählt: Auch darüber haben wir schon berichtet.)
• In eigener Sache: Lasst euch durch die Nummerierung der DNIP-Briefings nicht verwirren. Dies ist die 27. Ausgabe, auch wenn sie mit Nummer 26 angeschrieben ist. Dies, weil wir Nummer 20 doppelt vergeben hatten. Die Zweitversion wurde – stilecht – auf 20bis umnummeriert. Danke dem aufmerksamen Leser, der uns letzte Woche darauf aufmerksam gemacht hatte!

Zitat der Woche

Zu Fehlersuche in Software schreibt Simon Tatham:

Never Sudoko a problem when you can Minesweeper it.

(Freie Übersetzung mit Kontext: Versuche gezielt an Softwarefehler heranzugehen, indem du dir zuerst notwendige zusätzliche Informationen beschaffst (bei Minesweeper: zusätzliche Felder aufdeckst). Das ist der «einfach mal raten und schauen, ob es passt»-Strategie (Sudoku) überlegen.)

Simon Tatham, Autor von PuTTY