DNIP-Briefing #80: Versuchs-KI-nchen

Die Redaktion präsentiert jeden Dienstag die Geschichten, die sie bewegt, aufgerüttelt oder zum Nachdenken angeregt hat. Heute u. a. mit KI in der Schule, Überwachungsstaat in der UK und diversen Links zum Stöbern während man am Strand liegt.

Schüler:innen als Versuchskaninchen

Die NZZ berichtete am Sonntag unter dem Titel „«Ich kann in die Köpfe der Schüler schauen»: Wie die KI zu einer radikalen Transparenz in unseren Schulen führt“ (Soft-Paywall) darüber, dass sich gewisse Schulen darin überbieten, möglichst viel KI einzusetzen. Die eingesetzten KI-Applikationen beantworten nicht nur Fragen zum Stoff (mit regelmässigen Warnhinweisen «könnte fehlerhaft sein») und prüft das Wissen mittels Verständnisfragen, sie sammeln und speichern auch detaillierte Verhaltensdaten über die SuS (Schülerinnen und Schüler).

Auch wenn es erstaunlich ist, wie weit der technologische Fortschritt gediehen ist, der Artikel und die Experimente in den Schulklassen werfen viele Fragen auf.

• Korrektheit: Wie gehen die SuS mit Fehlern um? Blenden sie die regelmässigen Warnhinweise irgendwann einfach mal mental aus („Alarm fatigue„)? Wie wird das kollektive Wissen der Schulklasse ersetzt, mit dem bis anhin ungewöhnliche Aussagen im Klassenzimmer hinterfragt wurden, um Fehler zu vermeiden?
• Vertrauen: Wie werden die Vorurteile in den Trainingsdaten kompensiert? (So könnten durchaus ultrareligiöse, kreationistische Ideen in den Trainingsdaten im Biologieunterricht zu Bias-Problemen führen.) Kann man überhaupt Vertrauen in KI-Output von kommerziellen Firmen haben (eine Frage, die sich Sicherheits- und Vertrauensexperte Bruce Schneier schon stellte)?
• Individualität: Wie wird sich der Wert von freiem Lernen entwickkeln? Wird die Individualität der Menschen durch KI-Mittelmass-Enheitsbrei nicht verwässert? Wird dadurch Konformität statt Kreativität gefördert? (Bekanntermassen haben grosse KI-Sprachmodelle wie ChatGPT & Co. die Tendenz, die Nutzerinnen zu häufig zu bestätigen; mit bekannten Risiken und drogen-ähnlichen Effekten.)
• Fehlerkultur: Wie wirkt sich das auf die Fehlerkultur aus? Werden SuS noch eigene Fehler machen können und aus dieser tiefergreifenden Lernerfahrung profitieren können? Werden sie noch mit Fragen ihrer Kolleg:innen konfrontiert, auf die sie selbst nicht kamen?
• Verinnerlichung: Vieles wird erst wirklich verinnerlicht, wenn man sich mal intensiv damit beschäftigt hat, z. B. versucht hat, das Thema jemand anders zu erklären oder es in eigenen Worten aufzuschreiben. Was geschieht mit diesen Lernprozessen?
• Beziehungen: Eltern, Schüler:innen und Lehrer warnten während Corona, dass der Wegfall des Präsenzunterrichts den Zusammenhalt in der Klasse und die Entwicklung der Kinder und Jugendlichen gefährden würde. Nun wird aber die Interaktion weitgehend aus dem Schulzimmer entfernt. Wie wirkt sich das auf soziale Bindungen und die Bildung von gegenseitigem Vertrauen in der Klasse aus?

Im Kanton Aargau will laut dem NZZ-Artikel eine Schule sogar «die erste KI-Schule der Schweiz» werden. Im dort eingesetzten KI-System sollen «sämtliche Daten der Schüler zusammenlaufen: Prüfungen, Tests, Lebenslauf, persönliches Profil, Stärken- und Schwächenanalyse. Das System schlägt Berufsfelder vor und verfasst auf Knopfdruck massgeschneiderte Motivationsschreiben.»

Brave New World lässt grüssen und die Lehrbetriebe werden sich über ohne Motivation geschriebenen „Motivationsschreiben“ sicher freuen.

Zum Glück kommt im NZZ-Artikel auch noch Tanja Käser, Professorin an der EPFL zu Wort. Sie hat laut Artikel «gemeinsam mit weiteren Autorinnen vor pädagogischen und psychologischen Konsequenzen gewarnt, wenn sich Lernende ständig überwacht, bewertet und aufgezeichnet fühlen.» Das ganze, wird Käser zitiert, sei ein „«riesigen Feldversuch», der derzeit an den Schweizer Schulen stattfinde – den niemand wirklich überblicke.“

Solche grossen gesellschaftlichen Veränderungen sollten schweizerisch „süüferli“, also behutsam angegangen werden. Geplant und begleitet. Damit klar ist, was mit den Heranwachsenden und ihren privatesten Daten geschieht, die eben nicht nur an die (oft inländischen) App-Anbieter, sondern auch an die (ausländischen) KI-Anbieter dahinter gehen. Bei denen das Wohl unserer Kinder hinter Profitstreben und Machtdenken zurückstehen muss.

Geh einkaufen, werde verhaftet

In Grossbritannien geht der Ausbau des Überwachungsstaats mit grossen Schritten voran. Kameras im öffentlichen Raum sind längst Alltag, für den Zugriff auf Internet-Dienste muss man sich als Erwachsener identifizieren und die Regierung plant, auch den Zugang zu VPNs nur mittels Altersnachweis zu gestatten. Da ist es wohl nur konsequent, dass die Überwachung auch beim Einkaufen (in physischen Läden) Einzug hält.

Gemäss einem Bericht des Guardian werden in vielen grossen Ketten in UK bereits heute Gesichtserkennungssysteme verwendet. Dies mit der Absicht, bekannte Ladendiebe vom Betreten des Ladens abzuhalten (bzw. sie mehr oder weniger freundlich hinauszubegleiten). Nicht ganz überraschend ist die Erkennung alles andere als fehlerfrei (d. h. es werden Kunden abgewiesen welche noch nie im Laden geklaut haben), nicht ganz überraschend ist die Fehlerquote bei Nicht-Weissen deutlich höher.

Genau dieses System wird jetzt um eine Funktion erweitert: Wenn die Gesichtserkennung Menschen zu erkennen meint, welche in der Vergangenheit straffällig wurden, wird automatisch die Polizei alarmiert. Ob diese dann auch wirklich ausrückt, ist noch herauszufinden. Es braucht aber nicht viel Fantasie um zu erkennen, dass dieses System in Zukunft sehr einfach zur Erkennung beliebiger von der Polizei gesuchter Personen ausgebaut werden kann.

Meta will beim KI-Klonen der eigenen Social-Media-Nutzer helfen

Meta, die dominante (und ziemlich unzimperliche) Social-Media-Firma mit Diensten wie Facebook, Instagram und WhatsApp, hat begonnen, Instagram-Nutzern zu erlauben, Videos im Stil und mit Inhalten anderer Profile zu generieren. Und es wegen lautstarker Proteste kurz darauf wieder eingestellt. Das wird Meta und andere Tech-Konzerne aber nicht daran hindern, zukünftig ähnliche Funktionen ohne vorherige Konsultation ihrer Nutzer:innen einseitig zu aktivieren. So wird Martin Steiger im Watson-Hintergrundartikel dazu zitiert:

Mit Opt-out setzen Meta und andere Techkonzerne auf die Trägheit der Masse. Die wenigsten Nutzenden ändern die oft versteckten Standardeinstellungen, während neue KI-Funktionen laufend automatisch aktiviert werden. Selbst kritische User geben irgendwann auf.

Sicherer Behördenzugang nur ab unsicherem Handy

Das Behörden-Login AGOV funktioniert nur auf iPhones und an Google gekoppelte Android-Geräte, wie Rechtsanwalt Martin Steiger berichtet. Die besonders gut gesicherte Android-Variante, die gerne von Geheimnisträgern wie Rechtsanwält:innen genutzt wird, funktioniert nicht. Und damit auch der Zugriff auf die für viele Rechtsanwältinnen unverzichtbare Plattform Justitia.Swiss, die nur mit AGOV-Login erreichbar ist. Sein Lösungsvorschlag für alle, die nicht auf AGOV verzichten können, kein iPhone wollen und trotzdem nicht auf Sicherheit verzichten wollen: Ein Haupthandy mit GrapheneOS für die tägliche Arbeit und ein Billig-Android-Zweithandy für den AGOV-Zugang. (Wir empfehlen dafür aus Sicherheitsgründen auch ein unabhängiges Zweit-Google-Konto zu verwenden.)

Das Billig-Handy dürfte zwar meist deutlich weniger sicher sein, aber manchmal trumpft Compliance über Security.

Und schliesslich:

• Die Republik hat darüber berichtet, wo sie noch nicht digital souverän ist (und wieso). Und gleichzeitig auch eine schöne Quadranten-Grafik dargestellt, mit der man auch seine eigenen Abhängigkeiten klassifizieren kann, wenn man einen Schritt Richtung Souveränität plant.
• DNIP-Kollegin Adrienne Fichter hat bei ebendieser Republik letzte Woche beschrieben, wie das Kommando Cyber der Schweizer Armee einen wichtigen Schritt in Richtung Digitale Souveränität geht.
• Dieselbe Republik hat letzte Woche gemerkt, wie sehr sie Google ausgeliefert ist: Google hatte die Republik-App ohne Vorwarnung aus dem Google-Play-Store geworfen. Man kann die App (noch) unabhängig von Google installieren, das Republik-App-Paket (APK) gibt es hier.
• Wenn wir schon bei App Stores sind: Auch Apple muss sich laut einem Urteil des Europäischen Gerichtshofs an die Interoperabilitätsforderungen des Digital Market Act halten.
• Bevor sich jemand von einem KI-Sprachmodell (LLM) zu Liebe oder Beziehungen beraten lässt, sollte er/sie diesen Heise-Artikel lesen: «Beziehungsberater KI – Wenn ChatGPT Tipps in der Liebe gibt».
• In einem nicht wirklich wissenschaftlichen (und möglicherweise auch nicht ganz unabhängigen) Test hat Liip das offene ETH-KI-Modell Apertus mit kommerziellen Modellen verglichen. Ihrer Ansicht nach ist es nicht so gut, aber für vieles gut genug. Ihre Schlussfolgerung (DNIP-Übersetzung): «Die Frage ist nicht, „souveräne KI oder Qualität“, sondern, „wie viel Qualitätsunterschied ist man bereit zu akzeptieren für vollständige Souveränität“?»
• Meta plant anscheinend eine Brille, die dauernd aufzeichnet. Ohne, dass die (mickrige) rote LED aktiv wäre. Eine Steigerung dessen, was wir bisher schon wussten. Wer signalisieren möchte, dass er in seinem Geschäft oder sonstigen Ort keine KI-Überwachungsbrillen möchte, kann hier oder hier passende Aufkleber bestellen.
• Das Dauerthema Chatkontrolle (DNIP berichtete mehrfach) ist in der EU wieder einmal aktiv (und wird sich auch auf die Schweiz auswirken). Es hat die Hürde EU-Parlament genommen. Nächster Schritt: Der Rat der Mitgliedstaaten. Nebenbei bemerkt: Gemäss einem Bericht der EU-Kommission (!) stellt 0,000002735 % der gescannten Inhalte in den bereitgestellten Daten stellen tatsächlich illegales Material dar.
• Matthias Schüssler hat sich auch dem Thema W Social angenommen, welches bei DNIP auch schon mehrfach Thema war. Er ergänzt die Kritik am aktuellen Betriebs- und Geschäftsmodell mit einigen interessanten Vorschlägen, wie ein europäisches Soziales Netzwerk aussehen könnte und erfolgreich sein könnte.

Zitat der Woche

Rund um Privatsphäre heisst es immer wieder, „du hast nichts zu befürchten, wenn du nichts zu verbergen hast“. Hier eine gute Antwort darauf:

Privatsphäre brauche ich nicht, weil meine Handlungen fragwürdig sind, sondern weil dein Urteil und deine Absichten es sind.

Basierend auf diesem Post via Martin Boller und seiner Tochter.

Wer noch tiefer in das Rabbit Hole eintauchen will: Hier ein dazu passendes Terry-Pratchett-Scheibenwelt-Zitat:

Commander Vimes didn’t like the phrase ‚The innocent have nothing to fear‘, believing the innocent had everything to fear, mostly from the guilty but in the longer term even more from those who say things like ‚The innocent have nothing to fear‘.

Oder auf Deutsch (DNIP-Übersetzung): «Commander Vimes gefiel der Ausdruck nicht, „Wer unschuldig ist, hat nichts zu befürchten“. Er war der Meinung, dass die Unschuldigen alles zu befürchten hatten, hauptsächlich von Seiten der Schuldigen, langfristig aber auch von denen, die Dinge sagten wie „Wer unschuldig ist, hat nichts zu befürchten.“»

Aus: Terry Pratchett, Snuff