Wie DNIP.ch am Montag als erstes Medium berichtete, hat eine Forschungsgruppe mit Anbindung zur Universität Zürich mittels KI psychologische Forschung an Menschen durchgeführt, ohne dass diese Menschen über die Studie informiert waren. Aus guten Gründen (Vertrauen, Ethik, …) ist das in den meisten Fällen ein No-Go.
Was ist da passiert?
Forscher:in(nen) der Uni Zürich haben zwischen November 2024 und März 2025 ein Diskussionsforum («Subreddit») der Plattform «Reddit» für eine Studie genutzt. Dabei waren – laut den vorliegenden Informationen – weder die Diskutant:innen im Forum selbst, noch die Moderatoren des Forums informiert. Und die Forschungsgruppe setzte sich über die Hinweise der zuständigen Ethikkommission sowie der Regeln der Plattform und des Forums hinweg.
In der Studie – laut Angaben aus der Konferenzeinreichung, die inzwischen nicht mehr öffentlich ist – im ChangeMyView-Forum auf Reddit hat die Gruppe einen Mix aus KIs angewiesen, über 1000 Posts zu schreiben, welche Menschen in ihrer Meinung umstimmen sollten.
Die KIs waren drei bis sechs Mal so erfolgreich wie Menschen, die Frager umzustimmen und damit besser als 99 % der Menschen. (Mehr zur Studie im DNIP-Artikel vom Montag.)
Die Forschenden, die anonym auftraten, haben Anfang Woche aufgehört, auf Mailanfragen zu reagieren. Dank Recherchen eines DNIP-Teams hatten wir Kontakt zu einer der Personen aus der Forschungsgruppe. Dank weiteren Recherchen und Hinweisen aus der Community sind wir auch ziemlich sicher, die zweite Person identifiziert zu haben. Insbesondere diese zweite Person hätte Verantwortung übernehmen müssen, was sie aber scheinbar nicht tat.
Hintergründe und weitere Informationen
Die volle Geschichte findet sich in folgenden zwei Artikeln:
- Adrienne Fichter und Patrick Seemann: Reddit-User mit KI-Bots getäuscht- das fragwürdige Experiment der Universität Zürich, DNIP.ch, 2025-04-28.
Die ursprüngliche Reportage, die nachher von vielen Zeitungen und Online-Medien aufgenommen wurde. - Adrienne Fichter, Patrick Seemann und Marcel Waldvogel: Unautorisiertes Reddit-KI-Experiment: Ein verdächtiges Institut an der Universität Zürich, DNIP.ch, 2025-05-01.
Die Nachforschungen und Aussagen zur Ethik.
Ich finde, die Aussage der Politikwissenschafterin Katika Kühnreich fasst die Situation sehr gut zusammen:
Es tönt, als hätte die Ethikkommission die Verantwortung nicht tragen wollen & die Forschenden bewiesen mit ihrem Vorgehen, dass sie die Verantwortung nicht tragen können.
[Es braucht] Mehr Wissen, was Ethik bedeutet, statt Ethikkommissionen, die entweder nicht kompetent sind oder nicht unbeliebt sein wollen.
Katika Kühnreich im Fediverse
Empfehlungen
Zum Selbstverständnis von DNIP gehört, nicht nur Fehler aufzeigen, sondern auch Wege zur Verbesserung der Situation aufzuzeigen.
- Die Universität Zürich sowie die verantwortlichen Forscher:innen sollten sich zur Situation äussern.
- Sollten sich der oder die betreffenden Forscher:innen raschmöglichst öffentlich melden und entschuldigen, wie dies kolportiert wird.
(Übrigens: Wenn Forschungsverantwortliche glauben, sie müssten ihre Identität auch nach Ende der eines spezifischen Forschungsprojekts noch geheim halten, hätten sie sich vielleicht vor Forschungsbeginn mehr Gedanken dazu machen sollen.) - Sollten auch in der Schweiz klare Regeln für den Umgang der Forschung mit Plattformen geschaffen werden. Das wäre zum Beispiel ein wichtiger Punkt in einer Plattformregulierung, wie sie der Bundesrat ohne Not hinauszögert. Der Digital Services Act der EU verlangt beispielsweise solchen Zugang für unabhängige Forschende. Dass die Plattformen «gegatekeeped» werden von Big Tech-Konzernen und wenig Schnittstellen bieten, ist ein grosses Problem für die Forschung rund um Online-Diskussionen, Desinformation und Hassrede. Eine Öffnung ist sehr relevant, aber eben nach Einhaltung von verbindlichen ethischen Regeln.
- Sollte die Ethikpraxis wirklich verbindlicher ausgestaltet werden bei der Universität Zürich, so wie dies die Medienstelle in Aussicht gestellt hat. Die Institutional Review Boards (Ethikkommissionen) sind allgemein nicht auf der Höhe der Zeit, was digitale Forschung angeht (für analoge und physische Forschung «am Mensch» gelten strikte Ethikregeln).
- Sollte die Schweiz bald verbindliche Transparenzvorschriften für den Einsatz von generativer KI für Gesellschaft und Wissenschaft einführen, analog zum AI Act der EU.
Künstliche Intelligenz
News (mehr…)
- Forschung am Menschen ohne deren Wissen: Universität Zürich und Reddit «r/ChangeMyView»
Wie DNIP.ch am Montag als erstes Medium berichtete, hat eine Forschungsgruppe mit Anbindung zur Universität Zürich mittels KI psychologische Forschung… Forschung am Menschen ohne deren Wissen: Universität Zürich und Reddit «r/ChangeMyView» weiterlesen - KI-Webseiten petzen und beeinflussen
Klar kann man die KI manchmal zu verräterischem Verhalten verleiten. Aber noch einfacher ist es, wenn die Webseite ihre Anweisungen… KI-Webseiten petzen und beeinflussen weiterlesen - Können KI-Systeme Artikel klauen?
Vor ein paar Wochen hat die NZZ einen Artikel veröffentlicht, in dem Petra Gössi das NZZ-Team erschreckte, weil via KI-Chatbot… Können KI-Systeme Artikel klauen? weiterlesen
Lange Artikel (mehr…)
- KI-Datenkreisläufe
Hier ein kleiner Überblick über die Datenkreisläufe rund um generative KI, insbesondere grosse Sprachmodelle (Large Language Model, LLM) wie ChatGPT, Gemini oder Claude. - Der Homo Ludens muss Werkzeuge spielend erfahren. Auch KI
Fast alle Werkzeuge, die wir «spielend» beherrschen, haben wir spielend gelernt. Das sollten wir auch bei generativer KI. - Der Turing-Test im Laufe der Zeit
Vor einem knappen Jahrhundert hat sich Alan Turing mit den Fundamenten der heutigen Informatik beschäftigt: Kryptographie, Komplexität/Rechenaufwand, aber auch, ob und wie wir erkennen könnten, ob Computer „intelligent“ seien. Dieses… Der Turing-Test im Laufe der Zeit weiterlesen - «QualityLand» sagt die Gegenwart voraus und erklärt sie
Ich habe vor Kurzem das Buch «QualityLand» von Marc-Uwe Kling von 2017 in meinem Büchergestell gefunden. Und war erstaunt, wie akkurat es die Gegenwart erklärt. Eine Leseempfehlung. - Neuralink ist (noch) keine Schlagzeile wert
Diese Woche haben einige kurze Tweets von Elon Musk hunderte oder gar tausende von Artikeln ausgelöst. Wieso? - «Quasselquote» bei LLM-Sprachmodellen
Neulich erwähnte jemand, dass man ChatGPT-Output bei Schülern häufig an der «Quasselquote» erkennen könne. Das ist eine Nebenwirkung der Funktionsweise dieser Sprachmodelle, aber natürlich noch kein Beweis. Etwas Hintergrund. - «KI» und «Vertrauen»: Passt das zusammen?
Vor einigen Wochen hat Bruce Schneier einen Vortrag gehalten, bei dem er vor der der Vermischung und Fehlinterpretation des Begriffs «Vertrauen» gewarnt hat, ganz besonders beim Umgang mit dem, was… «KI» und «Vertrauen»: Passt das zusammen? weiterlesen - Wegweiser für generative KI-Tools
Es gibt inzwischen eine grosse Anzahl generativer KI-Tools, nicht nur für den Unterricht. Hier ein Überblick über verschiedene Tool-Sammlungen. - KI-Vergiftung
Eine aggressive Alternative zur Blockade von KI-Crawlern ist das «Vergiften» der dahinterliegenden KI-Modelle. Was bedeutet das? - Lehrerverband, ChatGPT und Datenschutz
Der Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür… Lehrerverband, ChatGPT und Datenschutz weiterlesen - Goethe oder GPThe?
In «Wie funktioniert ChatGPT?» habe ich die Experimente von Andrej Karpathy mit Shakespeare-Texten wiedergegeben. Aber funktioniert das auch auf Deutsch? Zum Beispiel mit Goethe? Finden wir es heraus! - KI: Alles nur Zufall?
Wer von einer «Künstlichen Intelligenz» Texte oder Bilder erzeugen lässt, weiss, dass das Resultat stark auf Zufall beruht. Vor Kurzem erschien in der NZZ ein Beitrag, der die Unzuverlässigkeit der… KI: Alles nur Zufall? weiterlesen - Hype-Tech
Wieso tauchen gewisse Hype-Themen wie Blockchain oder Maschinelles Lernen/Künstliche Intelligenz regelmässig in IT-Projekten auf, obwohl die Technik nicht wirklich zur gewünschten Lösung passt? Oder es auch einfachere, bessere Ansätze gäbe?… Hype-Tech weiterlesen - 📹 Die Technik hinter ChatGPT
Der Digital Learning Hub organisierte 3 Impuls-Workshops zum Einsatz von ChatGPT in der Sekundarstufe II. Im dritten Teil präsentierte ich die Technik hinter ChatGPT. In der halben Stunde Vortrag werden… 📹 Die Technik hinter ChatGPT weiterlesen - Ist ChatGPT für Ihre Anwendung ungefährlich?
Ob man KI-Chatbots sicher einsetzen kann, hängt von der Anwendung ab. Aleksandr Tiulkanov hat deshalb ein Flussdiagramm als Entscheidungshilfe erstellt. Hier eine deutsche Übersetzung und ein paar Anmerkungen zum Korrekturlesen… Ist ChatGPT für Ihre Anwendung ungefährlich? weiterlesen - Wie funktioniert ChatGPT?
ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren. - Die KI ChatGPT und die Herausforderungen für die Gesellschaft
Was lange währt, wird endlich, äh, published. Mein neuer DNIP-Artikel zu ChatGPT ist online, in drei Teilen: - Identifikation von KI-Kunst
KI-Kunst ist auf dem Vormarsch, sowohl was die Qualität als auch die Quantität betrifft. Es liegt (leider) in der menschlichen Natur, einiges davon als „echte“, menschgeschaffene Kunst zu vermarkten. Hier… Identifikation von KI-Kunst weiterlesen - Die Lieblingsfragen von ChatGPT
Entmutigt durch die vielen Antworten von ChatGPT, es könne mir auf diese oder jene Frage keine Antwort geben, weil es nur ein von OpenAI trainiertes Sprachmodell sei, versuchte ich, ChatGPT… Die Lieblingsfragen von ChatGPT weiterlesen - Wie funktioniert Künstliche Intelligenz?
Am vergangenen Mittwoch habe ich im Rahmen der Volkshochschule Stein am Rhein einen Überblick über die Mächtigkeit, aber auch die teilweise Ohnmächtigkeit der Künstlichen Intelligenz gegeben. Das zahlreich anwesende Publikum… Wie funktioniert Künstliche Intelligenz? weiterlesen - Künstliche Intelligenz — und jetzt?
Am 16. November 2022 halte ich einen öffentlichen Vortrag zu künstlicher Intelligenz an der VHS Stein am Rhein. Sie sind herzlich eingeladen. Künstliche Intelligenz ist derzeit in aller Munde und… Künstliche Intelligenz — und jetzt? weiterlesen - Reproduzierbare KI: Ein Selbstversuch
Im NZZ Folio vom 6. September 2022 beschrieb Reto U. Schneider u.a., wie er mit DALL•E 2 Bilder erstellte. Die Bilder waren alle sehr eindrücklich. Ich fragte mich allerdings, wie viele… Reproduzierbare KI: Ein Selbstversuch weiterlesen - Machine Learning: Künstliche Faultier-Intelligenz
Machine Learning („ML“) wird als Wundermittel angepriesen um die Menschheit von fast allen repetitiven Verarbeitungsaufgaben zu entlasten: Von der automatischen Klassifizierung von Strassenschilden über medizinische Auswertungen von Gewebeproben bis zur… Machine Learning: Künstliche Faultier-Intelligenz weiterlesen
Schreibe einen Kommentar