Der Turing-Test im Laufe der Zeit

Vor einem knappen Jahrhundert hat sich Alan Turing mit den Fundamenten der heutigen Informatik beschäftigt: Kryptographie, Komplexität/Rechenaufwand, aber auch, ob und wie wir erkennen könnten, ob Computer „intelligent“ seien.

Dieses Imitationsspiel kennen wir heute als Turing-Test und ist aktuell wieder in aller Munde, weil gerade behauptet wird, dass Computer inzwischen intelligenter seien als Menschen. Er hat sich über die Jahre stark verändert und zeigt damit auch auf, wie sich unsere Beziehung zu Computern verändert hat.

Schauen wir uns das an und lernen etwas über uns (und Computer)!

Eine überarbeitete und erweiterte Fassung dieses Textes erschien bei DNIP unter dem Titel «Was der Turing-Test für die Gesellschaft bedeutet».

Die traditionelle Erzählung

The Imitation Game (Turing, 1950)

Im ursprünglichen Test sollte ein Proband mit zwei Personen schriftlich kommunizieren und herausfinden, wer von seinen Kommunikationspartnern ein Mann und wer eine Frau sei. Ohne Wissen des Probanden wird allerdings der Mann durch einen Computer ersetzt, der nun den Probanden über seine Menschlichkeit erfolgreich täuschen soll. (Mehr dazu hier.)

In diesem Setup ist ein komplettes Verständnis für das menschliche Wissen, Gesellschaft und Werte notwendig. (Und über Täuschung, was einer der Kritikpunkte am Test ist.)

Heutiger Turing-Test

Weil das zu komplex war, wurde der Test vereinfacht. Der Proband kommuniziert über Tastatur und Bildschirm mit zwei Gesprächspartnern: Ein Mensch, eine Maschine. Wenn der Proband nach intensiver Befragung seiner Gegenüber nicht entscheiden kann, wer Mensch, wer Maschine ist, wird der Maschine ein dem Menschen ebenbürtiges (Denk-)Vermögen unterstellt.

Entwicklungen

Auch auf Basis dieser Überlegungen begannen Anstrengungen, Maschinen (bzw. Programme) zu erzeugen, welche den Menschen imitieren konnten. Die Idee der Künstlichen Intelligenz war geboren.

• Ein erster Meilenstein gelang Joseph Weizenbaum 1966 mit seinem Programm «Eliza», welches natürlichsprachige Interaktion erlaubte. Die Interaktion war rudimentär. Hauptsächlich hat das Programm im menschlichen Satz nach Schlüsselwörtern gesucht und daraus geeignete scheinende Rückfragen erstellt. Trotz dieser Einfachheit kann man sich über einige Sätze hinweg mit dem „Gegenüber“ unterhalten, bis auffällt, dass die Gegenseite sehr eintönig (und manchmal einfältig) reagiert. Eine grafisch sehr ansprechende Simulation des Eliza-Feelings gibt es bei Masswerk zu erleben. Oder hier eine deutsche Variante (mit eingeschränktem Wortschatz).
• Es war sehr aufwändig, die ganzen Regeln von Hand aufzustellen, nach denen diese Expertensysteme Antworten auf Fragen liefern sollten. Informatiker haben den Ruf, sich vor repetitiven Arbeiten zu drücken. Deshalb haben sie mutmasslich das Maschinelle Lernen erfunden, eine Technik, in der der Computer selbst die Regeln herausfinden soll.
• Daraus sind dann später die heutigen Large Language Models (LLM, grosse Sprachmodelle) entstanden wie z.B. ChatGPT, die auf selbst erarbeiteten Statistiken zu Wort-, Satz- und grösseren Mustern beruhen.

Aktuelle Erfolge

In verschiedenen Medien wurde vor einigen Wochen berichtet, dass ChatGPT den Turing-Test bestanden habe. Patrick Seemann hat dies für DNIP zusammengefasst und blickt hinter die Kulissen. Seine Schlussfolgerungen:

• Es hat einen sehr umfangreichen Prompt mit 130 Zeilen Text gebraucht, um einen Rahmen für weitgehend belanglose Gespräche zu definieren.
• Mit etwas Aufwand lässt sich ChatGPT durch gezielte Fragen zumindest in die Enge treiben (auch wenn der Prompt dafür sorgt, dass der Bot nicht direkt zugibt, ein Bot zu sein), auch wenn das in den Selbstversuchen teilweise länger als die Experimentdauer gebraucht hat.
• 22% der Probanden haben selbst den sehr simplen Eliza-Chatbot als Menschen wahrgenommen, es scheint also einen nicht zu vernachlässigen Teil der Bevölkerung zu geben, welcher solchen Chats gegenüber relativ unkritisch ist oder im Alltag genau diese Art von Chats führt.
• Es ist unklar, inwieweit die Teilnehmenden motiviert waren, den Chat-Partner ernsthaft zu identifizieren bzw. wie ernst sie das ganze überhaupt genommen haben.

Eine weitere Frage ist, ob wir überhaupt zwischen Mensch und Computer als Gegenüber unterscheiden können müssen. (Ich behaupte «ja»; mehr dazu in einigen Tagen auf DNIP.ch.)

Der andere Blickwinkel

Das Imitation Game von Alan Turing war ja ursprünglich sehr umfassend, wurde dann aber recht schnell auf Intelligenz eingeschränkt. Aber inzwischen bewegt sich die Definition wieder mehr auf das ursprüngliche Bild von Turing 1950 zurück. Oder wie die angelsächsischen Kollegen sagen würden: «It has come full circle.»

Kriterium 1: Intelligenz

Der altbekannte Ansatz war: «Der Computer soll uns beweisen, dass er intelligent ist!»

Aber dann kamen Schachcomputer und Watson, der beim Wissensquiz Jeopardy gewann. Der menschliche Intellekt war zwiegespalten: Auf der einen Seite sind Computer jetzt besser als wir. Auf der anderen Seite sind wir aber die Schöpfer dieser unglaublichen „Geschöpfe“!

Gleichzeitig begannen Computer «zurückzuschlagen», uns Menschen auf die Probe zu stellen: Seither müssen wir beweisen, dass wir keine Computer sind, indem wir auf absichtlich verrauschte Bilder klicken.

Nicht nur hat uns der Computer geschlagen, „er“ begann im Gegenzug, uns Arbeit aufzuhalsen. Das hat also schon einmal gar nicht funktioniert.

Kriterium 2: Mitgefühl

Also war eine bessere Idee gefragt: «Der Computer soll uns beweisen, dass er Mitgefühl hat!» (oder zumindest dieses Mitgefühl überzeugend simulieren).

Aber dann kamen LLMs wie ChatGPT, grosse Sprachmodelle, die beliebig Sätze und Satzmuster aus allen menschlichen Äusserungen kombinieren konnten. Einige dieser generierten Muster („Antworten“) waren liebevoll, einige hilfreich, einige völlig falsch oder am Thema vorbei. Wieder andere aber auch hässlich, grausam, beleidigend, drohend.

Die Firmen hinter den KIs wollten sich aber nicht blamieren (oder verklagen lassen) und haben entsprechend ihre KIs gezähmt.

Kriterium 3: Ungezähmt

Deshalb kam die nächste Idee auf: «Dann soll uns der Computer doch einmal beweisen, dass er böse oder lüstern sein kann!»

An der Weigerung, ungezügelten Text zu produzieren, kann man immer noch viele kommerzielle Chatbots erkennen. Aber es gibt inzwischen auch unzählige Chatbots, die genau dafür „gezüchtet“ wurden, frech oder lüstern zu agieren. Eine Herstellerin von KI-Ersatzfreundinnen wurde sogar öffentlich dafür gerügt, als diese KI-„Freundinnen“ irgendwann weniger sexuell expliziten Dialog ermöglichten (und musste den Chatbot auf Druck der User kurze Zeit später wieder in der „bewährten“ Erotikstufe verfügbar machen).

Also ist auch dieses Kriterium inzwischen wieder Geschichte. Auch wenn es gegen viele seriöse Chatbots weiterhin funktioniert.

Kriterium 4: Äh, ja, was nun?

Eine einfache Lösung scheint es nicht zu geben, wie wir bei einem Gegenüber zwischen Mensch und KI unterscheiden können. Hier ein paar Fragen, die wir uns stellen sollten:

1. Ist es mir wichtig, das Gegenüber zu identifizieren? Wieso? (Aufbau einer gegenseitigen Beziehung, Einschätzung der Vertrauenswürdigkeit, …)
2. Reicht es mir, wenn ich weiss, was das Gegenüber leisten kann? Was zuverlässig, was weniger zuverlässig, was gar nicht?
3. Will ich echte Empathie? Reicht mir auch eine überzeugend Vorgetäuschte (Empathie vortäuschen können auch Menschen)?
4. Will ich eine echte menschliche Leistung dahinter?
5. Will ich echte X (was auch immer mein X ist)? Oder reicht mir eine Annäherung daran?
6. Wenn ich das Gegenüber bezahle (mit Geld oder Daten): Will ich, dass ich weiss, wohin diese Bezahlung fliesst?

Weiterführende Literatur

• Patrick Seemann: ChatGPT besteht den Turing-Test, gilt KI jetzt als intelligent?, DNIP, 2024-07-15.
  Lesenswerter Überblick über die ganze Turing-Test-Geschichte
• Zoe Stavri aka Another Angry Woman: If you are human, answer me this, 2023-11-05.
  Motivation für die Liste mit der Entwicklung der Tests (Teile des Threads sind NSFW)
• Marcel Waldvogel: Marcel pendelt: «KI» und «Vertrauen», DNIP, 2023-12-11.
  Überlegungen von Bruce Schneier, ob wir KI überhaupt vertrauen können, insbesondere kommerziellen KIs