Neulich erwähnte jemand, dass man ChatGPT-Output bei Schülern häufig an der «Quasselquote» erkennen könne. Das ist eine Nebenwirkung der Funktionsweise dieser Sprachmodelle, aber natürlich noch kein Beweis. Etwas Hintergrund.
Sprachmodelle wie ChatGPT erzeugen ihren Output („Antworten“ etc.) Bruchstück für Bruchstück (genannt Token), typischerweise jeweils ein paar Buchstaben aufs Mal. Wer schon einmal mit einem dieser sogenannten LLMs (Large Language Model) gespielt hat, hat das sicher auch schon bemerkt.
Diese Generierungsform ist auch die Ursache für die hohe Quasselquote, wie sie beispielsweise hier sichtbar wird: Als Anfrager möchte ich nicht eine ganze Schulstunde für Drittklässler über Dreisatz aufgetischt bekommen, sondern einfach die Antwort wissen!
Grosse Sprachmodelle (LLM, Large Language Model) „denken“ auch immer nur ans nächste Token. Es existiert vorgängig kein Konzept, keine Skizze, was sie erzählen wollen. Das „Gehirn“ wird nicht vor dem Reden eingeschaltet, sondern es wird munter drauflos geredet, in der „Hoffnung“, dass dann schon etwas Brauchbares herauskomme.
Wir Menschen gehen davon aus, dass—wenn wir etwas erklären müssen—uns zumindest ganz grob überlegt haben, was wir eigentlich sagen wollen. Erst recht, wenn wir diese Erklärung aufschreiben wollen.
Wir haben einen Plan. Und wenn wir den nicht schon von Anfang an haben, dann legen wir ihn uns zwischendurch mal zurecht und beginnen vielleicht nochmals von vorne oder schreiben den Text um.
Die aktuellen Sprachmodelle haben diesen Luxus nicht. Nicht nur kennen sie das Konzept „Planung“ nicht, sie schreiben auch absolut linear. Ohne Ausnahme.
Entsprechend gibt es keine Plan, wie ein Dreisatz präsentiert werden soll. ChatGPT erzeugt einfach mal zum Thema „Dreisatz“ und dem konkreten Kontext passenden Text.
Klar, das jeweils nächste Token wird erzeugt, dass es irgendwie (meistens sogar recht gut) zum bisherigen Text (Frage+Antwort) passt, indem aus allen antrainierten Mustern eine Kombination ausgewählt wird.
Ex Post
Ob die Erklärung gut war, wird erst im Nachhinein evaluiert. Eines der möglichen erzeugten Token ist das spezielle „ENDE“-Token. Es ist unsichtbar, wechselt aber vom Ausgabe- in den „Warten auf die nächste Eingabe“-Modus.
Je besser die bisherigen Antwort einem der möglichen Muster für eine gute Antwort entspricht, desto wahrscheinlicher ist die Ausgabe dieses Tokens und damit das Ende der Erklärung.
Wenn der erste Erklärungsversuch nicht gut genug für das „ENDE“-Token war, wird einfach weitergeschrieben. Bis irgendwann die Erklärung als „gut genug“ eingestuft wird.
Und zu dem Zeitpunkt ist möglicherweise schon viel mittelmässiger oder gar schlechter Text entstanden. Da gibt es jetzt aber kein Zurück mehr.
Entsprechend kann ChatGPT-Text eine hohe Quasselquote aufweisen. Oder, wie ich es jeweils sage:
Es sieht so aus, als ob ein Prüfling bei einer Prüfung alles aufgeschrieben habe, was ihm in den Sinn gekommen sei. In der Hoffnung, dass der Lehrer bzw. die Lehrerin dann schon das daraus liest, was er/sie gerne sehen möchte.
Künstliche Intelligenz
News (mehr…)
- Die düsteren Datenhintergründe der KI
Generative Sprachmodelle wie beispielsweise ChatGPT erwecken den Eindruck, Neues zu erzeugen. Dabei kombinieren sie nur Muster neu. Wobei: Diese Kombinationen sind nicht immer wirklich neu. Mit ein bisschen Geschick kann … Weiterlesen: Die düsteren Datenhintergründe der KI - Lehrerverband, ChatGPT und Datenschutz
Der Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür … Weiterlesen: Lehrerverband, ChatGPT und Datenschutz - «Recht auf Vergessenwerden»: Ende durch KI?
Das Recht auf Vergessenwerden soll Menschen erlauben, dass Daten über sie nicht unnötig lange digital gespeichert oder verfügbar gemacht werden. Doch KI vergisst nicht gerne. Wie passt das zusammen?
Lange Artikel (mehr…)
- Neuralink ist (noch) keine Schlagzeile wert
Diese Woche haben einige kurze Tweets von Elon Musk hunderte oder gar tausende von Artikeln ausgelöst. Wieso? - «Quasselquote» bei LLM-Sprachmodellen
Neulich erwähnte jemand, dass man ChatGPT-Output bei Schülern häufig an der «Quasselquote» erkennen könne. Das ist eine Nebenwirkung der Funktionsweise dieser Sprachmodelle, aber natürlich noch kein Beweis. Etwas Hintergrund. Sprachmodelle … Weiterlesen: «Quasselquote» bei LLM-Sprachmodellen - «KI» und «Vertrauen»: Passt das zusammen?
Vor einigen Wochen hat Bruce Schneier einen Vortrag gehalten, bei dem er vor der der Vermischung und Fehlinterpretation des Begriffs «Vertrauen» gewarnt hat, ganz besonders beim Umgang mit dem, was … Weiterlesen: «KI» und «Vertrauen»: Passt das zusammen? - Wegweiser für generative KI-Tools
Es gibt inzwischen eine grosse Anzahl generativer KI-Tools, nicht nur für den Unterricht. Hier ein Überblick über verschiedene Tool-Sammlungen. - KI-Vergiftung
Eine aggressive Alternative zur Blockade von KI-Crawlern ist das «Vergiften» der dahinterliegenden KI-Modelle. Was bedeutet das? - Goethe oder GPThe?
In «Wie funktioniert ChatGPT?» habe ich die Experimente von Andrej Karpathy mit Shakespeare-Texten wiedergegeben. Aber funktioniert das auch auf Deutsch? Zum Beispiel mit Goethe? Finden wir es heraus! - KI: Alles nur Zufall?
Wer von einer «Künstlichen Intelligenz» Texte oder Bilder erzeugen lässt, weiss, dass das Resultat stark auf Zufall beruht. Vor Kurzem erschien in der NZZ ein Beitrag, der die Unzuverlässigkeit der … Weiterlesen: KI: Alles nur Zufall? - Hype-Tech
Wieso tauchen gewisse Hype-Themen wie Blockchain oder Maschinelles Lernen/Künstliche Intelligenz regelmässig in IT-Projekten auf, obwohl die Technik nicht wirklich zur gewünschten Lösung passt? Oder es auch einfachere, bessere Ansätze gäbe? … Weiterlesen: Hype-Tech - 📹 Die Technik hinter ChatGPT
Der Digital Learning Hub organisierte 3 Impuls-Workshops zum Einsatz von ChatGPT in der Sekundarstufe II. Im dritten Teil präsentierte ich die Technik hinter ChatGPT. In der halben Stunde Vortrag werden … Weiterlesen: 📹 Die Technik hinter ChatGPT - Ist ChatGPT für Ihre Anwendung ungefährlich?
Ob man KI-Chatbots sicher einsetzen kann, hängt von der Anwendung ab. Aleksandr Tiulkanov hat deshalb ein Flussdiagramm als Entscheidungshilfe erstellt. Hier eine deutsche Übersetzung und ein paar Anmerkungen zum Korrekturlesen … Weiterlesen: Ist ChatGPT für Ihre Anwendung ungefährlich? - Wie funktioniert ChatGPT?
ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren. - Die KI ChatGPT und die Herausforderungen für die Gesellschaft
Was lange währt, wird endlich, äh, published. Mein neuer DNIP-Artikel zu ChatGPT ist online, in drei Teilen: - Identifikation von KI-Kunst
KI-Kunst ist auf dem Vormarsch, sowohl was die Qualität als auch die Quantität betrifft. Es liegt (leider) in der menschlichen Natur, einiges davon als echte Kunst zu vermarkten. Hier sind … Weiterlesen: Identifikation von KI-Kunst - Die Lieblingsfragen von ChatGPT
Entmutigt durch die vielen Antworten von ChatGPT, es könne mir auf diese oder jene Frage keine Antwort geben, weil es nur ein von OpenAI trainiertes Sprachmodell sei, versuchte ich, ChatGPT … Weiterlesen: Die Lieblingsfragen von ChatGPT - Wie funktioniert Künstliche Intelligenz?
Am vergangenen Mittwoch habe ich im Rahmen der Volkshochschule Stein am Rhein einen Überblick über die Mächtigkeit, aber auch die teilweise Ohnmächtigkeit der Künstlichen Intelligenz gegeben. Das zahlreich anwesende Publikum … Weiterlesen: Wie funktioniert Künstliche Intelligenz?
Schreibe einen Kommentar