Wie funktioniert ChatGPT?

Eine Chat-Sprachblase mit "GPT!" drin (basierend auf einem von DALL•E 2 mit dem Prompt "A fancy speech balloon with GPT written in it" erzeugten Bild)

ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren.

ChatGPT und andere KI-Technologien werden Ihnen in den nächsten Monaten vermehrt begegnen, möglicherweise in einer der folgenden Formen:

  • Sie wollen Unterstützung durch KI-Systeme für Texte, Grafiken, Entscheidungen;
  • jemand will Ihnen oder Ihrer Firma eine KI-Lösung verkaufen, die Ihre wichtigsten Probleme lösen soll (oder Sie wollen sich auf die Suche nach Lösungen machen); oder
  • Sie müssen sich bei einer Firma oder Behörde durch deren „benutzerfreundliches“ KI-Chat-Portal kämpfen.

In allen diesen Fällen hilft es, wenigstens etwas Einblick in die Technik hinter ChatGPT und vielen anderen System für die Künstliche Intelligenz, insbesondere Maschinelles Lernen („machine learning“) gehabt zu haben. Die neue Technologie ist zu wichtig, um sie zu ignorieren.

Ich habe versucht, die sehr komplexe Materie auch für Laien verständlich zu vermitteln. Dies wird mir nicht in allen Bereichen für alle Leserinnen und Leser gelungen sein. Trotzdem werden Ihnen einige der Aussagen, Vergleiche und Analogien haften bleiben. Einige davon werden Ihnen vielleicht ein Schmunzeln entlocken.

Wie jede neue Technologie werden sich auch im KI-Bereich in den nächsten Monaten und Jahren Rattenfänger und Schlangenölverkäufer tummeln. Auch falls Sie nicht jedes Detail des Artikels verstehen sollten, so sind Sie damit besser gerüstet, um falsche Versprechungen zu enttarnen.

Die GPTs, zu denen auch ChatGPT zählt, sind generative Sprachmodelle auf Transformer-Basis, vortrainiert mit Text aus dem Internet. GPT lernt Muster aus dem Text und versucht diese zu reproduzieren. Mehr Textzusammenhang erreicht es durch Aufmerksamkeit, noch mehr Aufmerksamkeit, genügend Zeit zum Nachdenken, einem kühlen Kopf und einer Prise Vergesslichkeit für einen Extraschuss Kreativität und Improvisation. Jeder Output ist zufällig. GPT-3 unterscheidet sich von seinen Vorgängern vor allem durch seine Grösse. GPT-3 schreibt und vervollständigt einfach seine Texte; mit einem Trick vervollständigt es aber auch unsere.

GPT-3 kann keine Fragen beantworten, nur Texte vervollständigen. Mit FAQs zur Beantwortung getrimmt wird es zu ChatGPT. Nur ein kleiner Teil der FAQs sind von Hand erzeugt.

Deutlich tiefer geht der heute auf DNIP erschienene Artikel, der genau diese Punkte von ChatGPT in dieser Reihenfolge erklärt. Auch (bzw. ganz besonders!) für Nichtinformatiker.

Künstliche Intelligenz

  • Kurs: KI+ChatGPT verstehen, anwenden, erkennen
    Nachdem laut Bericht der SRF insbesondere bei Lehrerinnen und Lehrern hoher Bedarf am Verstehen von ChatGPT und anderen künstlichen Intelligenzen besteht, habe ich mein gesammeltes Wissen dazu in einen Kurs gegossen.
  • Wie funktioniert ChatGPT?
    ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren. ChatGPT und andere KI-Technologien werden Ihnen in den nächsten Monaten vermehrt begegnen, möglicherweise in einer der folgenden Formen: In allen diesen Fällen hilft es, wenigstens etwas Einblick in die […]
  • Die KI ChatGPT und die Heraus­for­derungen für die Gesellschaft
    Was lange währt, wird endlich, äh, published. Mein neuer DNIP-Artikel zu ChatGPT ist online, in drei Teilen:
  • Identifikation von KI-Kunst
    KI-Kunst ist auf dem Vormarsch, sowohl was die Qualität als auch die Quantität betrifft. Es liegt (leider) in der menschlichen Natur, einiges davon als echte Kunst zu vermarkten. Hier sind einige Anzeichen, die helfen können, KI-Kunst zu erkennen.
  • Die Lieblingsfragen von ChatGPT
    Entmutigt durch die vielen Antworten von ChatGPT, es könne mir auf diese oder jene Frage keine Antwort geben, weil es nur ein von OpenAI trainiertes Sprachmodell sei, versuchte ich, ChatGPT um Fragen zu bitten, die es auch beantworten könne. Hier eine Interaktion als Interview.
  • Wie funktioniert Künstliche Intelligenz?
    Am vergangenen Mittwoch habe ich im Rahmen der Volkshochschule Stein am Rhein einen Überblick über die Mächtigkeit, aber auch die teilweise Ohnmächtigkeit der Künstlichen Intelligenz gegeben. Das zahlreich anwesende Publikum bekam einen anschaulichen und unterhaltsamen Einblick. Anhand 6 m langer Kühe, intelligenten Tauben, rasend schnellen Faultieren und ungewöhnlichen Verkehrstafeln aus der direkten Umgebung erklärte ich die […]
  • Künstliche Intelligenz — und jetzt?
    Am 16. November 2022 halte ich einen öffentlichen Vortrag zu künstlicher Intelligenz an der VHS Stein am Rhein. Sie sind herzlich eingeladen. Künstliche Intelligenz ist derzeit in aller Munde und soll zukünftig alle unsere Lebenslagen prägen. Sind Sie sich bewusst, wo Sie im Alltag mit Künstlicher Intelligenz direkt in Berührung kommen und wie diese ihr […]
  • Reproduzierbare KI: Ein Selbstversuch
    Im NZZ Folio vom 6. September 2022 beschrieb Reto U. Schneider u.a., wie er mit DALL•E 2 Bilder erstellte. Die Bilder waren alle sehr eindrücklich. Ich fragte mich allerdings, wie viele Versuche der Autor (oder in diesem Fall besser: Prompt-Designer) wohl gebraucht habe, bis diese eindrücklichen Resultate herauskamen.
  • Machine Learning: Künstliche Faultier-Intelligenz
    Machine Learning („ML“) wird als Wundermittel angepriesen um die Menschheit von fast allen repetitiven Verarbeitungsaufgaben zu entlasten: Von der automatischen Klassifizierung von Strassenschilden über medizinische Auswertungen von Gewebeproben bis zur Auswahl und Einstellung neuer Mitarbeiter.

Bleibe auf dem Laufenden!

Erhalte eine Mail bei jedem neuen Artikel von mir.

Ca. 1-2 Mails pro Monat, kein Spam.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.


Webapps