ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren.
ChatGPT und andere KI-Technologien werden Ihnen in den nächsten Monaten vermehrt begegnen, möglicherweise in einer der folgenden Formen:
- Sie wollen Unterstützung durch KI-Systeme für Texte, Grafiken, Entscheidungen;
- jemand will Ihnen oder Ihrer Firma eine KI-Lösung verkaufen, die Ihre wichtigsten Probleme lösen soll (oder Sie wollen sich auf die Suche nach Lösungen machen); oder
- Sie müssen sich bei einer Firma oder Behörde durch deren „benutzerfreundliches“ KI-Chat-Portal kämpfen.
In allen diesen Fällen hilft es, wenigstens etwas Einblick in die Technik hinter ChatGPT und vielen anderen System für die Künstliche Intelligenz, insbesondere Maschinelles Lernen („machine learning“) gehabt zu haben. Die neue Technologie ist zu wichtig, um sie zu ignorieren.
Ich habe versucht, die sehr komplexe Materie auch für Laien verständlich zu vermitteln. Dies wird mir nicht in allen Bereichen für alle Leserinnen und Leser gelungen sein. Trotzdem werden Ihnen einige der Aussagen, Vergleiche und Analogien haften bleiben. Einige davon werden Ihnen vielleicht ein Schmunzeln entlocken.
Wie jede neue Technologie werden sich auch im KI-Bereich in den nächsten Monaten und Jahren Rattenfänger und Schlangenölverkäufer tummeln. Auch falls Sie nicht jedes Detail des Artikels verstehen sollten, so sind Sie damit besser gerüstet, um falsche Versprechungen zu enttarnen.
Die GPTs, zu denen auch ChatGPT zählt, sind generative Sprachmodelle auf Transformer-Basis, vortrainiert mit Text aus dem Internet. GPT lernt Muster aus dem Text und versucht diese zu reproduzieren. Mehr Textzusammenhang erreicht es durch Aufmerksamkeit, noch mehr Aufmerksamkeit, genügend Zeit zum Nachdenken, einem kühlen Kopf und einer Prise Vergesslichkeit für einen Extraschuss Kreativität und Improvisation. Jeder Output ist zufällig. GPT-3 unterscheidet sich von seinen Vorgängern vor allem durch seine Grösse. GPT-3 schreibt und vervollständigt einfach seine Texte; mit einem Trick vervollständigt es aber auch unsere.
GPT-3 kann keine Fragen beantworten, nur Texte vervollständigen. Mit FAQs zur Beantwortung getrimmt wird es zu ChatGPT. Nur ein kleiner Teil der FAQs sind von Hand erzeugt.
Deutlich tiefer geht der heute auf DNIP erschienene Artikel, der genau diese Punkte von ChatGPT in dieser Reihenfolge erklärt. Auch (bzw. ganz besonders!) für Nichtinformatiker.
Künstliche Intelligenz
- Neuralink ist (noch) keine Schlagzeile wert
Diese Woche haben einige kurze Tweets von Elon Musk hunderte oder gar tausende von Artikeln ausgelöst. Wieso? - Die düsteren Datenhintergründe der KI
Generative Sprachmodelle wie beispielsweise ChatGPT erwecken den Eindruck, Neues zu erzeugen. Dabei kombinieren sie nur Muster neu. Wobei: Diese Kombinationen sind nicht immer wirklich neu. Mit ein bisschen Geschick kann man die Sprachmodelle dazu bringen, viel über ihre ansonsten geheimen Trainingsdaten auszuplappern. Diese Einblicke in die dunklen Hintergründe dieser Daten werden unseren Umgang mit Privatsphäre, … Weiterlesen: Die düsteren Datenhintergründe der KI - «Quasselquote» bei LLM-Sprachmodellen
Neulich erwähnte jemand, dass man ChatGPT-Output bei Schülern häufig an der «Quasselquote» erkennen könne. Das ist eine Nebenwirkung der Funktionsweise dieser Sprachmodelle, aber natürlich noch kein Beweis. Etwas Hintergrund. - «KI» und «Vertrauen»: Passt das zusammen?
Vor einigen Wochen hat Bruce Schneier einen Vortrag gehalten, bei dem er vor der der Vermischung und Fehlinterpretation des Begriffs «Vertrauen» gewarnt hat, ganz besonders beim Umgang mit dem, was heute von Firmen als «Künstliche Intelligenz» verkauft wird. - Wegweiser für generative KI-Tools
Es gibt inzwischen eine grosse Anzahl generativer KI-Tools, nicht nur für den Unterricht. Hier ein Überblick über verschiedene Tool-Sammlungen. - KI-Vergiftung
Eine aggressive Alternative zur Blockade von KI-Crawlern ist das «Vergiften» der dahinterliegenden KI-Modelle. Was bedeutet das? - Lehrerverband, ChatGPT und Datenschutz
Der Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür KI-Systeme nutzen dürften. - «Recht auf Vergessenwerden»: Ende durch KI?
Das Recht auf Vergessenwerden soll Menschen erlauben, dass Daten über sie nicht unnötig lange digital gespeichert oder verfügbar gemacht werden. Doch KI vergisst nicht gerne. Wie passt das zusammen? - Webseiten für KI-Crawler sperren?
Der grösste Teil der Texte, auf denen moderne KI-Sprachmodelle trainiert wurden, stammen von Webseiten. Wenn Sie eine haben, dann vermutlich auch von Ihrer. Was kann man da tun?
Schreibe einen Kommentar