ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren.
ChatGPT und andere KI-Technologien werden Ihnen in den nächsten Monaten vermehrt begegnen, möglicherweise in einer der folgenden Formen:
- Sie wollen Unterstützung durch KI-Systeme für Texte, Grafiken, Entscheidungen;
- jemand will Ihnen oder Ihrer Firma eine KI-Lösung verkaufen, die Ihre wichtigsten Probleme lösen soll (oder Sie wollen sich auf die Suche nach Lösungen machen); oder
- Sie müssen sich bei einer Firma oder Behörde durch deren „benutzerfreundliches“ KI-Chat-Portal kämpfen.
In allen diesen Fällen hilft es, wenigstens etwas Einblick in die Technik hinter ChatGPT und vielen anderen System für die Künstliche Intelligenz, insbesondere Maschinelles Lernen („machine learning“) gehabt zu haben. Die neue Technologie ist zu wichtig, um sie zu ignorieren.
Ich habe versucht, die sehr komplexe Materie auch für Laien verständlich zu vermitteln. Dies wird mir nicht in allen Bereichen für alle Leserinnen und Leser gelungen sein. Trotzdem werden Ihnen einige der Aussagen, Vergleiche und Analogien haften bleiben. Einige davon werden Ihnen vielleicht ein Schmunzeln entlocken.
Wie jede neue Technologie werden sich auch im KI-Bereich in den nächsten Monaten und Jahren Rattenfänger und Schlangenölverkäufer tummeln. Auch falls Sie nicht jedes Detail des Artikels verstehen sollten, so sind Sie damit besser gerüstet, um falsche Versprechungen zu enttarnen.
Die GPTs, zu denen auch ChatGPT zählt, sind generative Sprachmodelle auf Transformer-Basis, vortrainiert mit Text aus dem Internet. GPT lernt Muster aus dem Text und versucht diese zu reproduzieren. Mehr Textzusammenhang erreicht es durch Aufmerksamkeit, noch mehr Aufmerksamkeit, genügend Zeit zum Nachdenken, einem kühlen Kopf und einer Prise Vergesslichkeit für einen Extraschuss Kreativität und Improvisation. Jeder Output ist zufällig. GPT-3 unterscheidet sich von seinen Vorgängern vor allem durch seine Grösse. GPT-3 schreibt und vervollständigt einfach seine Texte; mit einem Trick vervollständigt es aber auch unsere.
GPT-3 kann keine Fragen beantworten, nur Texte vervollständigen. Mit FAQs zur Beantwortung getrimmt wird es zu ChatGPT. Nur ein kleiner Teil der FAQs sind von Hand erzeugt.
Deutlich tiefer geht der heute auf DNIP erschienene Artikel, der genau diese Punkte von ChatGPT in dieser Reihenfolge erklärt. Auch (bzw. ganz besonders!) für Nichtinformatiker.
Künstliche Intelligenz
- Lehrerverband, ChatGPT und Datenschutz
Der Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür KI-Systeme nutzen dürften. - «Recht auf Vergessenwerden»: Ende durch KI?
Das Recht auf Vergessenwerden soll Menschen erlauben, dass Daten über sie nicht unnötig lange digital gespeichert oder verfügbar gemacht werden. Doch KI vergisst nicht gerne. Wie passt das zusammen? - Webseiten für KI-Crawler sperren?
Der grösste Teil der Texte, auf denen moderne KI-Sprachmodelle trainiert wurden, stammen von Webseiten. Wenn Sie eine haben, dann vermutlich auch von Ihrer. Was kann man da tun? - KI und die Arbeitswelt der Zukunft
Michael Seemann hat in rund 100 sehr gut lesbaren Seiten das Wichtigste zusammengefasst, was wir über ChatGPT & Co wissen. Und ein paar Szenarien für die Arbeitswelt analysiert. - Todesstoss für ChatGPT & Co?
Die New York Times verhandelt schon länger mit OpenAI über Urheberrechtsabgaben. Laut Berichten hat OpenAI für das Training von ChatGPT unautorisiert Materialien der New York Times genutzt. Das kann in mehrfacher Sicht teuer werden. - Sinkt OpenAI?
Schlagzeilen machen die Runde, dass OpenAI, die Firma hinter ChatGPT, schon nächstes Jahr Konkurs gehen könnte. Ein Versuch einer Analyse. - Goethe oder GPThe?
In «Wie funktioniert ChatGPT?» habe ich die Experimente von Andrej Karpathy mit Shakespeare-Texten wiedergegeben. Aber funktioniert das auch auf Deutsch? Zum Beispiel mit Goethe? Finden wir es heraus! - KI: Alles nur Zufall?
Wer von einer «Künstlichen Intelligenz» Texte oder Bilder erzeugen lässt, weiss, dass das Resultat stark auf Zufall beruht. Vor Kurzem erschien in der NZZ ein Beitrag, der die Unzuverlässigkeit der KI vor allem dem Zufall in die Schuhe schob. Doch so einfach ist das nicht. - Hype-Tech
Wieso tauchen gewisse Hype-Themen wie Blockchain oder Maschinelles Lernen/Künstliche Intelligenz regelmässig in IT-Projekten auf, obwohl die Technik nicht wirklich zur gewünschten Lösung passt? Oder es auch einfachere, bessere Ansätze gäbe? Felix von Leitner hielt im Herbst 2021 einen Vortrag zu «Hype-Tech», in dem er einige Gründe dafür aufzeigt (Navigation in den Folien mittels Wischgesten oder … Weiterlesen
Schreibe einen Kommentar