Michael Seemann hat in rund 100 sehr gut lesbaren Seiten das Wichtigste zusammengefasst, was wir über ChatGPT & Co wissen. Und ein paar Szenarien für die Arbeitswelt analysiert.
Der Überblick
Lassen wir den Autor doch selbst sprechen, mit einer Aussage, die ich so definitiv unterschreiben kann:
es ist zum einen – ich denke – die beste deutschsprachige einführung in das thema large language models.
es ist zudem eine weitreichende darstellung des diskurses darüber, was die modelle können und was nicht.
das paper gibt zudem einen überblick über die bisher veröffentlichten studien und umfragen zu dem impact von llms auf den arbeitsmarkt.
und es wagt zuletzt einige spekulative szenarien, wie sich llms in 10 jahren auf den arbeitsmarkt ausgewirkt haben werden.
Michael Seemann anlässlich seiner Ankündigung des Papers, 2023-09-19
Das Sprachmodell
Michael Seemann erklärt sehr anschaulich die Funktionsweise von grossen Sprachmodellen (Large Language Model, LLM) für Nichtinformatiker. Besonderen Wert legt er bei seiner Erklärung darauf, dass immer nur das nächste Wort vorhergesagt wird. (Hier ist er etwas ungenau, es wird nämlich das nächste Token vorausgesagt, eine kurze Zeichensequenz. Aber das tut dem Textverständnis keinen Abbruch.)
Er zeigt auch auf, welche technischen Entwicklungen in naher Zukunft zu erwarten sind, nämlich Skalierung, Kompression, modulare Komposition und Multimodelle (dass für verschiedene Anwendungen unterschiedliche Modelle zum Einsatz kommen).
Ihre Fähigkeiten
Nach einer Einführung über die allgemein anerkannten Fähigkeiten und Unzulänglichkeiten der Modelle geht Seemann auf die Frage der „emergenten Fähigkeiten“ ein, Eigenschaften, die bei der Skalierung des Modells „plötzlich“ entstehen. Er zeigt auch auf, dass sich diese Plötzlichkeit durch den Versuchsaufbaus erklären lässt und man dabei nicht auf eine „Bewusstwerdung“ zurückgreifen muss.
In der öffentlichen Debatte wird gerne davor gewarnt, Systeme wie ChatGPT zu vermenschlichen (vgl. z. B. Shanahan 2022). Natürlich ist der Vergleich mit dem Menschen in vielerlei Hinsicht irreführend, und Vorsicht ist absolut angebracht. Eine andere Gefahr scheint aber ebenso groß zu sein: LLMs mit den Erwartungen zu begegnen, die man an herkömmliche Computersysteme hat. Herkömmliche Computersysteme machen zwar auch immer mal wieder Fehler, aber sie würden sich z. B. keine falschen Antworten ausdenken. Im Alltagsgebrauch von LLMs ist die Orientierung am Menschen deswegen manchmal gar nicht so falsch. ChatGPT ist ein bisschen so, wie der Kollege im Büro, der mit etwas zu viel Selbstvertrauen immer wieder Dinge erzählt, die plausibel klingen und die oft hilfreich sein können, die man aber immer erst überprüfen sollte, bevor man sie für sich nutzt.
Michael Seemann zur Antropomorphisierung von Sprachmodellen (Paper S. 32)
Er zeigt auch auf, dass wir für das „Verständnis“ von KI zuerst unsere eigenen Denkvorgänge verstehen müssen und dass Intelligenz schwierig festzustellen sei. Er geht deshalb auf verschiedene Theorien ein: Dass echtes Verständnis echte Erfahrungen voraussetze; dass passende Antworten nicht notwendigerweise Verständnis bedeuten; dass wir Menschen vielleicht auch unsere Umgebung nicht wirklich verstehen; …
[Mehr folgt an dieser Stelle, sobald ich den Text weitergelesen habe.]
Alles in allem eine exzellente Zusammenfassung und Interpretation der 150 Paper, die Seemann für dieses grossartige Werk zusammengetragen und gelesen hat.
Humans doing the hard jobs on minimum wage while the robots write poetry and paint is not the future I wanted.
(Frei übersetzt: Menschen, die bei Mindestlohn schuften während Roboter Gedichte schreiben und malen: Das ist nicht die Zukunft, von der ich träumte.)
Karl Sbarro auf Twitter, 2023-05-15
Literatur
- Michael Seemann: Künstliche Intelligenz, Large Language Models, ChatGPT und die Arbeitswelt der Zukunft, Forschungsförderung Working Paper, Hans-Böckler-Stiftung, 2023-09-19.
Das hier beschriebene Paper.
Künstliche Intelligenz
- Lehrerverband, ChatGPT und DatenschutzDer Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür … Weiterlesen
- «Recht auf Vergessenwerden»: Ende durch KI?Das Recht auf Vergessenwerden soll Menschen erlauben, dass Daten über sie nicht unnötig lange digital gespeichert oder verfügbar gemacht werden. Doch KI vergisst nicht gerne. Wie passt das zusammen?
- Webseiten für KI-Crawler sperren?Der grösste Teil der Texte, auf denen moderne KI-Sprachmodelle trainiert wurden, stammen von Webseiten. Wenn Sie eine haben, dann vermutlich auch von Ihrer. Was kann man da tun?
- KI und die Arbeitswelt der ZukunftMichael Seemann hat in rund 100 sehr gut lesbaren Seiten das Wichtigste zusammengefasst, was wir über ChatGPT & Co wissen. Und ein paar Szenarien für die Arbeitswelt analysiert. Der Überblick … Weiterlesen
- Todesstoss für ChatGPT & Co?Die New York Times verhandelt schon länger mit OpenAI über Urheberrechtsabgaben. Laut Berichten hat OpenAI für das Training von ChatGPT unautorisiert Materialien der New York Times genutzt. Das kann in … Weiterlesen
- Sinkt OpenAI?Schlagzeilen machen die Runde, dass OpenAI, die Firma hinter ChatGPT, schon nächstes Jahr Konkurs gehen könnte. Ein Versuch einer Analyse.
- Goethe oder GPThe?In «Wie funktioniert ChatGPT?» habe ich die Experimente von Andrej Karpathy mit Shakespeare-Texten wiedergegeben. Aber funktioniert das auch auf Deutsch? Zum Beispiel mit Goethe? Finden wir es heraus!
- KI: Alles nur Zufall?Wer von einer «Künstlichen Intelligenz» Texte oder Bilder erzeugen lässt, weiss, dass das Resultat stark auf Zufall beruht. Vor Kurzem erschien in der NZZ ein Beitrag, der die Unzuverlässigkeit der … Weiterlesen
- Hype-TechWieso tauchen gewisse Hype-Themen wie Blockchain oder Maschinelles Lernen/Künstliche Intelligenz regelmässig in IT-Projekten auf, obwohl die Technik nicht wirklich zur gewünschten Lösung passt? Oder es auch einfachere, bessere Ansätze gäbe? … Weiterlesen
- 📹 Die Technik hinter ChatGPTDer Digital Learning Hub organisierte 3 Impuls-Workshops zum Einsatz von ChatGPT in der Sekundarstufe II. Im dritten Teil präsentierte ich die Technik hinter ChatGPT. In der halben Stunde Vortrag werden … Weiterlesen
- «Jaw Dropping» ChatGPT-Vortrag«Jaw Dropping» sei es gewesen, meinte ein Zuhörer am Schluss des Vortrags: Ihm sei der Kiefer heruntergerutscht, als er begriffen habe, wie (vom Prinzip her) einfach ChatGPT die Antworten generiere. … Weiterlesen
- Ist ChatGPT für Ihre Anwendung ungefährlich?Ob man KI-Chatbots sicher einsetzen kann, hängt von der Anwendung ab. Aleksandr Tiulkanov hat deshalb ein Flussdiagramm als Entscheidungshilfe erstellt. Hier eine deutsche Übersetzung und ein paar Anmerkungen zum Korrekturlesen … Weiterlesen
- 🧑🏫 Vortrag zu KI-Chatbots: Revolution und wohin?Kaum noch ein Tag vergeht ohne neue Nachrichten, wie uns «Künstliche Intelligenz» (KI) in Zukunft helfen oder ersetzen soll. Insbesondere Chatbots sollen unsere Welt revolutionieren: Programme, welchen wir wie in … Weiterlesen
- Kurs: KI+ChatGPT verstehen, anwenden, erkennenNachdem laut Bericht der SRF insbesondere bei Lehrerinnen und Lehrern hoher Bedarf am Verstehen von ChatGPT und anderen künstlichen Intelligenzen besteht, habe ich mein gesammeltes Wissen dazu in einen Kurs … Weiterlesen
- Wie funktioniert ChatGPT?ChatGPT ist wohl das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell. Wir schauen etwas hinter die Kulissen, wie das „large language model“ GPT-3 und das darauf aufsetzende ChatGPT funktionieren.
Schreibe einen Kommentar