Michael Seemann hat in rund 100 sehr gut lesbaren Seiten das Wichtigste zusammengefasst, was wir über ChatGPT & Co wissen. Und ein paar Szenarien für die Arbeitswelt analysiert.
Der Überblick
Lassen wir den Autor doch selbst sprechen, mit einer Aussage, die ich so definitiv unterschreiben kann:
es ist zum einen – ich denke – die beste deutschsprachige einführung in das thema large language models.
es ist zudem eine weitreichende darstellung des diskurses darüber, was die modelle können und was nicht.
das paper gibt zudem einen überblick über die bisher veröffentlichten studien und umfragen zu dem impact von llms auf den arbeitsmarkt.
und es wagt zuletzt einige spekulative szenarien, wie sich llms in 10 jahren auf den arbeitsmarkt ausgewirkt haben werden.
Michael Seemann anlässlich seiner Ankündigung des Papers, 2023-09-19
Das Sprachmodell
Michael Seemann erklärt sehr anschaulich die Funktionsweise von grossen Sprachmodellen (Large Language Model, LLM) für Nichtinformatiker. Besonderen Wert legt er bei seiner Erklärung darauf, dass immer nur das nächste Wort vorhergesagt wird. (Hier ist er etwas ungenau, es wird nämlich das nächste Token vorausgesagt, eine kurze Zeichensequenz. Aber das tut dem Textverständnis keinen Abbruch.)
Er zeigt auch auf, welche technischen Entwicklungen in naher Zukunft zu erwarten sind, nämlich Skalierung, Kompression, modulare Komposition und Multimodelle (dass für verschiedene Anwendungen unterschiedliche Modelle zum Einsatz kommen).
Ihre Fähigkeiten
Nach einer Einführung über die allgemein anerkannten Fähigkeiten und Unzulänglichkeiten der Modelle geht Seemann auf die Frage der „emergenten Fähigkeiten“ ein, Eigenschaften, die bei der Skalierung des Modells „plötzlich“ entstehen. Er zeigt auch auf, dass sich diese Plötzlichkeit durch den Versuchsaufbaus erklären lässt und man dabei nicht auf eine „Bewusstwerdung“ zurückgreifen muss.
In der öffentlichen Debatte wird gerne davor gewarnt, Systeme wie ChatGPT zu vermenschlichen (vgl. z. B. Shanahan 2022). Natürlich ist der Vergleich mit dem Menschen in vielerlei Hinsicht irreführend, und Vorsicht ist absolut angebracht. Eine andere Gefahr scheint aber ebenso groß zu sein: LLMs mit den Erwartungen zu begegnen, die man an herkömmliche Computersysteme hat. Herkömmliche Computersysteme machen zwar auch immer mal wieder Fehler, aber sie würden sich z. B. keine falschen Antworten ausdenken. Im Alltagsgebrauch von LLMs ist die Orientierung am Menschen deswegen manchmal gar nicht so falsch. ChatGPT ist ein bisschen so, wie der Kollege im Büro, der mit etwas zu viel Selbstvertrauen immer wieder Dinge erzählt, die plausibel klingen und die oft hilfreich sein können, die man aber immer erst überprüfen sollte, bevor man sie für sich nutzt.
Michael Seemann zur Antropomorphisierung von Sprachmodellen (Paper S. 32)
Er zeigt auch auf, dass wir für das „Verständnis“ von KI zuerst unsere eigenen Denkvorgänge verstehen müssen und dass Intelligenz schwierig festzustellen sei. Er geht deshalb auf verschiedene Theorien ein: Dass echtes Verständnis echte Erfahrungen voraussetze; dass passende Antworten nicht notwendigerweise Verständnis bedeuten; dass wir Menschen vielleicht auch unsere Umgebung nicht wirklich verstehen; …
[Mehr folgt an dieser Stelle, sobald ich den Text weitergelesen habe.]
Alles in allem eine exzellente Zusammenfassung und Interpretation der 150 Paper, die Seemann für dieses grossartige Werk zusammengetragen und gelesen hat.
Humans doing the hard jobs on minimum wage while the robots write poetry and paint is not the future I wanted.
(Frei übersetzt: Menschen, die bei Mindestlohn schuften während Roboter Gedichte schreiben und malen: Das ist nicht die Zukunft, von der ich träumte.)
Karl Sbarro auf Twitter, 2023-05-15
Literatur
- Michael Seemann: Künstliche Intelligenz, Large Language Models, ChatGPT und die Arbeitswelt der Zukunft, Forschungsförderung Working Paper, Hans-Böckler-Stiftung, 2023-09-19.
Das hier beschriebene Paper.
Künstliche Intelligenz
- Was verraten KI-Chatbots?«Täderlät» die KI? Vor ein paar Wochen fragte mich jemand besorgt, ob man denn gar nichts in Chatbot-Fenster eingeben könne, was man nicht auch öffentlich teilen würde. Während der Erklärung… Was verraten KI-Chatbots? weiterlesen
- KI-DatenkreisläufeHier ein kleiner Überblick über die Datenkreisläufe rund um generative KI, insbesondere grosse Sprachmodelle (Large Language Model, LLM) wie ChatGPT, Gemini oder Claude.
- Der Homo Ludens muss Werkzeuge spielend erfahren. Auch KIFast alle Werkzeuge, die wir «spielend» beherrschen, haben wir spielend gelernt. Das sollten wir auch bei generativer KI.
- Der Turing-Test im Laufe der ZeitVor einem knappen Jahrhundert hat sich Alan Turing mit den Fundamenten der heutigen Informatik beschäftigt: Kryptographie, Komplexität/Rechenaufwand, aber auch, ob und wie wir erkennen könnten, ob Computer „intelligent“ seien. Dieses… Der Turing-Test im Laufe der Zeit weiterlesen
- «QualityLand» sagt die Gegenwart voraus und erklärt sieIch habe vor Kurzem das Buch «QualityLand» von Marc-Uwe Kling von 2017 in meinem Büchergestell gefunden. Und war erstaunt, wie akkurat es die Gegenwart erklärt. Eine Leseempfehlung.
- Kritik an KI ist nötig. Aber wie?KI ist seit 1½ Jahren in aller Munde. Die Meinungen gehen von Woher kommt diese Uneinigkeit? Daran, dass die Kritik an der KI faul geworden sei und nur noch wiederkäue,… Kritik an KI ist nötig. Aber wie? weiterlesen
- Neuralink ist (noch) keine Schlagzeile wertDiese Woche haben einige kurze Tweets von Elon Musk hunderte oder gar tausende von Artikeln ausgelöst. Wieso?
- Die düsteren Datenhintergründe der KIGenerative Sprachmodelle wie beispielsweise ChatGPT erwecken den Eindruck, Neues zu erzeugen. Dabei kombinieren sie nur Muster neu. Wobei: Diese Kombinationen sind nicht immer wirklich neu. Mit ein bisschen Geschick kann… Die düsteren Datenhintergründe der KI weiterlesen
- «Quasselquote» bei LLM-SprachmodellenNeulich erwähnte jemand, dass man ChatGPT-Output bei Schülern häufig an der «Quasselquote» erkennen könne. Das ist eine Nebenwirkung der Funktionsweise dieser Sprachmodelle, aber natürlich noch kein Beweis. Etwas Hintergrund.
- «KI» und «Vertrauen»: Passt das zusammen?Vor einigen Wochen hat Bruce Schneier einen Vortrag gehalten, bei dem er vor der der Vermischung und Fehlinterpretation des Begriffs «Vertrauen» gewarnt hat, ganz besonders beim Umgang mit dem, was… «KI» und «Vertrauen»: Passt das zusammen? weiterlesen
- Wegweiser für generative KI-ToolsEs gibt inzwischen eine grosse Anzahl generativer KI-Tools, nicht nur für den Unterricht. Hier ein Überblick über verschiedene Tool-Sammlungen.
- KI-VergiftungEine aggressive Alternative zur Blockade von KI-Crawlern ist das «Vergiften» der dahinterliegenden KI-Modelle. Was bedeutet das?
- Lehrerverband, ChatGPT und DatenschutzDer Dachverband der Lehrerinnen und Lehrer (LCH) sei besorgt, dass es in der Schweiz keine einheitliche Regelung gäbe, wie Lehrpersonen mit Daten ihrer Schützlinge umgehen sollen und ob sie dafür… Lehrerverband, ChatGPT und Datenschutz weiterlesen
- «Recht auf Vergessenwerden»: Ende durch KI?Das Recht auf Vergessenwerden soll Menschen erlauben, dass Daten über sie nicht unnötig lange digital gespeichert oder verfügbar gemacht werden. Doch KI vergisst nicht gerne. Wie passt das zusammen?
- Webseiten für KI-Crawler sperren?Der grösste Teil der Texte, auf denen moderne KI-Sprachmodelle trainiert wurden, stammen von Webseiten. Wenn Sie eine haben, dann vermutlich auch von Ihrer. Was kann man da tun?
Schreibe einen Kommentar