Liebes Internet,

es muss so 2005 gewesen sein, als ich mich das erste Mal jenseits von Filmen wie “2001 – A Space Odyssey” mit künstlicher Intelligenz auseinandergesetzt habe. Das war mitten im tiefsten KI-Winter (S'ouvre dans une nouvelle fenêtre). Ich war Teil einer Studiengruppe und wir bekamen die Aufgabe, einen Musikgenerator zu programmieren, also ein Programm, das automatisch Musik erzeugt, ohne dass ein Mensch etwas komponieren würde. Wir recherchierten mögliche Methoden wie etwa den Einsatz von neuronalen Netzen und maschinellem Lernen, verwarfen diese jedoch als zu aufwändig und – es war ja KI-Winter – auch als nicht besonders zielführend. Zum Glück hatten wir einen Musiker in unserer Gruppe, der einen Algorithmus schrieb, welcher nach wenigen einfachen Regeln ein paar Noten aneinander reihte. Außer dem Musiker verstand niemand von uns diesen Algorithmus, weil wir keine Ahnung von Harmonielehre hatten.

Der Algorithmus funktionierte gut, hatte aber ein Problem: Der Generator erzeugte zunächst immer dasselbe Musikstück. Wir fügten die Möglichkeit hinzu, ein paar Startparameter zu setzen, etwa die Tonart, aber auch dann führten dieselben Parameter zu immer denselben Tonfolgen und Akkorden. Also fügten wir einen (Pseudo-)Zufallsgenerator (S'ouvre dans une nouvelle fenêtre) hinzu, eine Grundfunktion, die jeder PC hat. Damit gelang es schließlich: Jeder Durchlauf der Programmes erzeugte ein anderes simples Musikstück im Technostil. Wir führten unser Programm im Seminar vor, der Professor war außerordentlich zufrieden und wir erhielten sehr gute Noten, obwohl nur einer von uns wirklich verstand, wie das Ding funktionierte. Der Generator konnte scheinbar komponieren und erweckte den Eindruck von Intelligenz. Doch wir wussten, dass er strengen, deterministischen Regeln folgte und eigentlich immer dieselben Tonfolgen erzeugte, solange kein Zufall im Spiel war. Algorithmus + Zufall = Intelligenz erschien uns wie ein billiger Taschenspielertrick.

Als Ende 2022 ChatGPT 3.5 erschien, dachte ich kurz: Das ändert alles. Generative künstliche Intelligenz wird tatsächlich vieles verändern und nur weniges zum Guten, aber dazu ein andermal mehr. Was generativer KI immer noch eigen ist, ist der Taschenspielertrick, uns Zufall für Intelligenz zu verkaufen. Dazu muss ich ein wenig ausholen:

Große Sprachmodelle (Large Language Models, LLM) sind riesengroße neuronale Netze, in denen per Training die Muster menschlicher Sprache gespeichert sind. Wenn man ChatGPT eine Frage stellt, wird ein fast unendlich komplexes statistisches Verfahren durchlaufen. Der Generator reiht Wörter (eigentlich Tokens, Worthäppchen) aneinander und im Modell sind die statistischen Wahrscheinlichkeiten gespeichert, welches Wort auf die bisher erzeugten Wörter folgt. Diese Wahrscheinlichkeiten ergeben sich aus den Textmassen, mit denen das Sprachmodell trainiert worden ist. Die Antworten von ChatGPT enthalten so viel Wahrheit wie die ursprünglichen Trainingsdaten und so viel Unsinn wie die ursprünglichen Trainingsdaten. Dass LLMs mit Büchern, Zeitschriften und Webseiten aus dem Internet trainiert wurden und deshalb zwangsläufig Fehler enthalten müssen, ist auch nichts Neues. Bei ChatGPT steht am unteren Rand “ChatGPT kann Fehler machen. Überprüfe wichtige Informationen.”

Die Linguistin Emily M. Bender fand eine treffende Umschreibung: LLMs sind “stochastische Papageien” (S'ouvre dans une nouvelle fenêtre). Sie “wissen” nichts. Sie denken nicht. Sie schlussfolgern nicht. Sie wenden keine Logik auf Sachverhalte an. Sie haben auch keine Expertise in irgendwas. Weder verstehen sie den Sinn der Fragen, die ihnen gestellt werden, noch der Antworten, die sie geben. Sie labern einfach nur, aber das sehr sehr überzeugend und für manche Anwendungsfälle vielleicht begrenzt brauchbar.

Eigentlich müssten sie auf die gleiche Frage die immer gleiche Antwort geben. Dass sie so “lebendig” wirken und auf den gleichen Input immer wieder anderen Output erzeugen, dass ChatGPT also “kreativ” wirkt und den Anschein von Intelligenz erweckt, liegt daran, dass dem Algorithmus eine Prise Zufall hinzugefügt wurde. Die Intelligenz von ChatGPT, Copilot, Gemini & Co. ist eine Illusion, im Grunde wie beim äußert primitiven Chatbot Eliza (S'ouvre dans une nouvelle fenêtre), nur auf einem weitaus höheren Niveau.

Ich glaube, das wesentliche Problem von LLMs ist, dass versucht wird, sie in kybernetischen Kontexten einzusetzen, LLMs aber völlig unkybernetisch sind. Das muss ich erklären: Ein kybernetisches System dient der automatischen Steuerung. Primitives Beispiel ist immer die Heizungssteuerung: Ein Messfühler gibt ein Signal, sobald eine Temperatur unterschritten wird, das die Heizung anwirft, und ein Stopp-Signal, sobald eine bestimmte Temperatur überschritten wird. Kybernetische Systeme sind voll von solchen "Entscheidern". Die Entscheidungen können von Menschen getroffen werden, von maschinellen Gerätschaften, von analoger Elektronik und natürlich von digitalen Systemen.

Künstliche Intelligenz an sich passt da auch gut rein. Ein Muster auf einem Röntgenbild ergibt (mit hoher Zuverlässigkeit) den Output, ob Krebs drauf zu sehen ist oder nicht. Ein selbstlenkendes Auto entscheidet ständig (und mit hoher Zuverlässigkeit) wie es lenken, beschleunigen und bremsen muss. Ein Entscheider eignet sich für ein kybernetisches System, wenn er determiniert ist, also ein bestimmter Input immer zum gleichen Output führt.

Doch die LLMs, die wir im Alltag benutzen, sind sie nicht determiniert. Der gleiche Input führt zu immer wieder anderem Output. Mal wird mehr "halluziniert", mal weniger. Mal enthält der Output in diesem Detail einen Fehler, mal in einem anderen Detail, und manchmal fehlt dieses Detail auch ganz. Die Entwicklerïnnen von LLMs haben den gleichen Trick angewendet wie wir damals bei unserem Musikgenerator und eine Prise Zufall hinzugefügt, damit das Ergebnis “lebendiger” wird. Dieser Zufall lässt sich sogar steuern über die Parameter “Seed” und “Temperature”. Letzterer regelt, wie scheinbar “kreativ” und zugleich wie “halluziniert” der Output einer LLM ist. Wer ein LLM lokal auf dem PC installiert oder einen Pro-Account bei ChatGPT hat, kann mit diesen Parametern spielen. Es gibt auch Anwendungen, bei denen der Zufall mit Absicht ausgeschaltet wird, um reproduzierbare Ergebnisse zu erlangen. Das ist aber nicht der Normalfall. Der Normalfall sind pseudokreative, halluzinierende LLMs. Ja, auch der Copilot, der in Excel Zellen automatisch ausfüllen soll.

Solche LLMs sind also ganz und gar ungeeignet, in kybernetischen Systemen zu funktionieren, in welchen anhand von Fakten logische Schlüsse zu ziehen und Entscheidungen zu treffen sind. Doch genau das wird immer wieder von ihnen erwartet, insbesondere, wenn sie in Unternehmen und Organisationen eingesetzt werden. Ein Beispiel: Eine Juristïn, die streng einem Prüfschema folgt, sollte eigentlich deterministisch sein und mit demselben Input immer zum gleichen Output gelangen. (Dass das in der Praxis nicht funktioniert, liegt an der Messiness der Welt und der Interpretierbarkeit von Sachverhalten, nicht jedoch am Grundprinzip des juristischen Prüfschemas, das stets klaren Wenn-Dann-Regeln folgt.) Folglich sind LLMs völlig ungeeignet für juristische Tätigkeiten, aber genau dort wird zunehmend versucht, sie einzusetzen.

Dasselbe gilt analog für viele andere berufliche Kontexte. Nicht einmal ein Task, für den LLMs scheinbar gebaut sind, kann sie zuverlässig erledigen, nämlich Texte zusammenfassen. Bei ein und demselben Text kommt immer eine (unperfekte) Zusammenfassung heraus, weil das LLM versucht zu entscheiden, was in die Zusammenfassung gehört und was nicht, und das halt nicht zuverlässig kann. Das ist prinzipbedingt, das geht auch nicht weg, wenn man das LLM größer macht. Durch geschicktes Prompten und Nachfragen lässt sich ein LLM vielleicht dazu bringen, brauchbare Textzusammenfassungen zu schreiben, aber dann greift ja schon wieder ein Mensch steuernd ein.

Ich glaube, entlang dieses Unterschiedes von deterministisch/nicht deterministisch und kybernetisch/nicht kybernetisch bewegt sich auch die "KI-Kritik", die ja immer wieder betont, dass Mustererkennung zum Beispiel auf medizinischen Röntgenbildern eine feine Sache sei, aber mit dem breiten Einsatz von LLMs Bauchschmerzen hat. Es gibt noch eine ganze Reihe von weiteren Gründen, warum der Einsatz von generativer KI kritisch zu sehen und sogar abzulehnen ist. Unter anderem hat Jürgen “Tante” Geuter viel darüber geschrieben (S'ouvre dans une nouvelle fenêtre) und Mario Sixtus eine sehr gute Doku darüber gedreht (S'ouvre dans une nouvelle fenêtre). Dazu vielleicht ein andermal mehr.

Viele Grüße, liebes Internet, und hoffentlich bis bald,

Dein Enno Park

Berlin, den 30. November 2025

P.S.: Dies ist mein erster Newsletter seit fast drei Jahren. Damals hieß er “Technik, Kultur und Katzencontent”. Doch dann bekam ich Covid und wurde einfach nicht wieder gesund. Longcovid/Postcovid hindert mich bis heute am Lesen, Denken und Schreiben, ja eigentlich am Leben. Deshalb kann ich nicht mehr arbeiten und deshalb werde ich diesen Newsletter nur unregelmäßig pflegen können. Vielleicht schreibe ich auch nochmal mehr über die Erkrankung und was ihre Auswirkungen für die Betroffenen bedeutet. Ich suche noch nach den richtigen Worten und der richtigen Balance aus Öffentlichkeit und Privatsphäre.

P.P.S.: Gefällt dir dieser Newsletter oder was ich auf Mastodon (S'ouvre dans une nouvelle fenêtre), Bluesky (S'ouvre dans une nouvelle fenêtre) und anderswo (S'ouvre dans une nouvelle fenêtre) schreibe?

👉  Dann unterstütze mich hier! (S'ouvre dans une nouvelle fenêtre) 👈

Dieser Newsletter ist gratis für diejenigen, die sich einen Blick hinter eine Paywall nicht erlauben können. Deine Mitgliedschaft hilft, dass es so bleibt. Ich danke herzlich!