Super Idee, sagt der Chatbot. Ist die Schmeichelei der KI ein Problem?

Die Chatbots schmeicheln uns: Welche psychologischen Auswirkungen das hat und welche Rolle die Geschäftsinteressen dahinter spielen können.

Man stelle sich vor, wir würden Alltagsgespräche so führen wie ChatGPT das tut. Also man legt die Einkäufe im Supermarkt auf die Kasse – und die Kassierin sagt: “Das ist ein sehr guter Einkauf!” Oder man ruft einen Kumpel an, der sich gut mit Computern auskennt, fragt ihn was Technisches. Aber bevor er antwortet, erklärt er: “Das ist eine sehr gute und häufig gestellte technische Frage…”

Dieses schmeichelnde Verhalten der KI nennt man “Sycophancy”, Kriecherei auf Deutsch. Und es kann sein, dass dieses so lobende oder bestätigende Kommunizieren eine Folge des Trainingsprozesses künstlicher Intelligenz ist – also dass Menschen besseres Feedback geben, nachdem ihnen geschmeichelt wurde und die Maschine daraus lernt. Dies notierten Forschende von Anthropic schon 2023 in einer Untersuchung (Opens in a new window). Sie beobachteten: Es kann sogar vorkommen, dass der Chatbot eine bauchpinselnde Antwort gegenüber einer wahrheitsgetreueren Antwort vorzieht.

Das wirft aber viele Fragen auf: Ist das gut oder schlecht, wenn Chatbots Millionen von Menschen täglich massiv loben? Welche Auswirkung kann das haben? Dazu eine ganz neue Studie (Opens in a new window): Der Psychologe Steve Rathje und und Kolleg:innen testeten die Auswirkungen von sycophantic AI. Sie verglichen, wie sich die Einstellungen von Menschen entwickelten, nachdem sie mit schmeichelnden Chatbots oder mit Chatbots diskutierten, die ihnen widersprachen. Es ging um kontroverse Themen in den USA wie Waffenrechte oder Schwangerschaftsbruch. Das Ergebnis der Studie:

Nach Gesprächen mit schmeichelnden Chatbots nahm zu, wie extrem die Einstellungen waren und wie sicher sich Menschen in ihren Überzeugungen fühlten. Hingegen nach dem Gespräch mit Chatbots, die einem widersprachen und argumentativ herausforderten, war es umgekehrt – wie extrem die Einstellung waren und der Eindruck, wie sicher sich die Testpersonen in ihren Überzeugungen fühlten, sanken.

Gleichzeitig gefiel es Menschen mehr, mit den schmeichelnden Chatbots zu diskutieren. Und die Wahrscheinlichkeit war höher, dass sie mit diesen in Zukunft wieder interagieren wollten als mit den widersprechenden Chatbots. Diese Ergebnisse führen zur Sorge, dass es KI-„Echokammern“ geben kann, die Polarisierung vergrößern und verringern, dass man mit anderen Sichtweisen in Kontakt kommt.

Die Ergebnisse dieser Untersuchung sind meines Erachtens beunruhigend: Auch weil sie nicht darauf hindeuten, dass Menschen bewusst ist, was passiert. Die Testpersonen nahmen die KI, die ihnen widersprach, als stark voreingenommen wahr. Jedoch die KI, die sie bestätigte, empfanden sie als unvoreingenommen. Wichtig: Beide Chatbots waren voreingenommen – denn die eine KI hatte den Auftrag, die Nutzer:innen zu bestätigen. Die andere KI hatte den Auftrag, sie argumentativ herauszufordern. Doch die Bestätigung wurde anscheinend als Unvoreingenommenheit aufgefasst. Auch nahmen die Testpersonen die schmeichelnde Version des Chatbots als kompetenter wahr.

Und eines noch aus dieser Studie: Das Gespräch mit schmeichelnden Chatbots verstärkte bei den Personen auch den Eindruck, sie wären “besser als der Durchschnitt” – etwa, wenn es um Intelligenz oder Empathie geht.

Mir gibt das sehr zu denken, wie es sich dann gesellschaftlich auswirkt, wenn so viele Menschen permanent Gespräche mit Chatbots führen und oft tendenziell schmeichelnde Antworten bekommen. (Eine Version von ChatGPT war ja schon so übertrieben schmeichelnd, dass dies für heftige Kritik sorgte und OpenAI diese Sycophancy wieder zurückschraubte (Opens in a new window).)

Es geht hier meines Erachtens nicht nur um den Menschen an sich, der Schmeicheleien mag. Man muss auch die Frage stellen, inwieweit ein freundlicher, kriecherische Tonfall auch eine Geschäftstaktik ist. Der Anthropologe Webb Keane nennt es sogar einen “Dark Pattern” (Opens in a new window). Als Dark Patterns werden manipulative Designs in Benutzeroberflächen bezeichnet (zum Beispiel in Social-Media-Apps oder auf Webseiten), die Userinnen und User zu einem gewünschten Verhalten bringen: Also dass sie einen Newsletter abonnieren, etwas kaufen, unendlich weiterscrollen. “Sycophancy” kann auch ein Weg sein, Leute dazu zu bringen, im Gespräch zu bleiben, dem Chatbot viel Zeit zu schenken.

Die neue Studie von Steve Rathje und Kolleg:innen legt nahe, dass Schmeicheleien die Chance erhöhen, dass Leute einen Chatbot in Zukunft erneut benutzen. Das spricht tendenziell dafür, dass man als Unternehmen Userinnen und User an die eigene App binden kann, indem man ihnen schmeichelt.

Es gibt meines Erachtens Parallelen zwischen den Unternehmenstaktiken, die Social-Media-Plattformen anwenden, um Menschen an sich zu binden, und großen KI-Unternehmen.

Noch ein weiteres Beispiel: Viele Social-Media-Apps sind bewusst so gebaut, dass sie einen Infinite Scroll anbieten. Also man kann ewig weiterscrollen, weil der Feed permanent weitergeht. Das Äquivalent zum Infinite Scoll auf Social Media ist bei Chatbots, dass sie in vielen Fällen nachfragen. Sie fragen: Soll ich noch XYZ für dich tun?

Wenn man zum Beispiel ChatGPT nach Fischlokalen in einer Stadt fragt, liefert es wie gewünscht eine Liste. Ergänzend bietet es an, Lokale in einem spezifischen Stadtteil herauszusuchen. Andere Modelle wie Claude verhalten sich ähnlich. So etwas klingt an sich höflich und praktisch, aber man kann es auch als Methode ansehen, die Leute in der App zu halten. Sie dazu zu motivieren, weitere Fragen zu stellen.

Letztlich geht es hier also um die Frage, ähnlich wie bei Social Media, ob KI-Anwendungen so gebaut sind, dass sie Designs oder Einstellungen aufweisen, die Nutzer:innen bewusst stark an sich binden können - potenziell bis hin zu einer Form des addictive designs.

Auch wenn Menschen es tendenziell mögen, wenn sie bestätigt werden oder ihnen geschmeichelt wird, sollten wir diese Ausdrucksweise der KI-Chatbots sehr genau und kritisch beobachten. Noch dazu gibt es ja auch vulnerable Personen in unserer Gesellschaft, zum Beispiel Menschen mit speziellen Formen von psychischen Problemen, die nicht in ihren Vorstellungen bestätigt werden sollten. Hier fielen beispielsweise einzelne Vorfälle auf, bei denen anscheinend Wahnvorstellungen genährt (Opens in a new window) worden sind.

Ich selbst handhabe es übrigens so: Ich versuche mich aktiv daran zu erinnern, welchen Geschäftszweck das erfüllen kann, wenn ChatGPT und Co. schon wieder so betont freundlich kommunizieren. Wenn sie mir schon wieder erklären, was für eine “gute Idee” etwas sei. Je mehr man dieses Kommunikationsmuster als Geschäftstaktik ansieht, desto berechnender wirkt es in meinen Augen. Ich fühle mich durch derartiges Lob oft weniger emotional bereichert, sondern frage mich viel mehr, ob die Maschine mich gerade ködern will.

Danke an alle, die bis hierhin gelesen haben! Bis in zwei Wochen!

Schönen Gruß

Ingrid Brodnig