Skip to main content

Der KI-Detektor, der nichts beweist

Das StrateKI-Frühstücksbuffet No. 4

Liebe Leserin, lieber Leser,

drei Fälle in wenigen Tagen, alle unter dem Label „KI-Skandal”. Falls du nicht alle mitbekommen hast, kurz zur Orientierung:

Ich möchte ein Plädoyer für das Gegenteil halten. Wir brauchen keinen Detektor. Aus zwei Gründen. Erstens funktioniert er nicht zuverlässig. Und zweitens beantwortet er die falsche Frage. Selbst dann, wenn er zuverlässig funktionieren würde.

Detektoren bleiben technische Hilfsmittel

KI-Detektoren liefern unter Laborbedingungen beeindruckende Werte: Lange Texte, unbearbeitet, sauber. Stimmt. Unabhängige, von Fachleuten geprüfte Studien (peer-reviewed) setzen die echte Zuverlässigkeit allerdings eher bei 60 bis 80 Prozent an. Im Klartext: Kein gängiges Werkzeug ist verlässlich genug, um allein als Beweis zu taugen. Das sagen auch die Anbieter selbst: Ein Score ist ein Indiz, kein Nachweis.

Drei Punkte, die du kennen solltest:

  1. Die Falsch-Positiven treffen die Falschen. Falsch-positiv heißt, das Tool ruft „KI”, obwohl ein Mensch geschrieben hat. Eine viel zitierte Stanford-Studie fand bei Essays von Nicht-Muttersprachlern eine Falsch-Positiv-Rate von mehr als 60 Prozent. Muttersprachliche Texte wurden dagegen fast fehlerfrei als „menschlich” erkannt, bei sehr kurzen Texten ist der Effekt am stärksten. Detektoren mögen klare, formale, strukturierte Sprache. Also genau das, was sich eine gute Schreiberin antrainiert. (Quelle (Opens in a new window))

  2. Wer bearbeitet, rutscht durch. Schon einmal Umformulieren (paraphrasieren) kann die Erkennung massiv einbrechen lassen. Der schludrige Copy-paste-Typ fällt also eher auf als die sorgfältige Kollegin, die den Entwurf zerlegt, umschreibt und zu ihrem eigenen macht. (Quelle (Opens in a new window))

Diese Befunde sind von 2023 – und ja, die besten Tools haben seither ihre Trefferquoten verbessert. Nur: Aktuelle Untersuchungen dokumentieren dieselben Schwächen weiter, von der Verzerrung gegen Nicht-Muttersprachler bis zur leichten Umgehbarkeit.

  1. Es gibt eine mathematische Decke. Je menschlicher die Modelle schreiben, desto kleiner wird der messbare Abstand zwischen Mensch und Maschine. Und desto näher rückt selbst der bestmögliche Detektor ans reine Raten. (Quelle wie bei 2.)

Und anders als die Messwerte veraltet dieser Befund nicht. Er besagt ja gerade: Je besser die Modelle werden, desto aussichtsloser wird die Erkennung. 2026 gilt das mehr als 2023, nicht weniger.

Wer auf dieser Grundlage jemandem die Feder aus der Hand nimmt, erwischt im Zweifel die engagierte Nicht-Muttersprachlerin und übersieht den, der wirklich mit KI gearbeitet hat.

Wir müssen genau hinschauen

Aber selbst ein perfekter Detektor beantwortet nur die eine Frage, die in keinem der drei Fälle die entscheidende war: Wurde KI benutzt? Schauen wir hin: Selbst wenn ein Detektor bei Casdorff „KI” angezeigt hätte, er würde nicht sagen, ob der Autor Gewichtung und Haltung verantwortet. Bei Voigt wird's entlarvend. Erfundene Zitate erkennt kein Detektor, für ihn sehen sie aus wie echte. Das Werkzeug ist gegen die gefährlichste Form von KI-Müll blind. Und beim Digitalminister blieb am Ende nur: Da wurde ein Werkzeug benutzt, offengelegt und der Mensch entscheidet. Ich sehe da keinen Skandal.

Was ist die bessere Frage? 

Nicht: Hat hier eine KI geschrieben oder mitgeschrieben? Sondern: Stimmen die Fakten, sind die Zitate echt? Wer verantwortet Urteil, Gewichtung und Haltung? Ist transparent, was transparent gehört? Und die Frage, die wir am liebsten überspringen: Ist der Text überhaupt gut?

Ich habe schon in meiner Zeit als Chefredakteurin genug rein menschlich getippte Texte gelesen, bei denen ich nach dem dritten Satz ausgestiegen bin. Eine Phrase wird nicht besser, nur weil ein Mensch sie in die Tasten gehauen hat. Manchmal wird ein Text sogar besser, wenn ich mir von der Maschine erst die naheliegenden Argumente zeigen lasse – um dann bewusst die zu nehmen, die eben nicht naheliegen.

Wenn wir uns auf KI-Standards einigen, in Redaktionen wie in Unternehmen, dann um das zu erreichen, was ohnehin immer galt: Wahrheit, Verantwortung, Transparenz, Qualität. Maßstäbe für jeden Text, egal mit welchem Werkzeug er entstanden ist.

Herzliche Grüße
Franziska

PS: Es gibt noch einige Resttickets für die nächste Session am 8. Juli, in der Jonathan Fragen klärt wie:

  • Was treibt den Boom gerade an, und was kostet er an Geld, wieviel an Energie?

  • Verändert KI den Arbeitsmarkt so dramatisch wie behauptet, wenn sich nicht einmal die Studien einig sind?

  • Wie stark steuert die Politik inzwischen mit?

Hier noch eines der kostenlosen Tickets sichern. (Opens in a new window)

Was uns gerade beschäftigt

Dr. Kerstin Hoffmann (Opens in a new window)

Mensch, Corporate Influencer!

KI-Texte fluten das Netz und klassische Google-Suchen verlieren massiv an Klicks. Wie bleibt ein Unternehmen da noch sichtbar und glaubwürdig? Die Antwort liegt nicht in noch mehr künstlichem Content, sondern in echten Menschen. Im UPLOAD-Magazin, Ausgabe „Faktor Mensch“, zeige ich in meinem Gastbeitrag, warum Corporate Influencer zur Überlebensfrage für Marken werden und wie sie Vertrauen in einer von Algorithmen dominierten Welt aufbauen.

👉🏻 Hier geht es zum Beitrag. (Opens in a new window) 

Dr. Kerstin Hoffmann (Opens in a new window) ist Kommunikations- und Strategieberaterin, sie begleitet Corporate-Influencer-Programme und entwirft Content-Marketing-Strategien. Hier findest du sie auf LinkedIn (Opens in a new window).

Jonathan Kemper (Opens in a new window)

Mistral fällt durch den Propaganda-Test

Mistral kommt einfach nicht in Fahrt. Bei Benchmarks hängt das französische Unternehmen ohnehin hinterher, und jetzt zeigt ein neuer Test des estnischen Sprachinstituts, wie schlecht die Modelle russische Propaganda zurückweisen: Unter 60 geprüften Sprachmodellen landet Mistral im unteren Drittel, während Anthropics Claude-Reihe die Spitze belegt, dicht gefolgt von einem chinesischen Modell. Parallel hat das Unternehmen seinen Chatbot übrigens Le Chat in „Vibe“ umbenannt (Opens in a new window) und richtet ihn statt auf Endnutzer:innen auf Wissensarbeit und Coding aus. So sehr man sich eine starke europäische Alternative wünscht: Außer dem Standort gibt es derzeit leider kaum ein gutes Argument, Mistrals Sprachmodelle einzusetzen.

👉🏻 Hier geht es zur vollständigen Auswertung. (Opens in a new window)

Jonathan Kemper (Opens in a new window) ist KI-Erklärer, Content-Dirigent und Technik-Journalist. Hier findest du ihn auf LinkedIn (Opens in a new window).

Franziska Bluhm (Opens in a new window)

9 Erkenntnisse aus dem Digital News Report

Der neue Reuters Institute Digital News Report ist da und natürlich gibt es auch in diesem Jahr einige Dinge, die ich für Journalismus und Kommunikation besonders relevant finde. Und gerade im Bereich KI sind die Ergebnisse interessant: Für News ist die Nutzung von KI noch nicht besonders ausgeprägt, aber wenn KI-Tools genutzt werden, dann vor allem, um nachzufragen (48%), Themen zusammenzufassen (27%), Themen verständlicher zu machen (28%) und Quellen einzuordnen (25%). Ob die Zufriedenheit mit journalistischen Inhalten steigt, wenn für genau solche Anwendungen der KI-Einsatz gar nicht nötig wäre?

👉🏻 Hier geht’s zum kompletten Beitrag (Opens in a new window)

Franziska Bluhm (Opens in a new window) ist Strategieberaterin für digitale Kommunikation und damit verbundene Veränderungsprozesse. Hier findest du sie auf LinkedIn (Opens in a new window).

Das StrateKI-Frühstücksbuffet erscheint einmal im Monat: Themen, die uns gerade beschäftigen, zum Selbstausprobieren. Wie bei einem echten Buffet. Vielleicht nimmst du dir von allem etwas. Vielleicht ist auch nur ein Thema genau das Richtige für dich und du steigst dort tiefer ein.

Du kennst andere, für die der StrateKI Breakfast Club interessant sein könnte? Bitte leite ihnen diesen Newsletter weiter!