Meta verdient auch an betrügerischen Deepfakes

Facebook und Instagram machen Milliarden mit betrügerischer Werbung. Es sollen sogar 16 Milliarden Dollar im Jahr 2024 gewesen sein. 10 Prozent der Werbeeinnahmen des Meta-Konzerns sollen laut internen Unterlagen aus Werbungen stammen, die zu Betrugsmaschen oder illegalen Waren führen. Das besagt ein Bericht von Reuters (Abre numa nova janela), der geleakte Dokumente zitiert.

Manche dieser Betrügereien funktionieren auch über Fake-KI-Bilder – etwa von heimischen Politikerinnen und Politikern. Lassen Sie mich ein konkretes Beispiel geben. Man sieht den Finanzminister Markus Marterbauer (SPÖ). Er sagt: “Jede und jeder, der sich noch in diesem Monat registriert und die Mindesteinlage von 250 Euro investiert, wird garantiert seine ersten 30.000 Euro verdienen. Ich hab keinen Grund zu lügen, ich nutze dieses Projekt selbst, aus dem ich mein Haupteinkommen erhalte (...).”

Es ist nur ein Fake-Video von vielen. In den Videos sprechen Politiker:innen wie FPÖ-Chef Herbert Kickl, Bundespräsident Alexander Van der Bellen, die dritte Nationalratspräsidentin Doris Bures (SPÖ). Zum Teil sind die Stimmen nahe am Original. Zum Teil merkt man Fehler (z.B. ist die Stimme von Marterbauer schlecht getroffen und er spricht zu bundesdeutsch).

Es sind Deepfakes - künstlich erzeugte, täuschende Videos. Dabei werden reale Szenen als Vorlage herangezogen. Zum Beispiel gibt es eine Fake-Werbung mit Herbert Kickl, bei der offensichtlich ein Interview der Schweizer “Weltwoche” mit dem Politiker als Vorlage verwendet wurde. Die Accounts hinter diesen Werbungen tragen generische Namen. Zum Beispiel der Account, der das Kickl-Fake-Video bewarb, nennt sich “Mïaro Ofisialy”. Hier ein Screenshot aus Metas Werbebibliothek:

Aufgezeigt hat diesen Betrug mit prominenten Politiker:innen kürzlich Yilmaz Gülüm im ORF-Report. Die genannten Videos sind wohl Fälle von Anlagebetrug: Sie wecken falsche Erwartungen, dass man schnell Geld machen kann, wenn man zuvor einzahlt. Allein in den letzten fünf Jahren hat das österreichische Bundeskriminalamt einen Schaden in Höhe von 375 Millionen Euro durch Anlagebetrug verzeichnet - und mittlerweile passiert er eben auch mittels KI-Videos. Die Zahl von 375 Millionen Euro stammt aus dem Report. Ich empfehle sehr, den Beitrag von Yilmaz Gülüm (Abre numa nova janela) anzusehen. Auch ich durfte darin zu Wort kommen, zum Beispiel gehe ich darauf ein, wie solche Fakes beispielsweise technisch erzeugt werden können: Man klont zuerst die Stimme eines Politikers oder einer Politikerin, erstellt damit die Audiodatei. Ein zweites KI-Tool kann dann die Lippenbewegung im Bild anpassen, sodass der Eindruck entstehen soll, die abgebildete Person spräche den Text. Gülüm hat etliche Beispiele von KI-Betrugs-Werbungen gesammelt, sowie den ehemaligen Gesundheitsminister Rudolf Anschober interviewt. Auch sein Gesicht wurde für einen Deepfake genutzt.

Man sieht hier: Deepfakes sind ein reales Problem geworden. In den hier gesammelten Beispielen geht es nicht um politische Manipulation, sondern um Betrug von Bürgerinnen und Bürgern.

Man muss davon ausgehen, dass Meta auch noch an solchem KI-Betrug verdient. Denn es handelt sich um Werbeeinschaltungen, die die Plattform zugelassen hat, also dafür Geld kassierte. Dieselbe Betrugsmasche gibt es übrigens auch in anderen Ländern und dem dortigen politischen Spitzenpersonal.

Wie eingangs zitiert: Laut internen Unterlagen hat Meta selbst in einem internen Dokument berechnet, dass es allein 2024 16 Milliarden Dollar mittels Werbung einnahm, die zu Betrügereien oder illegalen Produkten führten. Gegenüber Reuters (Abre numa nova janela) erklärt Meta nun, dass die zitierten Dokumente "nur einen selektiven Ausschnitt darstellen, der Metas Umgang mit Betrug und Betrugsmaschen verzerrt." Die zitierte interne Schätzung sei "grob und zu weit gefasst gewesen". Und man habe später festgestellt, dass die tatsächliche Zahl niedriger gewesen sei. Meta lehnte ab, eine andere Zahl zu nennen, wie viel Geld sie mit betrügerischer Werbung einnehmen.

Der Reuters-Bericht beschreibt dabei ein Problem, das sich schon länger abzeichnet. Es dauert teils überraschend lange, bis Profile gesperrt werden, die betrügerische Werbung schalten. Das sage ich nicht einfach so: Ein internes Dokument aus 2024 legt nahe, dass Meta acht bis 32 sogenannte "Strikes" (also Verstöße oder fragwürdige Vorfälle, die die KI-Sicherheitstools bemerken) in Richtung Finanzbetrug erlaube, ehe der Account verbannt wird. Wenn ein Mitarbeiter oder eine Mitarbeiterin (also ein Mensch) in einen Fall involviert werden und hier einschreitet, könne diese Zahl auf vier bis 16 Strikes verringert werden. Von diesem Dokument berichtete das Wall Street Journal (Abre numa nova janela) im Frühjahr. Also schon damals kam der Vorwurf auf: Meta sei zurückhaltend, ehe es Werbekunden oder Werbekundinnen sperrt – selbst wenn es bereits Hinweise für betrügerisches Verhalten gibt.

Reuters berichtet nun, dass in internen Dokumenten Metas beides zu finden sei: Einerseits das Ziel, das Ausmaß betrügerischer Werbung im Jahr 2025 zu reduzieren. Andererseits sollen aber auch Überlegungen in den Dokumenten enthalten sein, wie sehr zum Beispiel ein abruptes Einschreiten gegen problematische Werbungen den eigenen Geschäftsprognosen schaden können.

Wichtig ist zu betonen: Es handelt sich hier um Werbung, die einen realen Schaden anrichtet. Menschen werden zum Beispiel dazu gebracht, ihr Geld in Betrugsmaschen zu investieren oder private Daten an Kriminelle zu geben. Und bei den zitierten Deepfake-Beispielen wird auch noch die Identität von Dritten – in diesem Fall Politiker:innen – missbraucht.

Es braucht dringend mehr regulatorische Aufsicht. Denn es geht hier nicht nur darum, dass Kriminelle Digitalplattformen für sich nutzen. Das Frappierende ist ja, dass eine Plattform wie Meta anscheinend ebenfalls an dem Betrug zu verdienen scheint. Oder um einen Gedanken aufzugreifen, den der Security-Experte Sandeep Abraham gegenüber Reuters äußerte:

Wenn wir es bei Banken nicht tolerieren, dass sie an Betrugsmaschen mitverdienen – warum sollten wir es bei Tech-Unternehmen hinnehmen?

—

Mehr zum Thema “problematischer Einsatz der KI” gibt es bei meinem nächsten Abend in der Kulisse in Wien am 26.11. Ich werde ernste, aber auch absurde Beispiele zeigen. Tickets (Abre numa nova janela) gibt es bei der Kulisse.

—

Danke an alle, die bis hierhin gelesen haben! Ich schicke den nächsten Newsletter in 2 Wochen,

schönen Gruß

Ingrid Brodnig