v1.0 . "♪ Ich lasse los, lass jetzt los." "♪ Die Kraft, sie ist grenzenlos." Das ist Bundeskanzler Olaf Scholz als Eiskönigin. Dieser Stimmenklon wurde mit einer künstlichen Intelligenz erstellt. Auf den ersten Blick mag das lustig klingen. Doch gerät die Technologie langsam außer Kontrolle? Ich neig normal nicht so nur zum Schwarzmalen, aber es sind halt jetzt sehr viele, sehr mächtige Instrumente, die einfach ganz leicht missbraucht werden können. In diesem Film geht es darum, wie Kriminelle Stimmfälschungen missbrauchen. Als Druckmittel. (Sirene) Das war so seine Stimme, sein Ton, war alles, die Pausen. Bestand überhaupt kein Zweifel, dass er das ist. Gar keiner. Einige fürchten wegen der neuen Technologie sogar um ihr Leben. (englisch:) Sie wollen uns tot sehen. Sie wollen uns aktiv töten. Das ist ihr Ziel. (Spannende Musik) Stellt euch vor, ihr kriegt so einen Anruf, von einem Kind oder einer anderen Person, die euch nahesteht. Wolf und Corinna Busch aus Neuss ist genau das passiert. Jemand, der vorgab, ihr Sohn zu sein, hat sie angerufen. (Telefonklingeln) Ich bin dran gegangen, "Hallo?", und dann war die Stimme vom Sohn dran. Also er hat nicht seinen Namen gesagt, sondern: "Ich bin's und totale Scheiße." "Ich hab einen Unfall gebaut." Ich so: "Was, wo, wie einen Unfall gebaut?" Und dann hat er gesagt: "Ja, ich hab jemanden totgefahren." "Eine junge Frau." Und ich so: "Was, wie, was denn?" Und dann meinte er: "Ja, ich kann nicht sprechen jetzt." "Ich gebe dich jetzt mal weiter. Ich bin jetzt bei der Polizei." Ja, und dann war ein Herr dran, und das klang auch sehr ... "Ja, hier ist die Kriminalpolizei und wir haben Ihren Sohn hier." "Und der hat einen Unfall gebaut." "Und er hat eine Frau überfahren auf dem Zebrastreifen." "Er war zu schnell. Die Frau ist noch vor Ort verstorben." Das war so seine Stimme, sein Ton, war alles, die Pausen. Also es bestand überhaupt kein Zweifel, dass er das ist. Gar keiner. Das war so echt. Also ich kenn seine Stimme wirklich dermaßen gut. Als die Buschs ihren Sohn nochmal anrufen, stellt sich heraus, das Ganze war ein Fake. Ihr Sohn war nicht in einen Unfall verwickelt, sondern zu Hause. Die Buschs glauben, dass Betrüger die Stimme ihres Sohnes mithilfe von künstlicher Intelligenz nachgebaut haben. Eine Technologie, die rasend schnell immer besser wird und auch missbraucht werden kann. Im Fall der Buschs forderte der vermeintliche Polizist eine Kaution. Ansonsten müssten sie ihren Sohn festhalten. Ich hab dieses Wort Kaution gehört, ich bin aber vorher hängengeblieben da dran: Wo ist der? Ich hab immer nur in das Telefon geschrien: Wo ist der Junge? Weil der nicht geantwortet hat. Und dann war "tüt, tüt, tüt". In ihrer Verzweiflung ruft Corinna Busch ihren Mann an. Was haben Sie denn gedacht, als Sie den Anruf von Ihrer Frau bekommen haben? Ich hab an der Stimme sofort erkannt, dass da eine ziemliche Ausnahmesituation vorlag. Und dann hat sie gesagt: "Karl-Luis hat eine Frau totgefahren." Und ja, dann ... Ich mein, sie hat mir das gesagt, als Fakt. Die Betrüger wollten sich das Vertrauen und den Schock von Frau Busch zunutze machen. Man nennt das auch Social Engineering. Menschliche Beziehungen und Eigenschaften wie Hilfsbereitschaft oder Vertrauen werden ausgenutzt, um Menschen zu manipulieren. Das war für mich unvorstellbar. Und ich hatte mich mit dem Thema Voice-Cloning noch gar nicht auseinandergesetzt. Das war für mich neu. Klar, Enkeltrick und so weiter ... kennt man. Aber diese Technik, dieses KI-Gedöns, das war für mich an der Stelle ganz neu. KI-Technologien können auch nützlich sein. Zum Beispiel in der Filmindustrie. Ein bekanntes Beispiel ist der Schauspieler Val Kilmer, der an einer Rachenkrebserkrankung litt und dann seine Stimme verloren hat. Die wurde mithilfe von KI geklont, sodass er dann wieder in einem Film auftreten konnte, mit seiner synthetischen Stimme. Täuschend echt. "The navy ... needs ... Maverick." Hier hat künstliche Intelligenz also geholfen. Und auch die Industrie verspricht sich viel von Audio-KI. Zum Beispiel können Podcasts und Nachrichten nur mit KI-Stimmen produziert werden. Bei meiner Spurensuche stoße ich aber auch auf Menschen, die Missbrauch durch diese neue Technologie erlebt haben. Ein Paar in den USA lebt sogar in Todesangst, weil jemand ihre Stimme gefaked hat. Dazu später mehr. Auch ich probiere mich an einem Fake, klone die Stimme einer bekannten Podcasterin und zeige es ihr. Wie wird sie reagieren? Und ich frage eine Politikerin, die täglich Hass erlebt, was durch künstliche Intelligenz noch auf uns zukommt. Mein Kollege Timon Herwig recherchiert mit mir. Auf TikTok, Instagram und YouTube stoßen wir auf Videos von Menschen, die ähnlich wie Familie Busch vor Scams mit KI-generierten Stimmen warnen. Diese TikTokerin berichtet unter Tränen, dass sie wegen eines KI-Stimmenfakes dachte, dass ihr Bruder tot sei. "Somebody out there, using AI machine to trick my Grandpa into thinking my little brother got into a wreck and died." Und dieser TikToker berichtet davon, dass seine Großeltern mit einem KI-Stimmenanruf gescammt wurden. Uns werden auch Inhalte in den Feed gespielt, in denen offensichtlich geklonte Stimmen zu hören sind. Unter anderem lesen wir von einem gefälschten Audio, in dem Emma Watson "Mein Kampf" vorliest. Als berühmte Schauspielerin wird sie im Netz besonders oft Opfer von Deepfakes. Uns fällt außerdem ein Account auf, der seit ein paar Monaten geklonte Songs postet. Er heißt drawnbynobody. Zum Beispiel lässt er Olaf Scholz einen Song aus dem Kinderfilm "Frozen" singen. "♪ Lass jetzt los. "♪ Die Kraft, sie ist grenzenlos." Anders als bei Emma Watson scheint das harmlos und lustig. Wir kontaktieren den User. Er zeigt uns ein Forum, in dem mehrere Stimmmodelle zur Verfügung stehen. Hier zum Beispiel den AI Hub Germany. Da sind knapp 200 Leute drin, die so Stimmmodelle miteinander teilen und sich breitschlagen. Hier zum Beispiel ... Angela Merkel, Apache. Wie leicht ist es, Stimmen zu klonen? Wir probieren es aus. Ja, Wahnsinn. Es funktioniert auf jeden Fall. Es funktioniert. Dass es so schnell geht, hätte ich anfangs nicht gedacht. Ich will den User hinter drawnbynobody kennenlernen. Er heißt Pascal Textor, ist 25 und arbeitet als Informationstechniker. Stimmen klonen ist quasi sein Hobby. Er lädt mich zu sich nach Hause ein. Wir planen ein Experiment. Zusammen mit Pascal möchten wir die Stimme von der bekannten Podcasterin Ariana Baborie aus dem Video klonen und ihr diese Tonaufnahme dann vorspielen. Ich habe jetzt hier mal einen Podcast rausgesucht. Ich habe das Video runtergeladen und dann ihre Parts rausgeschnitten. Also wo sie redet. Mhm. - Genau. Da hab ich drauf geachtet, dass keine Störgeräusche drin sind. Dann habe ich das zusammengeschnitten und habe ungefähr sieben Minuten rausgeschnitten. Und dann kann ich das als Nächstes in das Programm einfügen. Das ist ElevenLabs, das ist ein Onlinedienst. Das heißt, man kann das kostenlos benutzen, aber halt auch nur begrenzt. Und ich bezahl dafür im Monat fünf Euro. Und dann kann man quasi instant die Stimme klonen. Da lädt man einfach diese 30-Sekunden-Schnipsel hoch und wartet ein paar Sekunden. Und dann kann man hier Dinge eingeben. Und man hat am Ende dann ein Ergebnis. Onlinedienste wie ElevenLabs gibt es einige. Laut einer Studie im Auftrag des Unternehmens McAfee, können solche Tools Stimmen mit einer Genauigkeit von 95 % klonen. Für die Studie wurden mehr als 7.000 Menschen aus sieben Ländern befragt. Etwa mehr als 1.000 waren aus Deutschland. Rund die Hälfte der deutschen Befragten gibt an, nicht zwischen einer generierten und echten Stimme unterscheiden zu können. ElevenLabs ist ein Tech-Start-up mit Sitz in New York. Erst Ende April veröffentlicht ElevenLabs eine Software, mit der man auch deutsche Stimmen klonen kann. Das gab es vorher nicht. Das Startup gibt an, dass die Nutzerzahl innerhalb von fünf Monaten von Null auf mehr als eine Million gestiegen ist. Auf der Webseite wirbt ElevenLabs mit Superlativen. Sie behaupten, die realistischste Text-to-Speech- und Voice-Cloning-Software zu sein. Mit fünf Euro kann ich also Stimmen klonen. Aber wie gut funktioniert das? Dann lass uns das machen. Hier ist der Text. Wir können mal gucken. Ja, also schon nicht schlecht würd ich sagen. Noch so ein bisschen ... holzig. Genau. Das ist wie gesagt trial and error. Pascal nutzt nicht nur ElevenLabs, sondern auch ein Open-Source-Programm. Dafür braucht man ein bisschen Coding-Erfahrung. Wie lange brauchst du ungefähr, um eine Textdatei oder ein Audio so zu klonen, zu generieren, bis du auch zufrieden bist? Das dauert dann je nach Qualität zwei bis drei Stunden. Mit wenigen Audiomitschnitten bastelt Pascal einen guten Klon. Und ich bin überrascht wie echt das klingt. Dann treffe ich sie: Ariana Baborie. Sie hat gemeinsam mit Till Reiners den Podcast "Endlich normale Leute", moderierte eine TV-Show für den WDR und hat auf Instagram 135.000 Follower. Wie denkst du denn über deinen Beruf und deine Zukunft, wo du jetzt weißt, dass sowas theoretisch schon möglich ist? Ich hab jetzt nicht so richtig Angst, dass ich mal als Moderatorin oder als Comedienne durch eine KI ersetzt werde. Aber wer weiß, vielleicht kommen da noch Hologramme dazu und das Ganze wird dann noch synchronisiert und ist dann Ende günstiger für Firmen oder für Sender. Ich hab keine Ahnung. Wobei ich sagen muss, wenn man zum Beispiel ein Hörbuch einspricht, sitzt man, kommt aufs Hörbuch an, aber so zwei, drei Tage, vielleicht auch vier Tage von morgens bis abends im Tonstudio und muss das einsprechen. Wenn jetzt ein Verlag oder eine Firma zu mir kommt und sagt: "Wir würden dir Geld dafür zahlen, dass wir deine Stimme benutzen, aber du musst dich nicht ins Studio setzen, sondern das macht eine KI." "Aber am Ende spricht deine Stimme das Hörbuch." Ich würd mich freuen. Von Leuten wie Ariana Baborie gibt es besonders viel Stimmmaterial im Netz. Sie kann man also sehr einfach fälschen. Wir haben ein kleines Experiment mit dir vor. Ich spiel dir mal was vor. Genau. Und wir sind gespannt, was du dazu sagst. "Hallo, meine lieben Freund:innen." "Ihr wisst, ich bin sonst jemand, der eigentlich hoffnungsvoll durchs Leben schreitet, aber heute habe ich euch leider etwas sehr Trauriges mitzuteilen." "Es hat eigentlich gefühlt gerade erst angefangen, aber findet heute schon wieder ein jähes Ende." "Denn leider wird es mich bald nicht mehr in einem Podcast zu hören geben." "Ich höre auf ... denn man hat mir meine Stimme geklaut." O Gott, ist das creepy. Ich hab mich auf jeden Fall wiedererkannt. Das fand ich krass. Und ich hab mir selber, obwohl das meine Stimme sein sollte, noch mein Bild dazu vorgestellt. Und mir fiel es sehr schwer, zu merken, dass es nicht wirklich ich bin. Das find ich krass. Was denkst du, würde passieren, wenn das viral ginge oder so? Ich glaube, dass man das danach richtigstellen müsste. Aber wenn selbst ich an manchen Stellen dachte, das bin wirklich ich, wie sollen das Leute erkennen, dass das eine KI ist und nicht meine echte Stimme, die mich nicht täglich hören, sondern nur ab und zu einen Podcast von mir. Es ist anscheinend erstaunlich einfach, Stimmen zu klonen. Mit künstlicher Intelligenz können sich Falschinformationen rasend schnell im Netz verteilen. Die Gefahr sieht auch Professorin Judith Simon. Sie ist Teil des deutschen Ethikrates, der die Bundesregierung zum Umgang mit künstlicher Intelligenz berät. Wir werden eine schnellere Lernkurve hinkriegen müssen, um mit solchen Technologien umzugehen. Sie warnt vor den Gefahren künstlicher Intelligenz. Ich neig normal nicht so nur zum Schwarzmalen, aber es sind nun mal sehr viele, sehr mächtige Instrumente, die einfach auch ganz leicht missbraucht werden können. Und wir sind eben als Gesellschaft oft sehr anfällig für Desinformation und Missinformation. Und da müssen wir schon aufpassen. Das Unternehmen ElevenLabs schreibt auf seiner Webseite, dass es alles tue, um den Missbrauch des Programms zu verhindern. Doch stimmt das? Das möchte ich prüfen. Das Unternehmen wirbt mit einem Authentifikationstool, das erkennen soll, ob ein Sound mit ElevenLabs erstellt wurde. Wir haben das Voice-Cloning von Ariana Baborie mit ElevenLabs erstellt, und die Datei mit einem Open- Source-Programm leicht bearbeitet. Dann haben wir die Datei durch das Programm gejagt. Das Tool erkennt den Fake nicht. Wir haben bei dem Unternehmen nachgefragt, erhalten aber bis Redaktionsschluss keine Antwort. Wem könnte diese noch neue Technologie besonders schaden? Ich denke an Personen des öffentlichen Lebens, die besonders viel Hass im Netz erfahren. Ich habe mehrere Menschen angeschrieben. Leute aus der Politik, aus dem Kunstbereich oder den Medien. Eine Frau ist bereit, mit mir über Hass im Netz zu sprechen. Wie Sprachprogramme wie ElevenLabs diesem Problem eine ganz neue Dimension geben können. Sawsan Chebli ist Politikerin. Für sie vergehe kaum ein Tag ohne Hass und Hetze, sagt sie. In meiner Inbox landen im Prinzip jeden Tag Nachrichten. Oft die einen Tenor haben: "Hau ab ... aus diesem Land, verpiss dich." "Du gehörst hier nicht her." Bis hin zu Diffamierung, Beleidigungen und auch Morddrohungen. Ich habe vor ein paar Tagen eine brutale Morddrohung bekommen, nicht nur gegen mich, sondern auch gegen meine Familie. Wenn sie nicht so brutal wäre, würde ich sie vorlesen. Sie befürchtet, dass künstlich generierte Stimmen das verschlimmern könnten und noch mehr Hass und Desinformation erzeugen. Insgesamt, dass das Zwischenmenschliche dadurch natürlich auch in Gefahr ist, ja? Weil du dir jedes Mal vielleicht denkst: "Ist das jetzt echt oder nicht echt?" Welcher Herausforderung steht Politik? Stehen Sicherheitsbehörden? Alles, womit wir zu tun haben, würde damit ja irgendwie infrage gestellt werden. Und das ist ... Ich mag mir das noch nicht ausmalen, wie das aussieht, wenn das jeder kann. Wie sich das anhören könnte, möchten wir Sawsan Chebli zeigen. Diesmal versuchen wir selbst, ohne Hilfe von Pascal, Cheblis Stimme zu klonen. Dabei experimentieren wir mit ElevenLabs und dem Open-Source-Programm, das Pascal uns gezeigt hat. Wir wählen ein Zitat des CDU-Politikers Friedrich Merz aus. Das hat Chebli auf Twitter kritisiert. Wir legen es ihr in den Mund. (Cheblis Stimme:) "Wir erleben einen Sozialtourismus dieser Flüchtlinge." "Nach Deutschland, zurück in die Ukraine." "Nach Deutschland, zurück in Ukraine." "Da haben wir ein Problem. Das wird größer." Mhm. Hat das der Merz gesagt? - Das hat eigentlich Merz gesagt. Mit Ihrer Stimme hier. Was denken Sie, wenn Sie das hören? Finden Sie das authentisch? Jeder, der weiß, wo ich stehe, wird das nicht glauben. Aber brächten Sie ein Zitat, bei dem mir in den Mund ... gelegt worden wäre: "Die beste Form der Demokratie ist die Scharia." Und ... - Mhm. "Wir müssen dafür sorgen, dass unsere Kinder früh 'ne islamische Erziehung ..." Das wär halt ... ne? Wenn so was viral ginge. Ich glaube tatsächlich, das wäre so brutal gefährlich, weil das so viele glauben würden, die ja eh so ein bestimmtes Feindbild haben. Und von mir auch ein bestimmtes Zerrbild ja auch existiert. Und wenn man das Zerrbild nährt, durch meine Stimme, ich glaub, das wär brutal. Sawsan Chebli wurde schon öfter angefeindet, hat nun laut eigenen Aussagen auch direkte Kontakte zum LKA. Bei KI-Fakes weiß sie, wo sie sich melden muss. Aber ganz viele Menschen in diesem Land haben halt niemanden. Sie stehen da am Ende allein, hilflos. Hilflos. So fühlt sich Familie Busch, obwohl sie die Polizei eingeschaltet hat. Die haben mir dann gesagt: "Das kommt vor." Und ... ich hab gesagt, ich könnte jetzt eine Anzeige machen. Gegen wen denn? Und dann habe ich gefragt: "Wollen Sie nicht die Nummer haben?" Es war anonym, aber vielleicht können Sie was verfolgen. Da meinten die: "Ja, das verläuft immer im Sande." "Das Einzige, was Sie machen können, ist, dass Sie vielen Leuten das erzählen, dass man nicht so schnell darauf reinfällt." Die Polizei hatte mir auch gesagt, dass die oft mit der Nummer von der Polizei anrufen, also ... Oder mittlerweile sogar so weit sind, dass sogar die Nummer von der Person im Display erscheinen kann. Wenn ich das richtig verstehe, fühlten sie sich nicht unterstützt. Null. Null. Das hat auch ewig gedauert, bis da jemand dran ging. Grundsätzlich ist es nicht so, dass die Polizei nicht helfen kann. Ich sage offen, und das gilt für Betrugsdelikte in diesem Bereich generell, dass wir natürlich ... Dass es schwierig ist, diese Ermittlungen zu führen. Das ist Daniela Dässel, Pressesprecherin beim LKA NRW. In NRW sind laut polizeilicher Kriminalstatistik im Jahr 2022 8.210 Straftaten in Verbindung mit Schockanrufen und Enkeltricks begangen worden. Die Aufklärungsquote liegt im niedrigen zweistelligen Bereich. Wir haben auch das BKA nach deutschlandweiten Zahlen gefragt. Dort werden Fälle des Enkeltricks nicht gesondert erhoben. Zum Teil haben wir erlebt, dass ganze Erbschaften da im Prinzip an Täter transferiert wurden. Und die Leute mit nichts mehr dastanden. Und sich letztlich einzugestehen, dass man da auf einen Betrug hereingefallen ist, das ist, glaube ich, eine große, große persönliche Niederlage. Die Menschen schämen sich sehr dafür. Andererseits lässt das vermuten, dass ganz viele dieser Taten gar nicht angezeigt werden. Wir vermuten also auch ein sehr großes Dunkelfeld. Ich möchte wissen, wie die anderen 15 LKAs das sehen. Ich kontaktiere sie. Die meisten antworten, dass es für Betrug mit künstlicher Intelligenz keinen gesonderten Straftatbestand gibt und sie deshalb nicht in der Statistik aufgeführt werden. Die LKAs erfassen also gar nicht, wie viele Straftaten mithilfe von KI begangen werden. Was sie konkret gegen diese neue Gefahr tun, das sagt mir auch kein LKA. Laut der McAfee-Studie geben 22 Prozent der deutschen Befragten an, dass sie oder Bekannte schon einmal einen Audio-Betrug erlebt haben. Weltweit sind es sogar 25 Prozent. Was ich bisher erfahren habe: Stimmen-KI kann Menschen helfen. Die Industrie verspricht sich viel davon. Aber die Technologie kann auch missbraucht werden, sogar Desinformation und Hass befeuern. Kann KI auch als Waffe gegen Menschen eingesetzt werden? Bei meiner Recherche stoße ich auf einen krassen Fall in den USA. Hier sieht man Polizisten, wie sie das Haus von Patrick Tomlinson und Niki Robinson stürmen. Laut ihrer Aussage habe ein Fremder bei der örtlichen Polizei gemeldet, dass Patrick seine Frau umgebracht habe. Das nennt sich "Swatting" und leitet sich von dem Wort "SWAT" ab, also die Bezeichnung für eine US-amerikanische Spezialeinheit. Das Krasse an dem Fall: Die Anrufe seien mit Patricks Stimme getätigt worden. Jemand habe sie vermutlich mithilfe von KI geklont. Die Polizisten stürmen das Haus und fesseln Patrick. Das passiere regelmäßig. Für sie ein nicht enden wollender Albtraum. (englisch:) In den letzten Jahren gab es 42 Swatting-Anrufe bei uns zu Hause. Die meisten davon in den letzten zehn Monaten. (englisch:) Und wie reagiert ihr darauf? Es ist absolut beängstigend, wenn die Polizei bewaffnet vor der Tür steht, auf einen zielt und man mit erhobenen Händen die Treppe hinuntergehen muss. Wenn man sie vor dem Haus sieht und nicht weiß, wie sie reagieren werden, wenn ich herunterkomme. Patrick ist Science-Fiction-Autor. Seine Bücher gibt es auch in Deutschland. Er sagt, das Swatting habe angefangen, nachdem er einen Tweet über einen kanadischen Komiker abgesetzt hatte. Er hatte lediglich geschrieben, dass er ihn nicht lustig finde. Wir wissen, dass die Leute, die uns stalken, bereits mit dem Einsatz von KI experimentiert haben, um meine Stimme zu klonen und mir Dinge in den Mund zu legen. Und das ist besonders beängstigend für uns. Was passiert, wenn man mit meiner Stimme in der Schule anruft: "Hey, der Onkel wird meine Tochter heute abholen und zu einem Arzttermin bringen." Und dann wird sie entführt. (Er beendet den Satz auf Englisch.) Sie haben uns bereits in E-Mails gedroht, dass sie Chatbots mit KI erstellen werden. Die Videoclips und meine Schrift verwenden, um die Art, wie ich spreche, und die Sprache, die ich verwende, zu imitieren, damit es für alle schwieriger wird, zu erkennen, was echt ist und was nicht. Wie verteidigen wir uns gegen die Behörden, wenn sie sagen: "Das ist Ihre Stimme, das sind Sie, Sie sagen das." Wie können wir uns verteidigen? Sie wollen uns tot sehen. Sie wollen uns aktiv töten. Das ist ihr Ziel. Wir haben die örtliche Polizei in Milwaukee angefragt. Doch sie wollte sich nicht dazu äußern. Patrick und Niki haben Todesangst. Was können wir gegen den Missbrauch von KI-generierten Stimmen tun? Patrick Aichroth vom Fraunhofer- Institut ist Audioforensiker. Er forscht zu technischen Möglichkeiten, KI-basierte Stimmen zu identifizieren. Auf der einen Seite entwickeln wir Verfahren, die die Spuren von natürlichen Aufnahmen erkennen können. Auf der anderen Seite entwickeln wir Verfahren, die eben diese charakteristischen Merkmale von Sprachsynthese die hinterlassen bestimmte Merkmale im Material, auffinden können. Das Ganze ist immer ein Katz-und-Maus-Spiel. Sobald Verfahren für die Erkennung von Fälschungen entwickelt werden, entwickeln ... finden sich neue Fälschungen, die diese Erkennung umgehen, aber wieder neue Spuren hinterlassen. Leider muss man aber sagen, dass die Technologie im Moment die Angreifer bevorzugt. Auch die Politik ist auf die Gefahren der künstlichen Intelligenz aufmerksam geworden und arbeitet auf europäischer Ebene an einer gesetzlichen Regulierung, dem sogenannten "Artificial Intelligence Act". Der Gesetzesentwurf sieht vor, KI-Anwendungen nach Risiko zu kategorisieren und sie je nach Risikograd zu regulieren. Hochrisiko-Anwendungen wie das Social Scoring, also die Bewertung des Sozialverhaltens mithilfe von KI, soll verboten werden. Das Gesetz soll noch bis Mai 2024 in Kraft treten, so eine Sprecherin der Europäischen Kommission. Maria Pawelec forscht an der Universität Tübingen zu KI und Desinformation. Sie kritisiert den aktuellen Entwurf. Der EU-Entwurf sieht Transparenz- pflichten für einige Deepfakes vor, aber er macht Ausnahmen für künstlerische, unterhaltende und auch viele politische Deepfakes. Das finde ich sehr problematisch. Ich finde eigentlich auch und gerade diese Deepfakes sollten gekennzeichnet werden. Sind wir überhaupt auf so eine Art von Kriminalität vorbereitet? Ich würde sagen, dass wir schlecht vorbereitet sind. Maria Pawelec befürchtet, dass die Verordnung der EU uns nicht vor Angriffen durch KI schützen werde. Damit konfrontieren wir auch das Bundesinnenministerium. Das sagt, dass Sicherheits- behörden durch Entwicklungen täglich vor vielfältigen, komplexen Herausforderungen stünden. Auf die Frage, ob wir ausreichend geschützt sind, bekomme ich keine konkrete Antwort. Meine Recherche hat gezeigt, die Technologie um KI entwickelt sich rasend schnell. So schnell, dass Sicherheitsbehörden und Ermittler kaum hinterherkommen. Das zeigt die steigende Zahl an Fällen, in denen KI für Kriminalität missbraucht wurde. Ich habe für diesen Film Menschen getroffen, die sagen, dass sie Opfer dieser Technologie wurden. Bei ihnen hat das Schäden hinterlassen. Im ständigen Misstrauen sozusagen ... aufzuwachsen, ja für unsere Kinder, finde ich, ist keine schöne Welt. Ich möchte da nicht aufwachsen, ganz ehrlich. (englisch:) Unser System kann nicht mit dieser Entwicklung mithalten und hat dies in den letzten 25 Jahren, seit das Internet unser Leben übernahm, auch nicht getan. Betrüger können durch KI Stimmen täuschend echt klonen, und Zugang zu Menschen bekommen und ihr Vertrauen missbrauchen. Dass das häufig passiert, hat mich nicht überrascht. Was mich aber überrascht hat, wie einfach und kostengünstig das mit Softwares von Unternehmen Und wie wenig Gesetzgeber und Konzerne tun, um diesen Missbrauch zu verhindern. Daran muss sich dringend etwas ändern, wenn nicht noch mehr Menschen zum Opfer von KI werden sollen. (Lockere Musik) SWR 2023