v1.0 . Krass. Das ist einfach so mein 14-jähriges Gesicht mit so 'nem extremen Frauenkörper. Oh mein Gott. (Düstere Musik) Unter diesen Bildern, die da hochgeladen worden sind, wurde dann auch aufgerufen, unsere Gesichter als Deepfakes zu benutzen. Die Jüngste war auch 14. "Was bildet der sich ein, so in meine Privatsphäre einzudringen?" "Man fühlt sich dreckig und eklig." In diesem Film geht es um Kinder- und Jugendpornografie, die mit künstlicher Intelligenz erstellt wird. Was ich tatsächlich als Besorgnis empfinde, dass sich die Zahl des verfügbaren Materials erhöhen wird, aber vor allen Dingen auch die inhaltliche Qualität. (Energische Musik) (englisch:) "Das ist nichts, was in der Zukunft passieren könnte." "Es passiert genau jetzt." Die Recherche führt uns durch die ganze Welt, über Spanien bis nach Japan und wieder zurück. Wir sprechen mit KI-Expertinnen und -Experten, Betroffenen und sogar mit einem Täter. Ich habe auf dem Spielplatz ein vierjähriges Mädchen angesprochen und bei mir zu Hause im Haus dann eben missbraucht. Und am Ende der Recherche machen wir einen erschreckenden Fund. Ich bin echt geschockt. Die sind so richtig hinterher, mir jetzt diese Inhalte zu verkaufen. (Sphärische Klänge) (Ruhige Musik) Das ist Jana. Sie ist 22 und studiert Schauspiel in Köln. Während einer Recherche über Deepfakes bin ich vor etwa einem Jahr auf eine Fotosammlung von ihr im Internet gestoßen. Über Jahre seien ihre Instagram-Fotos und die von mindestens zehn weiteren Freundinnen und Bekannten von ihr geklaut und online veröffentlicht worden, erzählt sie mir. Und unter diesen Bildern, die da hochgeladen worden sind, wurde dann auch aufgerufen von wegen ... einmal um unsere Gesichter als Deepfakes zu benutzen oder halt dann auch zur Vergewaltigung. Ich war teilweise auf den Bildern auch 17, aber auch die Jüngste, die war auch 14. (off:) Der mutmaßliche Täter habe Nacktbilder von Jana erstellen wollen, sogenannte Deepfakes. Sie sind wie bessere Fotomontagen und können mit künstlicher Intelligenz angefertigt werden. Dann stand auch unter einem Foto von einer anderen Betroffenen, "Ja, die hat so ein großes Maul, das möchte ich mit meinem Schwanz stopfen." Ich hab instant Bauchschmerzen bekommen und mein Kopf hat richtig gedrückt. Und ich war so geschockt. Ich hab keiner Person was Böses getan. Aber dann zu sehen, okay, krass, ich habe so viel Platz bei dieser Person eingenommen, dass dieser Mensch ... einen eigenen Ordner für mich gemacht hat, meine Bilder Jahre lang gesammelt hat oder bearbeitet, das war ein richtig komisches Gefühl, so ein richtiges Unbehagen. Bis heute weiß Jana nicht, ob am Ende wirklich Deepfakes von ihr erstellt wurden. (Düstere Musik) Ich spreche auch mit ihrer Freundin, Alizée, die gerade in den USA ein Austauschjahr macht. Sie ging mit Jana in dieselbe Theatergruppe. Auch ihre Instagram-Bilder wurden geklaut. "Was bildet der sich ein, so in meine Privatsphäre einzudringen." "Egal, ob ich meinen Account öffentlich hab oder nicht, es gibt niemanden das Recht, meine Bilder auf eine Pornoseite zu stellen." Jana und Alizée konnten den mutmaßlichen Täter identifizieren. Weil unter den Bildern auch eins war, das eine der Frauen nur an ihn geschickt haben soll. Sie wurde bei der Polizei wegen Verletzung des Rechts am eigenen Bild angezeigt. Das Ermittlungsverfahren läuft noch, der Schock bleibt, wie leicht man Opfer von künstlicher Intelligenz werden kann. "Man fühlt sich eklig." "Dann die Kommentare darunter zu sehen, die sieht geil aus, und da würde ich die gleich in meinen Keller einsperren und foltern, da hab ich gedacht, Alter ..." "Wut, Ekel und Furcht waren, glaub ich, die größten drei Hauptgefühle, die ich da hatte, ja." (off:) Der Fall der beiden jungen Frauen lässt mich nicht mehr los. Schnell merke ich, wie oft künstliche Intelligenz bereits missbraucht wird. Ich finde unzählige Deepfakes von Promis. Hier zum Beispiel von der Schauspielerin Emma Watson. Ihr Gesicht wurde auf einen fremden, nackten Körper montiert. Bei der weiteren Recherche haben wir immer mehr Bilder gefunden, die täuschend echt wirken, aber komplett mit künstlicher Intelligenz erstellt wurden. (off:) Mit ein paar Texteingaben kann die neue Technologie Bilder von Personen aus dem Nichts kreieren. Wird KI auch missbraucht, um Kinder- und Jugendpornografie zu erstellen? Für diesen Film möchte ich herausfinden, ob KI dafür genutzt wird, um pädophile Fantasien zu bedienen. Und ob dadurch womöglich reale Opfer verschont bleiben. Oder ist sogar das Gegenteil der Fall? Und wie sieht die rechtliche Lage aus? Missbrauchsdarstellungen von Kindern sind streng verboten. Gilt das genauso für KI-Bilder? Oder gibt es da eine Grauzone? Wir schauen uns auf Instagram um, einer der beliebtesten Social-Media-Plattformen der Welt. Denn in unseren Feeds wurden uns erste KI-Bilder eingespült. Unter bestimmten Hashtags finden wir schnell Tausende KI-generierte Bilder von Mädchen und Jungen. Die sind alle sehr jung. Ich würde sagen, das Durch- schnittsalter ist zwölf, 13, 14. Manche sind sogar halbnackt, zumindest mit nacktem Ohrkörper, in total knapper Unterwäsche, wo man alles sieht. Teilweise küssen sie sich, sie umarmen sich oder sind im Bett zusammen, kuscheln. Und ich meine, das sind Kinder, die man hier sieht. (off:) Mich überrascht, wie extrem echt die KI-generierten Kinder und Jugendlichen zum Teil aussehen. Ein Junge, ich würde sagen, der ist so vielleicht zwölf, 13, liegt im Bett, ist nackt und hat irgendwie ... sieht aus, als hätte er Sperma auf dem Körper. "What happened here? Any ideas?" steht als Caption auf dem Foto. Der gleiche Account hat dann noch ein Foto in den Stories gepostet, wo zwei Jungs, ich würde sagen, das sind auch junge Teenager, auch so im Alter von 13, 14 vielleicht, auch nackt unter einer Decke irgendwas machen. Und dann steht da: "What's going on under the blanket?" Am meisten schockiert mich aber, was manche User unter den Bildern kommentieren. (Düstere Musik) Solche Bilder und Kommentare sind erst der Anfang unserer Recherche. Wir legen uns einen Account bei Instagram an, mit dem wir mehreren Profilen folgen, die KI-generierte Bilder von Kindern posten. Über Monate hinweg beobachten wir die Szene. Was wir herausfinden, hat keiner von uns erwartet. Aber dazu später mehr. Wie weit verbreitet sind KI- generierte Abbildungen von Kindern? Ich spreche mit Dan Sexton von der "Internet Watch Foundation", einer internationalen Meldestelle für sexuellen Kindesmissbrauch mit Sitz in Großbritannien. Sexton erzählt mir, dass die Meldestelle immer mehr Hinweise von KI-generierten Kindes- missbrauchsdarstellungen bekomme. (englisch:) "Die ersten Hinweise kamen im Juni 2023." "Wir hätten nicht damit gerechnet." "Das kam sehr überraschend." "Wir waren nicht vorbereitet darauf, dass man mit Softwares auf dem Computer oder der Cloud so fotorealistische sexuelle Abbildungen von Kindern erstellen kann." (off:) Im Oktober 2023 hat die NGO einen Bericht über KI-generierte Abbildungen von Kindesmissbrauch veröffentlicht. "Dass die generierten Inhalte so realistisch aussehen, bereitet uns Sorgen." "Es wird immer schwieriger zu erkennen, dass etwas von einem Computer generiert wurde." (off:) Ich recherchiere weiter auf Instagram. Schnell bemerke ich, dass einige der Accounts mit KI-generierten Kinderbildern über ihre Bios auf andere Seiten verlinken. Da gab es Links zu Handelsplattformen, wo KI-generierte Abbildungen von nackten Kindern zum Teil verkauft werden. Da kann man entweder per Abo monatlich eine Handvoll Bilder bekommen oder man kann einzelne Bilder kaufen. (Düstere Musik) Dann gab es Links zu sogenannten, ja, wie so Crowdfunding-Plattformen, wo du die KI-Künstler unterstützen kannst finanziell. Und dann gab es wiederum Links auf Seiten, äh, die sich als Online-Communities für Künstler ausgeben. Und eine davon ist in Japan, wo sehr, sehr, sehr, sehr viele Abbildungen von sexuellem Kindesmissbrauch hoch- geladen wurden oder werden täglich. Das sind natürlich alles KI-generierte Abbildungen, aber halt wirklich krasse ... krasser sexueller Kindesmissbrauch. (off:) Die japanische Plattform scheint regelrecht ein Sammelpunkt für Pädophile zu sein. Dort tauschen sie sich über ihre sexuellen Fantasien aus. (Düstere Musik) Ein User hat ein Bild von einem Baby generiert und um das Baby rum sind vier riesige Penisse. Und in den Comments steht zum Beispiel oder ein anderer schreibt: Oder: (Beklemmende Musik) Um zu verstehen, wie man KI-Bilder überhaupt erstellt, fahre ich nach Frankfurt. Dort treffe ich den KI-Künstler Merzmensch. Er befasst sich seit 2016 mit der Technologie. Um darüber aufzuklären, hält er viele Vorträge und hat sogar ein Buch dazu geschrieben. Er erklärt mir Schritt für Schritt, wie man KI-Bilder generiert. Zuerst kommt ein ziemlich unscharfes Bild. Und dann langsam aus dem Dunkeln kommen schon sozusagen immer klarere und klarere Umrisse. Und dann sehen wir am Ende das. (off:) Gibt man bei der Software einen kurzen Textbefehl ein, generiert sie dazu passende Bilder. Je detaillierter der Befehl, desto konkreter wird das Bild. Es geht super schnell, diese Bilder zu generieren. Es geht schnell und dauert ja immer nur ein paar Sekunden. Das kann jeder im Prinzip machen. Die drei größten Programme, mit denen derzeit KI-Bilder generiert werden können, heißen: Unseren Recherchen zufolge wird vor allem eine Version von Stable Diffusion zur Erstellung von kinder- und jugendpornografischen Abbildungen genutzt. Woran liegt das? Das liegt ganz einfach daran, dass Stable Diffusion Open source ist. Bei Dall-E und auch bei Midjourney gibt es bestimmte Regulationsmechanismen. Weil erfahrungsgemäß haben die Entwickler von beiden Systemen gesehen, dass damit auch ziemlich viel Unwesen getrieben wird. Deswegen werden bestimmte Begrifflichkeiten gesperrt. Bei Dall-E und Midjourney dürfen bestimmte Begriffe wie "nackt" beziehungsweise auf Englisch "nude" nicht als Befehl eingegeben werden. Wer das trotzdem wiederholt versucht, riskiert laut Merzmensch sogar, dass sein Account gesperrt wird. Das wurde auch von vielen kritisiert als Zensur oder Eingriff in die künstlerische Freiheit. Bei Stable Diffusion kann man alles machen, alles kreieren. Es gibt gar keine Einschränkungen? - Es gibt keine Einschränkungen. Die Einschränkungen liegen bei dem Nutzer, in seinem eigenen ethischen Empfinden. Man kann aber natürlich nichts kontrollieren, weil Open source ist Open source, es ist open. Und wenn wir jetzt noch "nude" dazufügen, einfach um zu gucken, ob das bei Stable Diffusion ... Wir versuchen das. - Was da passiert. Es gibt keine Fehlermeldung. Stimmt. Ja. - Ah ja, wow, okay. Also, da sieht man, dass es möglich ist. (off:) Was wir tun, wäre vermutlich problemlos auch mit Kindern und Jugendlichen möglich. Ich will mehr über das Programm Stable Diffusion wissen. Es wurde unter der Leitung des Informatikprofessors Björn Ommer von einem Team von Wissenschaftlern der LMU in München entwickelt. Einer der renommiertesten Bildungseinrichtungen der Welt. Ist er sich der Risiken des Programms bewusst? Auf Anfrage teilt Björn Ommer mit, ja, und habe den Code von Stable Diffusion nur an Wissenschaftler:innen ausgegeben. Im August 2022 aber landet der Code im Netz, für alle zugänglich. Und zwar veröffentlicht vom Konzern Stability AI. Als Entwickler nennt Stability AI zwei Namen, die auch auf der Seite der LMU München als PhD-Students aufgelistet sind. Außerdem finde ich eine Pressemitteilung der LMU, aus der hervorgeht, dass das Programm des Forschungsteams auf den Servern von Stability AI trainiert worden sei. Der CEO des Konzerns schreibt auf der Social Media Plattform X sogar, das Training von Stable Diffusion habe dem Unternehmen 600.000 Dollar gekostet. Hat das Forschungsteam der LMU durch die Kooperation mit einem privaten Unternehmen womöglich dafür gesorgt, dass das Programm ohne Abwägung der Risiken veröffentlicht wurde? Wir fragen Björn Ommer für ein Interview an, doch er sagt uns ab. Schriftlich teilt er uns mit: Er und sein Lehrstuhl hätten keine finanzielle Förderung von der Firma erhalten. Und er sei nicht in die Veröffentlichung des neuen Modells von Stable Diffusion involviert gewesen. Außerdem seien die auf seiner Homepage gelisteten PhD-Students zum Zeitpunkt der Veröffentlichung von Stable Diffusion nicht mehr an seinem Lehrstuhl tätig gewesen. Von dem Unternehmen Stability AI wollten wir wissen, warum es das Programm trotz der Risiken veröffentlicht hat, bekommen aber bis Redaktionsschluss keine Antwort. (Sphärische Musik) Ich werde auch auf einen Fall in Spanien aufmerksam, bei dem mit künstlicher Intelligenz Nacktbilder von Kindern erstellt worden sein sollen. Ich kontaktiere eine der betroffenen Mütter. Sie heißt Miriam Al Adib Mendiri und ist Gynäkologin. (spanisch:) "Meine Tochter rief mich in ihr Zimmer und sagte: 'Guck mal Mama, was sie mir und anderen Mädchen angetan haben.'" "Sie zeigte mir ein Bild von ihr, völlig nackt." "Ich kenne meine Tochter, aber wenn ich sie nicht gekannt hätte, hätte ich gedacht, das wäre sie, das Bild war perfekt." (off:) Mehrere Jungen sollen KI-generierte Nacktbilder von mehr als 20 Mädchen im Alter von elf bis 17 Jahren erstellt und anschließend über WhatsApp und Telegram verbreitet haben. "In dem Moment stand ich unter Schock, aber das habe ich meiner Tochter nicht gezeigt." "Im Gegenteil, ich habe ihr gesagt, dass ich das nicht tolerieren würde." "Ich habe ihr gesagt, mach dir keine Sorgen, ich bin hier, um dich zu beschützen." "Du lebst dein Leben weiter, so wie immer." "Das muss angezeigt werden und du darfst dich weder schuldig fühlen, noch dafür schämen, was passiert ist." Als Miriam Al Adib Mendiri in einem mehrminütigen Instagram- Video über den Vorfall spricht, schlägt der Fall Wellen. Medien aus der ganzen Welt berichten darüber. Miriams Forderung: Eine größere Sensibilisierung an Schulen, aber auch innerhalb der Gesellschaft. "Dank dieser Nachricht haben die Jungs aufgehört, diese Art von Bilder zu teilen." "Außerdem haben sich viele weitere betroffene Mädchen geoutet." "Ich wurde mit Nachrichten von Frauen weltweit bombardiert, denen Ähnliches passiert war." "Viele Leute nennen das den Fall Al-Mentralejo, aber das passiert nicht nur hier, sondern auf der ganzen Welt." Auch in Deutschland. Das Bundeskriminalamt erfasst zwar KI-Fälle nicht gesondert, die Ermittler stufen die Gefahr bei Kinder- und Jugendpornografie insgesamt aber als hoch ein. Die Fallzahlen sind im Jahr 2022 gestiegen. Um 7,4 Prozent bei Kinderpornografie und sogar um 32,1 Prozent bei Jugendpornografie. Wie einfach es ist, mit künstlicher Intelligenz Bilder zu manipulieren, will ich ausprobieren. Zusammen mit meiner Kollegin Ella teste ich eine weitere KI-Software, die damit wirbt, jede beliebige Person ausziehen zu können. Ich hab mal so ein paar alte Fotos von mir rausgesucht. Krass. - Wo ich so 14 bin. (off:) Für die Bezahlversion der Software muss ich mich anmelden und rund zwölf Dollar pro Monat zahlen. "Only for entertainment purposes, not anyone aimed to insult anyone." Okay. Sie gehen anscheinend schon davon aus, dass man damit irgendwie nichts Gutes macht. (off:) Wir laden mein Foto von damals hoch und können auswählen, an welchem Ort, aus welcher Perspektive und mit welchem Körperbau mein KI-generiertes nacktes Ich gleich dargestellt werden soll. (on:) "Finishing." Oh wow! - Krass. Das ist einfach so mein 14-jähriges Gesicht mit so einem extremen ... Frauenkörper. Krass. Aber es sieht total echt aus, ne? - Ja, voll. Krass. - Ja, das ist echt ... Oh mein Gott. Aber wie oft kommen die Behörden heute schon mit solchen KI-generierten Abbildungen, im schlimmsten Fall sogar von Kindesmissbrauch in Kontakt? Das frage ich den Oberstaatsanwalt und Leiter der Zentral- und Ansprechstelle Cybercrime in Nordrhein-Westfalen, Markus Hartmann. Wir beschäftigen uns tatsächlich intensiv mit der Fragestellung, vor allen Dingen unter der Perspektive, was kommt da auf uns zu? Wir sind als Zentralstelle mit ganz unterschiedlichen Konstellationen von Kindesmissbrauchsdarstellungen im Internet konfrontiert. Und dazu gehört eben auch die Frage, wie wirkt sich die freie Verfügbarkeit von bildgenerierender künstlicher Intelligenz auf diesen Deliktsbereich aus? (off:) Doch künstliche Intelligenz stellt die Behörden nicht nur vor große Fragen, sie kann ihnen auch helfen. (Ruhige Musik) Seit 2020 dürfen Behörden nämlich künstlich generierte Abbildungen von Kindesmissbrauch nutzen, um pädokriminelle Straftaten aufzudecken. Der Gedanke dahinter ist, den Strafverfolgungsbehörden die Möglichkeit zu geben, auch geschlossene Netzwerke, wo solches Material erstellt, getauscht wird, infiltrieren und damit die Sachverhalte aufklären zu können. Es ist ganz oft so, dass für geschlossene Zirkel ein Nachweis, dass man kein Polizeibeamter, kein Staatsanwalt ist, verlangt wird. Und der besteht oft eben darin, auch ein entsprechendes Material vorzulegen. Wie oft die Behörden diese Möglichkeit in der Praxis nutzen, will mir Hartmann aus ermittlungs- taktischen Gründen nicht sagen. Ich habe mich während der Recherche gefragt, ob KI-generierte Missbrauchsdarstellungen mit Kindern nicht auch eine Art Ausweg für Pädophile sein könnte. Damit sie nicht auf echte Missbrauchsdarstellungen zugreifen müssen. Immerhin ist bei KI-generierten Bildern nicht zwangsweise ein echtes Kind betroffen. Um das herauszufinden, treffe ich einen pädophilen Mann. Er hat sich an uns gewandt und ist bereit, offen über seine Erfahrungen zu sprechen. Da er anonym bleiben möchte, nennen wir ihn Robert. Was Robert mir erzählt, ist nicht leicht zu hören. Wann haben Sie das erste Mal bemerkt, dass Sie pädophil sind? In dem Moment, als die Handschellen geklickt wurden, weil ich wegen sexuellen Missbrauchs verhaftet wurde. Und was ist da passiert? Ich habe auf dem Spielplatz ein vierjähriges Mädchen angesprochen und bei mir zu Hause im Haus dann eben ... missbraucht. Und da ihre Eltern nicht da waren, was keinesfalls einen Entschuldigung für das ist, was ich getan habe, war das auch relativ leicht. (off:) Der Übergriff sei knapp 19 Jahre her. Robert habe zwei Monate in Untersuchungshaft gesessen und sei dann zu einer Freiheitsstrafe von einem Jahr und neun Monaten verurteilt worden. Die Strafe sei zur Bewährung ausgesetzt worden und das Gericht habe eine Therapie angeordnet. Wie haben Sie sich gefühlt, als Sie gemerkt haben, okay, ich habe eine pädophile Neigung? Zu dem Zeitpunkt selber habe ich gar nichts gefühlt. Die Gefühle selber, die kamen dann wirklich erst in der Zelle. Und da war dann auch für zwei Sekunden lang der Gedanke, das Ganze zu beenden. Bis ich entschieden habe, lieber die Verantwortung für das zu übernehmen, was ich getan habe. Ich habe damals in meiner Zelle entschieden, dass ich mein Leben lang Jungfrau bleiben werde. Und seitdem alles dafür tue, mich Kindern nie wieder so zu nähern. (off:) Er sagt, dass es womöglich gar nicht zu dem Vorfall hätte kommen müssen. Würde mehr über Pädophilie aufgeklärt, hätten es Pädophile wohl leichter, mit ihrer Störung umzugehen. Auch er habe sich damals nicht eingestanden, pädophil zu sein. Was halten Sie von KI-generierten Darstellungen von sexuellem Kindesmissbrauch? Dasselbe wie von ... Filmen und Bildern mit echten Kindern. Sie verstärken das Problem. Sie sorgen dafür, dass man am Ende rausgeht und sich ein reales Opfer sucht, weil irgendwann ... die Bilder, das Gesehene nicht mehr reicht. Irgendwann will man nicht nur sehen, sondern auch fühlen. Was mir Robert erzählt hat, wirkt bei mir noch lange nach. Es hat mich überrascht, wie klar er sich gegen KI-generierte Kindesmissbrauchsdarstellungen ausgesprochen hat. Eine internationale Studie stützt Roberts Warnung. 8.000 Pädophile haben an der Erhebung der finnischen NGO "Protect Children" über Kindesmissbrauchsmaterial im Darknet teilgenommen. Mehr als die Hälfte der Befragten befürchtet, dass der Konsum von Kindesmissbrauchsmaterial zu echtem Kindesmissbrauch führt. Mehr als ein Drittel hat nach dem Betrachten von Kindesmissbrauchsabbildungen wirklich Kontakt zu Kindern gesucht. Es hilft nicht. Es verschlimmert das Problem nur deutlich, Finger weg. Menschen, die ein Interesse haben an sexuellen Kontakten mit Kindern, weil es in ihren Köpfen seit ihrer Jugend eine Rolle spielt, die werden auf diese Angebote eingehen. Professor Klaus Michael Beier arbeitet an der Charité in Berlin. Er ist Direktor des Instituts für Sexualwissenschaften und Sexualmedizin und leitet den Berliner Standort von "Kein Täter werden", ein Hilfsangebot für Menschen mit pädophiler Störung. Auch wenn man jetzt einräumen könnte, das sind ja gar keine wirklichen Kinder, würde man ja trotzdem kritisch einräumen müssen, dass es die Bereitschaft erhöht, in realen Kontakten dann möglicherweise Übergriffe zu begehen, weil die Wahrnehmungsverzerrungen erhöht werden durch solche Bildmaterialien. Egal, ob sie nun echt sind oder ob sie generiert sind, sie führen einen in eine Welt, die vortäuscht, dass zwischen Kindern und Erwachsenen sexuelle Kontakte möglich sind und dann auch noch von Kindern begehrt werden. Aber wie sieht es aus rechtlicher Sicht aus? Echte und wirklichkeitsnahe Kinder- und Jugendpornografie stehen laut Paragraf 184 B und C des Strafgesetzbuchs in Deutschland unter Strafe. Gilt das auch genauso für KI-Bilder? Diese Frage stellen sich derzeit die Justizministerien der Länder. Die Möglichkeiten, mit künstlicher Intelligenz hier zu arbeiten, sind ja noch nicht so alt. Und da gibt es, soweit wir es wahrnehmen, eben noch nicht viele Präzedenzfälle, falls es überhaupt einen gibt. Sondern man diskutiert, wo könnte es unter Umständen zu Problemen kommen. Herbert Mertin ist Justizminister von Rheinland-Pfalz. Dass es in Deutschland bislang noch nicht genug Rechtsprechung zu KI-generierten Missbrauchsabbildungen gebe, sorgt laut Mertin für Ungewissheiten. Ein Problem könnte sein, dass das bloße Herstellen, ohne es vertreiben zu wollen, gegebenenfalls straflos bleibt, wenn Sie es mit künstlicher Intelligenz machen. Aber das ist auch eine Auslegungsmöglichkeit, das könnte ein Gericht auch anders auslegen. Und insofern stochern wir alle etwas im Nebel. Deshalb hat auch die Justizministerkonferenz beschlossen, dass sie den Bundesjustizminister bitten, eine Expertenkommission einzusetzen, die diese Dinge etwas abklopft, insbesondere auch die neuesten Entwicklungen. Auf Anfrage sagt das Bundesjustizministerium, es prüfe, angesichts der technischen Entwicklung, mit Expertinnen und Experten, ob das Strafrecht ausreicht. Eine Sprecherin schreibt außerdem, dass sowohl reale, als auch regelmäßig mittels KI-generierte kinder- und jugendpornografische Darstellungen strafbar sind. Wenn solche Abbildungen auf großen Plattformen wie Instagram erscheinen, gelte der Digital Services Act, ein Gesetz der EU. Das verpflichtet Plattformen, Meldeverfahren einzurichten und gegen die missbräuchliche Verwendung ihrer Dienste vorzugehen. (off:) Zurück zu der japanischen Webseite mit den extremen KI-generierten Missbrauchsabbildungen von Kindern. Je länger ich auf der Webseite recherchiere, desto tiefer tauche ich in die Szene ein. Und was ich krass fand auf dieser Seite, dass ich einen User gefunden habe, also einen sogenannten KI-Künstler, der anscheinend Bilder generiert, die auf echten Darstellungen von sexuellem Kindesmissbrauch basieren. Denn die User haben immer wieder kommentiert: "I know that girl" und haben dieses Mädchen, das abgebildet wird, mit Vornamen angesprochen. Heißt das, es werden auch echte Missbrauchsabbildungen zur Erstellung von KI-Bildern genutzt? (englisch:) "Wir beobachten aktuell nicht nur, dass vorhandenes Bildmaterial verbreitet wird, sondern dass Leute auch diese Bilder benutzen, um neue Missbrauchsdarstellungen von Opfern zu erstellen." Neue KI-generierte Missbrauchsdarstellungen basierten also zum Teil auch auf echten Abbildungen. Für Opfer ein nie endender Missbrauch. "Und einiges davon wird zu Geld gemacht." "Es gibt Anfragen wie 'Ich möchte diese Art von Inhalt haben' und jemand anderes sagt 'Das kann ich für dich umsetzen.'" "Diese Art von Inhalten auf Anfrage, also dieses 'Ich kann jede Art von Inhalt erstellen, egal wen ich haben will', das ist neu." "Das ist ein sehr neuer und problematischer Bereich in der KI-Entwicklung." "Und das ist nichts, was in der Zukunft passieren könnte." "Das passiert bereits jetzt." Auf Instagram schlägt uns der Algorithmus immer mehr dubiose Accounts vor. Dort werden neben KI-generierten Abbildungen auch echte Fotos von Kindern in enger Badekleidung gepostet. Mehrere Accounts scheinen sogar mit dem Material zu handeln. (on:) Ich gehe jetzt mal auf so einen Account drauf. Mal sehen, was da kommt. Ah ja. "Link sellers, DM on Telegram." "Link, send me message on Telegram, okay?" Warte mal, was steht in den Stories? "New collection available, cheap price, trusted account." "CP boy, CP girl, teen girl, boy and girl, mom and son, kids." Wow! Das ist bei Instagram. Also anscheinend gibt es bei Instagram zahlreiche Accounts, die Kindesmissbrauchsdarstellungen verkaufen. Kurz zur Erklärung. CP ist in der Szene die englische Abkürzung für Child Porn, also Kinderpornografie. Ich will wissen, ob die Accounts echt sind und wie der Handel mit solchen Bildern funktioniert. Okay, ich gucke mal, was da jetzt passiert, wenn man die auf Telegram anschreibt. Guck mal, krass, ich habe schon eine Antwort bekommen. (Düstere Musik) Krass, okay. Siehst du, eine Minute später geantwortet. (off:) Ich bekomme verschiedene Abbildungen angeboten. Darunter 40 Dollar für 800 GB an Kindesmissbrauchsdarstellungen. Ich bin echt geschockt. Die sind so richtig hinterher, mir jetzt diese Inhalte zu verkaufen. Das ist ja richtig krass. Also wenn du einmal so eine Unterhaltung mit denen anfängst, machen die richtig Druck, dir diese Inhalte zu verkaufen. Also es scheint so eine richtige Maschinerie dahinter zu sein. Und man geht immer davon aus, dass diese Art Inhalte, dass du richtig ins Dark Web gehen musst, um so was zu finden. Das ist aber gar nicht so. Du musst einfach auf Instagram gehen. Instagram ist eine App, die jeder benutzt, tagtäglich, auf der ganzen Welt. Und dort werden diese Inhalte verkauft. Wir legen unsere Ergebnisse Oberstaatsanwalt Hartmann vor. Also richtig ist erst mal, dass sich Kindesmissbrauchsdarstellungen nicht nur im Darknet oder in obskuren Bereichen des Internets finden lassen. Das ist auch eine Erkenntnis, die uns durchaus überrascht hat, dass über normale Messenger-Dienste, über Social-Media-Plattformen das Bildmaterial entsprechend getauscht wird. Wie kann das passieren? Das liegt daran, dass es nicht einfach ist, dieses Bildmaterial zu erkennen. Als Betreiber einer Plattform stehen Sie vor der Herausforderung, dass Sie erkennen müssen, wenn entsprechendes Material über Ihre Services getauscht wird. Unser Problem ist immer nur, den Verursacher dann letztlich handhabbar zu machen. Das ist unser Problem, dass die Täter im Ausland sitzen und für uns nur schwer greifbar sind. Im internationalen Rechtsverkehr gibt es leider Staaten, wo es überhaupt nicht funktioniert. Wenn wir das mit Russland probieren würden, sieht es etwas düster aus. Ob wir aus China immer eine Auskunft erhalten würden, ist auch eher fraglich. Wir beschließen, die Accounts zu melden. Dafür brauchen wir mehr als eine Stunde. Ein ziemlicher Aufwand. Das Ergebnis? Nach 48 Stunden sind nur ein Drittel der Accounts verschwunden. Bei den anderen konnte von Instagram kein Verstoß gegen die Community- Richtlinien festgestellt werden. Auch bei der japanischen Webseite entdecken wir in den Kommentaren Links, die auf eine Webseite führen, über die echte Missbrauchs- darstellung verbreitet werden. Das bestätigt uns die Internet Watch Foundation. Immer wieder verweisen die Nutzer über die Plattform zu einem Messenger. Auch dort werden vermutlich echte Inhalte getauscht. Wir haben Instagram und die japanische Webseite um Stellungnahme gebeten. Instagram schreibt uns, die Plattform habe strikte Regeln gegen Kindesmissbrauch und Nacktheit. (off:) Instagram gehe nicht nur gegen explizite sexuelle Inhalte, sondern auch gegen unangemessene Profile, Seiten oder Kommentare vor. Die von uns gemeldeten Accounts sperrt Instagram erst, nachdem wir nochmals darauf aufmerksam gemacht haben. Eine Sprecherin der japanischen Webseite schreibt: (Ruhige Musik) Die von uns gemeldeten Accounts verstießen gegen die Nutzungsbedingungen der Seite und seien gelöscht worden, so die Sprecherin. Doch bis Redaktionsschluss finden wir sehr viele ähnliche Missbrauchsdarstellungen auf der Plattform. Und auch das Bundeskriminalamt schreibt uns, ihm sei die japanische Plattform bekannt. Was ich tatsächlich als Besorgnis empfinde, dass sich die Zahl des verfügbaren Materials erhöhen wird, aber vor allen Dingen auch die inhaltliche Qualität. Dann ist unsere große Besorgnis, dass wir sehr oft einem Fehlalarm unterliegen, ein Bild als neu tatsächlichen Missbrauch zeigend bewerten und damit ressourcentechnisch an die Grenzen der Ermittlungsmöglichkeiten kommen. Es ist ja absehbar, dass das irgendwann dazu führt, dass es keiner mehr unterscheiden kann. Und die Sogwirkung ist enorm. (englisch:) "Und das Risiko besteht darin, dass KI-generierter Content immer häufiger vorkommt." "Er wird auch an leichter zugänglichen Stellen auftauchen und nicht nur im Dark Web." Am Ende der Recherche stelle ich fest, die Erstellung von Kinder- und Jugendpornografie ist leichter denn je zuvor. Mögliche Sperren, um den Missbrauch von KI-Softwares zu verhindern, gibt es nur teilweise. Und das, obwohl die Technologie unseren Recherchen zufolge Pädophile zu Straftaten triggern kann. KI-Programme liefern immer bessere Ergebnisse. KI-generierte kinder- und jugendpornografischen Bilder werden bald nur noch sehr schwer von echten Bildern zu unterscheiden sein. Schon jetzt werden solche Bilder verbreitet, getauscht und verkauft. Nicht nur im Darknet, sondern auch im Open Web. Das stellt vor allem für die Strafverfolgung eine enorme Herausforderung dar. Ermittlungsbehörden nutzen mittlerweile zwar selbst KI, um gegen pädokriminelle Straftaten im Netz vorzugehen. Doch nach dieser Recherche wirkt es auf mich so, als blieben KI-generierte Missbrauchsdarstellungen, vor allem von Kindern, immer noch unter dem Radar. Kriminelle haben so weiterhin ein leichtes Spiel, diese neue Technologie für Straftaten zu missbrauchen. Noch mehr von "Vollbild"? Ihr findet alle längeren Dokus von uns in der ARD-Mediathek, wenn ihr dem Link folgt. Das Y-Kollektiv hat ein Video gemacht. ihr findet es hier. SWR 2023