v1.0 . Ein Jugendlicher soll diese Bombe gebaut und einen rechtsextremistischen Anschlag geplant haben. Er steht vor Gericht. Er soll auf der Spieleplattform Roblox mit Nazi-Inhalten in Kontakt gekommen sein und dort Gleichgesinnte getroffen haben. Seine Eltern? Hilflos. "Er sah total fanatisch aus." "Also, diese Welt, die sie sich dort erschaffen haben, das waren einfach nur alles Uniformen aus dem Dritten Reich." Wie gefährlich ist Roblox? Und warum radikalisieren sich zunehmend Jugendliche im Netz? (Angespannte Musik, leiser Fernsehbericht) Halle, Oktober 2019. Hier verübte der Rechtsextremist Stefan B. einen antisemitischen Anschlag auf eine Synagoge. Er tötete zwei Menschen. (Düstere Musik) Das ist auch die Synagoge in Halle, auf Roblox, einer Onlinespieleplattform. Hier konnte jeder den Terroranschlag nachspielen mit einem Roblox-Avatar. Mit einer Waffe in der Hand konnte man auf Menschen schießen. Mittlerweile wurde das Spiel deaktiviert. Roblox ist derzeit eine der beliebtesten Spieleplattformen unter Kindern und Jugendlichen. (Schüsse) (Dynamische Musik) Roblox sagt über sich, es sei mehr als ein Spieleunternehmen. (englisch:) Im Werbespot zeigt sich Roblox als bunte, heile Welt, die Menschen aus allen Ländern zusammenbringen will. Klingt schön, doch wer vernetzt sich dort? Ich bin Jan und recherchiere zu Extremismus im Netz. Meine Redaktion bekam den Hinweis, dass Rechtsextreme auf der Plattform Roblox versuchen, Kinder und Jugendliche in ihre Netzwerke ziehen. Was ist da dran? So sieht die Startseite aus. Dort kann man sich eine Spielwelt aussuchen und diese mit anderen spielen. Mittlerweile soll es auf Roblox mehr als sieben Millionen Spiele geben. (Spannende Musik) Das ist Kyo, Gamer und YouTuber mit mehr als 300.000 Abonnenten. (Dynamische Musik ) Kyo zeigt mir die Plattform, nimmt mich mit zu "Doors", einem der aktuell beliebtesten Spiele auf Roblox. Das sind Spiele, die teilweise User gemacht haben. Und ja, genau, also keine großen Publisher oder so. Das haben echt ... Könntest du machen, könnte ich machen, kann jeder machen. Aktiv 52.700, die es jetzt gerade spielen. Dann erlebt man quasi halt so zusammen diese Welten. Das ist quasi der Spaß an Roblox. Wir laufen hier rum, erleben Welten. - Genau, genau. Und das ist auch ein bisschen das Coole, also man hat hier echt ... Es ist super easy, zusammen zu spielen. Es ist kostenlos. Ich finde wirklich die ganze Welt von Roblox sehr, sehr kreativ. Also sehr, sehr cool gemacht. Sehr, sehr cooles Konzept. Man kann auch Freundinnen und Freunde hinzufügen und chatten. User spielen einen Avatar, den sie auch gestalten und ankleiden können. Wie eine digitale Puppe. Und man kann natürlich sein Equipment, seinen Avatar, seine Klamotten auch kaufen. Und zwar auf dem Marktplatz. Und da findest du alles. Du findest Gesichter, Ohren, Accessoires, einfach alles. Es ist halt wirklich eine Community. Es ist schon fast eine Social-Media-Plattform eigentlich. Nach Angaben von Roblox sind der überwiegende Teil der 60 Millionen täglichen Nutzerinnen und Nutzer Kinder und Jugendliche. Täglich spielen rund 16 Millionen Menschen in Europa Roblox. Und es geht um richtig viel Geld. 2,2 Milliarden Dollar Umsatz machte Roblox im Jahr 2022. Einen Teil davon durch die eigene In-Game-Währung Robux. (Lässige Musik) Mein Kollege Timon Herwig, der Extremismus-Experte Miro Dittrich und ich recherchieren Monate auf Roblox, um uns ein Bild zu machen, was dort abgeht. Auch Registrieren ist ein Kinderspiel. Man braucht nicht mal eine E-Mail-Adresse. In nur wenigen Minuten hat man einen Account. Die Plattform ist auch auf Deutsch verfügbar. Da hier aber Kinder und Jugendliche aus aller Welt spielen, wird überwiegend Englisch gesprochen. Roblox hat keine Altersbeschränkung. Manche Spiele auf der Plattform sind ab neun oder 13 Jahren eingestuft. Doch die Plattform überprüft das Alter nicht. (Klimpernde Klänge) Schon am Anfang finden wir einen Shop, in dem digitale SA-Uniformen für Roblox-Avatare verkauft werden. Der Shop heißt "Hugo Boss AG". Das echte Unternehmen Hugo Boss hat im Dritten Reich unter anderem Uniformen für die Wehrmacht, SS und SA produziert. Wir werden bei unserer Recherche auf Roblox zu einem militärischen Training eingeladen. Das Training endet in einer Schießübung. Ja, dann nimmt er mich mit auf den Schießstand, drückt mir eine Waffe in die Hand und ich darf dann da hinten Menschen, die vorne an der Wand stehen, mit dem Gewehr erschießen. (Dumpfe Schüsse) Nur militärisches Rollenspiel also? Scrollt man auf den Seiten der Spielerlebnisse weiter runter, findet man häufig einen Link zu einem Discord-Server des jeweiligen Roblox-Spiels. Discord ist eine Chatplattform, auf der sich die Community der jeweiligen Spiele trifft, Memes postet und beim Spielen per Voice-Chat quatscht. Aber was passiert auf den Servern, die auf Roblox verlinkt sind? Zunächst wollen wir wissen, ob User, die über Roblox auf Discord kamen, dort schon mal mit rechtsextremen Inhalten konfrontiert wurden. Auf unsere Aufrufe auf Discord meldet sich ein Jugendlicher aus Den Haag. Er sagt, er sei Schüler, möchte anonym bleiben. Wir nennen ihn Pierre. Sein Vater erlaubte ein Interview. Pierre ist auf Discord-Servern aktiv, wo rechtsextremer Content gepostet wird. Er habe dort ein Video gesehen, in dem eine Person vor einer Nazi-Flagge getötet worden sei, erzählt er. (englisch:) Hat jemand mal versucht, dich in so eine Gruppe zu locken? (englisch:) Oft kam jemand zu mir und sagte so was wie: "Hey, komm doch in unsere Gruppe." Und du gehst in die Gruppe und siehst, dass es Nazis sind. Sie sagen, dass sie anderen Menschen überlegen sind, und dass du großartig und besonders bist. Und sie sagen, sie kümmern sich wirklich um dich. Aber wenn du die Gruppe verlässt, jagen sie dich. Im Gespräch bekomme ich den Eindruck, dass Pierre selbst vom Dritten Reichs fasziniert ist. Ich bin von den Nazis fasziniert. Fasziniert davon, wie Hitler sich seinen Weg an die Macht gebahnt hat. Wie er ein ganzes Land manipuliert hat, indem er den Leuten gesagt hat, was sie hören wollten. Glaubst du nicht, dass du auch Gefahr läufst, in die Falle zu tappen und das auch zu glorifizieren? Nein, weil ich in einer guten Umgebung bin. Und ich weiß, dass, wenn ich darauf reinfalle, mir mein Vater auf die Finger haut und sagt: "Nein, das ist schlecht, hör damit auf!" Okay, du hast mit deiner Familie ein stabiles Umfeld. Aber es wäre leicht gewesen, darauf hereinzufallen, oder? Ja, total. Es ist leichter, als den kleinen Finger zu heben. Sie sagen, du bist was Besonderes und etwas Besseres. Besser als der größte Teil der Menschheit. Und dass du ihnen wichtig bist. (Sphärische Musik) Das Gespräch zeigt, wie einfach es sein kann, Kinder und Jugendliche in Online-Games zu manipulieren. Wir wollen wissen, ob die deutschen Behörden diese Gefahr auf dem Schirm haben. Ich treffe Daniel Köhler in Stuttgart. Er arbeitet für "konex", eine Initiative des Landeskriminalamtes Baden-Württemberg gegen Extremismus. Online-Games spielen zunehmend eine größere Rolle für rechtsextreme Radikalisierung. Aus unserer Sichtweise ist tatsächlich eine verstärkte Rekrutierung und Radikalisierungsdynamik auf Online-Gaming-Plattformen in den letzten Jahren zu beobachten. Das hat etwa auch Europol berichtet. Wir merken auch zunehmend, dass sich extremistische Akteurinnen und Akteure verstärkt auf Gaming-Plattformen strategisch um Jugendliche bemühen. Dem LKA in Baden-Württemberg liegen zwei konkrete Fälle vor, in denen Jugendliche auf Roblox radikalisiert wurden. Wir haben uns für unsere Studie zwei tatsächlich Minderjährige-Fälle angeschaut, die unter anderem auf der Gaming- Plattform Roblox sehr aktiv waren. Dort strategische, historische Simulationsspiele zum Zweiten Weltkrieg gespielt haben und mit offen und klar auftretenden rechtsextremistischen Personen in Kontakt gekommen sind. Die haben sich mit denen angefreundet, mit denen ausgetauscht und wurden dann von diesen rechtsextremistischen Personen eingeladen, in klare extremistische Discord-Gruppen einzutreten - Chatgruppen auf der Plattform Discord. Dort wurden sie dann ganz stark und massiv weiter radikalisiert, indoktriniert und auch dazu direkt aufgefordert, Straftaten zu begehen. Zum Beispiel in der Schule den Hitlergruß zu vollführen oder halt auch tatsächlich bis hin zur Planung eines Anschlages. Sie sollen jünger als 14 Jahre gewesen sein. Dieser Jugendliche hat dann auch tatsächlich das Gefühl bekommen, er würde sonst, ja, ein Loser sein, uncool sein. Er würde diesem Gruppendruck nicht standhalten können und hat sich dann tatsächlich dazu aufgefordert gesehen, ein Manifest zu schreiben und einen Amoklauf an der Schule zu planen. Wann genau sind die beiden Kinder aufgefallen oder wie sind die aufgefallen? Die haben zum Beispiel den Hitlergruß in der Schule durchgeführt. Sie haben entsprechende Symbole wie das Hakenkreuz in Schulgruppen, in WhatsApp-Gruppen und so weiter geteilt. Sie haben sich entsprechend geäußert. Sie haben Lehrkräfte gefragt nach Dingen, sich erkundigt, wie man an Waffen rankommt. (Düstere Klänge) So ähnlich soll es auch in einem anderen Fall gelaufen sein, der gerade am Landgericht in Potsdam verhandelt wird. Einem Jungen wird vorgeworfen, eine schwere staatsgefährdende Straftat vorbereitet und gegen das Waffen- und Spreng- stoffgesetz verstoßen zu haben. In der Presse heißt er Lukas F.. Er soll nach unseren Recherchen eine rechtsextreme Gruppe namens "Totenwaffen" gegründet, Propagandaposter geklebt und selbst- gebaute Sprengsätze gezündet haben. Dies soll eins seiner Videos sein. (Knall, angespannte Musik) Chatverläufe aus der Gruppe liegen uns vor. In einer Nachricht soll er geschrieben haben: Jewgela soll eine Zusammensetzung aus Jew, dem englischen Wort für Jude, Jüdin, und Angela, sein. Gemeint sein soll die ehemalige Kanzlerin Angela Merkel. (Dynamische Musik) Wir fahren zum Landgericht nach Potsdam, um mehr über den Fall herauszufinden. Welche Rolle hat Roblox bei der Radikalisierung gespielt? Im Gericht treffe ich auch die Mutter von Lukas F. (Dynamische Musik) Darf ich kurz eine Frage stellen? (Piepton) (off:) Vor der Kamera möchte sie nicht mit uns sprechen. Sie habe negative Erfahrungen mit Medien gemacht, erzählt sie. (Dynamische Musik) Wir fragen sie ohne Kamera nach dem Fall ihres Sohnes. Sie hat uns bestätigt, dass der Verdächtige auch viel Zeit auf Roblox verbracht hat. Und dass das ... scheinbar auch eine Rolle gespielt hat. Und sie hat erklärt, wie schwer es ist, für Eltern nachzuvollziehen, was Kinder den ganzen Tag auf ihrem Handy, ihrem Computer machen. Vor allem, wenn die Eltern arbeiten und die Kinder dann Zugang zu ihren Geräten haben. Am Ende tauschen wir Nummern aus und verabreden uns zu einem Gespräch, wo auch Lukas' Vater dabei sein wird. Miro Dittrich forscht seit acht Jahren zu Rechtsextremismus und unterstützt mich als Experte bei der Recherche. Er hat die Gruppe von Lukas F. lange digital beobachtet und die Chatverläufe des mutmaßlichen Täters und seines Umfelds gesammelt. In den Chats sollen sie Folgendes geschrieben haben: Konkret ging das so vor, dass der mittlerweile Angeklagte einen Telegramkanal eröffnet hat. Und eine Telegramgruppe. Und über diesen Telegramkanal dann Mordaufrufe geteilt hat, terroristisches Propagandamaterial erstellt hat. Sie haben angefangen, Poster in ihre Umgebung zu kleben. Und haben Videos produziert. Unter anderem die Person, die jetzt angeklagt ist, hat sich online Materialien bestellt, daraus Sprengstoff gemixt. Und probierte, Videos zu machen, die für Propaganda zu verwenden sind, indem er Betonklötze in die Luft gejagt hat. In diesem Chat sollen sich Mitglieder der Gruppe "Totenwaffen" über ihre Zeit bei Roblox unterhalten haben: Die Gruppe Totenwaffen und ihre Vergangenheit auf Roblox. Miro Dittrich beobachtet auch andere rechtsextreme Chatgruppen und stellt fest, dass das Stichwort Roblox dort immer öfter auftaucht. In einem aktuellen Trendreport von Europol steht, dass Verdächtige in europäischen Terrorismusermittlungen immer jünger werden. Gaming-Plattformen und Gaming-Chatforen werden für rechtsterroristische Propaganda genutzt. Das find ich eine bedrohliche Entwicklung, dass Minderjährige, bereits 14-Jährige, 13-Jährige sich in terroristischen Chats bewegen. Was für mich die Frage ausgelöst hat: Wie kommen die Leute dorthin? Wie beginnt man seine digitale Reise, dass man mit 14 in diesem Chat landet. Und was ich immer wieder in diesen terroristischen Chats gesehen habe, dass Leute sich über die Plattform Roblox unterhielten. Miro Dittrich zeigt uns weitere rechtsextreme Inhalte auf Roblox. Ein User nennt sich dort "Wa1ffen-SS". Was so ein typisches Profilbild sein kann für diese Leute. Wenn wir uns anschauen, was der als Favoriten angegeben hat, eigentlich sind das die Spiele, dann sehen wir hier ein Bild, was die Munition des Attentäters von Christchurch zeigt. Also einem rechtsterroristischen Attentäter. Der hat politische Botschaften auf seinen Magazinen geschrieben. Das sind die Magazine des Christchurch-Attentäters als Bild in Roblox. - Genau. Man kann ganz klar sehen, wo diese Person sich verortet. Und man erkennt es auch, wenn man die Szene untersucht, dann weiß man, das Bild ist ein Christchurch-Bild. - Ja. Dann sieht man Bilder von dem Oslo-Attentat. Wenn man sich etwas mit der Ästhetik der Szene auskennt, merkt man recht schnell, dass diese Inhalte, die sonst eine kleine Subkultur auf Telegram sind, wirklich die Endstufe der Radikalisierung in rechtsterroristischen Inhalten, wo wirklich zum Massenmord aufgerufen wird, dass sich diese Ästhetik auch bei Roblox wiederfindet. Wir finden auch ein Spiel, in dem man das Attentat in der US-amerikanischen Stadt Buffalo nachspielen kann. Im Juni 2022 erschoss hier ein 18-jähriger Mann zehn Menschen aus rassistischen Motiven und verletzte drei weitere Personen. (on:) Man kann in den Supermarkt gehen als Attentäter, man kann da rumlaufen. Man kann hier rumballern. (off:) Der Attentäter von Buffalo hatte seinen Anschlag auf einer Onlineplattform live übertragen. Auf Roblox finden wir Screenshots davon. Als T-Shirt und auch als Titelbild eines Spiels. Darüber steht: "Er hat nichts falsch gemacht." Er hat zehn Menschen umgebracht und drei verletzt. Ein rechtsterroristischer Anschlag. Das Spiel konnte man auch auf Roblox selbst spielen. Dieser hat auf Discord eine Art Tagebuch geschrieben, wie es hinkam bis zu seinem Terroranschlag. Was er dann zu seinem Terroranschlag veröffentlicht hat. Und in einen dieser Tagebucheinträge schreibt er selbst über sich: "Ich wäre wahrscheinlich nicht so nationalistisch, wenn ich nicht das Spiel 'Blood and Iron' auf Roblox gespielt hätte." (Schüsse im Spiel) "Blood and Iron" ist ein historisches Kriegsspiel auf Roblox. Man spielt bestimmte Schlachten nach. Spiele dieser Art gibt es etliche auf Roblox. Wir folgen der Spur und beobachten ein paar Discord-Server, auf denen sich die Roblox-User treffen. Auf dem Discord-Server eines Roblox-Weltkriegs-Shooters finden wir eine Bombenbau-Anleitung. Auch der SS-Uniform-Shop auf Roblox, der sich "Hugo Boss AG" nennt, hat einen Discord-Server. Dort finden wir rassistische Propaganda, und ein Video von James Mason, einem der bekanntesten amerikanischen Neonazis. (englisch:) (arabisch:) (Ruhige Musik, ausgepiepste Wörter) Wir haben Roblox und Discord um Interviews gebeten, Beide lehnten ab. Darum haben wir Fragen sowie Namen der gefundenen Gruppen und Spiele mit extremistischen Inhalten schriftlich geschickt. Roblox verweist auf die Community-Richtlinien. Das Unternehmen verfüge über ein weltweites Moderationsteam sowie ein eigenes Team, das extremistischen Content auf der Plattform suche. Zudem gäbe es technische Filter, die gewisse Wörter verböten. Roblox schreibt auch: Auf unsere Nachfrage sperrt Roblox einige der Inhalte, die wir gemeldet haben. Discord geht nicht auf unsere Hinweise ein. Doch die Server mit der Anleitung zum Bombenbau und die rassistischen Memes bleiben bis Redaktionsschluss online. Obwohl Discord davon weiß. Ich habe noch mal mit den Eltern von Lukas F. gesprochen. Sie sind nun bereit, über die mutmaßliche Radikalisierung ihres Sohnes zu reden. Wir haben uns für ein Telefonat verabredet. Welche Rolle hat Roblox tatsächlich gespielt? Wissen Sie, was Sie da genau gesehen haben? (Vater:) "Die haben sich diese Uniform zusammengeschmiedet." "Und die Swastikas." "Das sah irgendwie total fanatisch aus." "Also, diese Welten, die sie sich dort erschaffen haben." "Das waren einfach nur alles Uniformen aus dem Dritten Reich." "Und die Namen von denen waren seltsam." Und was das jetzt für Chatgruppen waren, das kann man so gut wie nicht nachvollziehen, oder? "Discord war irgendwie noch ein Begriff." "Ich glaube, Discord war ihre Plattform." "Also, dieses Spiel hat mir nicht gefallen." "Das hab ich gesperrt." "Man hat eigentlich von außen gesehen, dass da irgendwie eine ganz komische, seltsame Sache passiert." Die Eltern von Lukas F. hätten versucht, den Zugang zu den Plattformen einzuschränken, das habe nicht funktioniert. "Ich hab im Allgemeinen den Zugang eingeschränkt." "Diese Altersfreigabe hab ich gemacht." "Also, als Eltern kann man da nicht viel machen." "Man kann zwar Sachen verbieten und man kann Sperren einbauen, das haben wir alles versucht." "Aber die sind schlauer, die umgehen das alles." Welche Verantwortung liegt also bei den Plattformen? Rachel Kowert forscht in den USA zu Games und Radikalisierung. Sie beschäftigt sich mit der Frage, welchen Einfluss die Kultur der Gamer-Szenen hat - und wie die Gaming-Industrie diese gestaltet. (englisch:) Spiele sind ganz überwiegend Kräfte des Guten und nicht des Schlechten. Wir reden hier über eine kleine Anzahl von Fällen. Aber wenn du dir das große Bild anschaust, drei Milliarden Gamer, ist diese kleine Anzahl von Fällen eine signifikante Größe. Kowert erforscht, welche Effekte Spiele auf Nutzerinnen und Nutzer haben. Sie fordert mehr Moderation und Sicherheit von den Plattformen. Die Moderation von Inhalten, wie wir sie heute bei Spielen haben, ist unglaublich begrenzt. Bei Extremismus geht es um die Suche nach Schlüsselwörtern. Aber man kommt nie hinterher, weil Sprache sich stets verändert. Wir müssen in Richtung Sozialer-Netzwerk-Moderation gehen. Dabei macht man einzelne Personen ausfindig, von denen man denkt, sie sind problematisch, um das gesamte Netzwerk zu finden. Grundsätzlich sind diese Plattformen erst mal nach europäischem, deutschen Recht illegale Inhalte selbstständig erkennen müssen, und diese entfernen müssen, so schnell wie möglich. Ob das technisch möglich ist, ob das inhaltlich möglich ist für diese Firmen, sei dahingestellt. Aber sie sind dafür verantwortlich, auch nach deutschem Recht. Was grundsätzlich offline illegal ist, sollte auch online illegal sein. Nicht die Games an sich sind gefährlich. Manche sind schlecht moderiert. - Spiele sind gut. Spiele sind großartig. Mentale Gesundheit, interaktive Spiele, Bildung und Action, Spiele sind großartig. Okay, Spiele sind gut, Aber auf Roblox und zugehörigen Discord-Servern finden wir Terroranschläge zum Nachspielen, rechtsextremes Propagandamaterial und Chatgruppen, wo Nazi-Memes gepostet werden. Das ist für Kinder und Jugendliche leicht erreichbar. Diese Inhalte und Gruppen können Jugendliche radikalisieren. Wir haben mit einem Jugendlichen gesprochen, der sagt, ohne den Rückhalt seiner Familie wäre er abgedriftet. Nicht alle können ihre Kinder so im Blick behalten. Das sagen uns die Eltern eines jungen Mannes, dessen Fall gerade vor Gericht verhandelt wird. Roblox betont, man gebe sich viel Mühe mit der Moderation. Offensichtlich reicht es nicht. (Lockere Musik) SWR 2023