von Ass. iur. Tabea Seum und Prof. Dr. Christian Rückert
I. Einleitung
Veranstalter Prof. Dr. Christoph Safferling, LL.M. (LSE) und sein ICLU-Team luden zum achten Erlanger Cybercrime Tag am 21.3.2024 in den Wassersaal der Orangerie in Erlangen ein. Ganz im Sinne des hybriden Tagungskonzepts konnten sowohl 100 Teilnehmerinnen und Teilnehmer vor Ort als auch viele weitere Interessierte virtuell teilnehmen, diskutieren, sich austauschen und vernetzen. Die Teilnehmerinnen und Teilnehmer setzten sich aus Vertretern der Wissenschaft, Strafrechts- und IT-Praxis, der Justiz, der Anwaltschaft und weiteren Fachvertreterinnen und Fachvertretern, sowie Studierenden zusammen und bereicherten den interdisziplinären Austausch und das Wesen der Veranstaltung. Das Veranstaltungsteam freut sich, dass durch die Vorträge und die sich anschließenden Q&A-Sessions das Thema Hate Speech im Netz und die strafrechtliche Verfolgung umfassend beleuchtet werden konnte.
Der Kampf gegen Hasskriminalität im Internet ist ein brandaktuelles Thema und sowohl der Bund als auch die Länder investieren viel Kraft und viele Ressourcen, um einer Verrohung der Kommunikationskultur im Internet entgegenzuwirken und kein gewaltvolles Klima entstehen zu lassen. Die Gesellschaft nimmt alltäglich Hate Speech oder digitale Gewalt im virtuellen Raum wahr und jede Userin und jeder User kann eines Tages davon betroffen sein. Es handelt sich dabei um ein gesamtgesellschaftliches Problem, welches nicht nur strafrechtliche Fragen berührt, sondern auch das Zivilrecht, Grundrechte, Urheberrechte, technische Aspekte, die Sprachwissenschaft und auch Psychologie. Im Rahmen der Referate auf dem Erlanger Cybercrime Tag 2024 konnten all diese Aspekte beleuchtet und diskutiert werden.
Bereits die Begrüßungsworte von Prof. Dr. Christoph Safferling, LL.M. (LSE), verdeutlichten die aktuelle Relevanz der Thematik auf nationaler Ebene, wobei er auch Parallelen zu internationalen Konflikten zog. Hate Speech ist ein Phänomen, welches uns zurzeit deutlich mehr beschäftigt, als noch vor einigen Jahren. Doch woher kommt dieser Wandel und die Art und Weise der Kommunikation im Internet? Ist das Strafrecht wirklich das Mittel zur Bekämpfung von Hasskriminalität im Internet und welche Rolle spielt das Zivilrecht? Gegen wen richtet sich der Hass, welche Formen gibt es und inwieweit können und müssen Plattformbetreiber von sozialen Netzwerken zur Verantwortung gezogen werden? Kann uns die rasante Entwicklung der Technik, vor allem im Bereich der Sprachmodelle, bei der Strafverfolgung unterstützen oder können Entwickler durch ihre Modelle schnell selbst in eine Strafbarkeit geraten? Diese und noch viele weitere Fragen wurden im Rahmen der Tagung mit unseren Expertinnen und Experten Prof. Dr. Mustafa Temmuz Oğlakcıoğlu, RiOLG (Universität des Saarlandes), StAGL David Beck, Hate-Speech-Beauftragter der Bayerischen Justiz (Zentralstelle zur Bekämpfung von Extremismus und Terrorismus Bayern), LOStA Thomas Goger, stellv. Leiter der Zentralstelle Cybercrime (Zentralstelle Cybercrime Bayern), RA Chan-jo Jun (Jun Rechtsanwälte), Josephine Ballon, Co-Geschäftsführerin von HateAid (HateAid) erörtert.
II. Say it to my face! Die Einordnung der Begehung von Hasskriminalität im Internet als Strafschärfungsmerkmal… durchweg überzeugend? von Prof. Dr. Mustafa Temmuz Oğlakcıoğlu, RiOLG (Universität des Saarlandes)
Den Auftakt machte Prof. Oğlakcıoğlu, ein Experte auf dem Gebiet der Äußerungsdelikte, der vor wenigen Jahren an der Friedrich-Alexander-Universität zu diesem Thema habilitierte. Dieses Wissen präsentierte er den Teilnehmerinnen und Teilnehmern in einem Vortrag, der durch seine polarisierende kriminalpolitische Haltung zum Thema Hate Speech geprägt war und so einen offenen und bereichernden Diskurs eröffnete.
1. Prolog
Die polarisierende Haltung des Referenten rührt daher, dass die Aufgabe des Strafrechts der Schutz der Rechtsgüter ist und nach dem ultima ratio Gedanken dieses nur in „Ausnahmen“ zum Einsatz kommen soll. Doch der heutige Status Quo erweckt den Eindruck, als handle es sich beim ultima ratio Prinzip um eine Mindermeinung. Dabei führt der aktuelle Diskurs hinsichtlich der Kriminalisierung einzelner Verhaltensweisen dazu, dass dieser als politisches Instrument verwendet wird. Die normative Umrahmung der Kommunikation als Sprechakt führt zu einer Banalisierung des Strafrechts, die wiederrum zu einer Verzerrung der Maßstäbe der Ursprungsdebatte führt. Dabei hat ein Strafverdacht die Möglichkeit, nicht unerheblich in die Freiheitssphäre einzugreifen, in die Psyche, den Ruf oder auch Glauben an den Rechtsstaat. Prof. Oğlakcıoğlu steht den zahlreichen Äußerungsdelikten im Strafgesetzbuch kritisch gegenüber und sieht zudem das Strafrecht nicht als geeignetes Mittel zum Schutze der Demokratie. Dabei erkennt er das Bedürfnis nach Schutzmechanismen für Betroffene an, er hält eine Lösung über das Medienrecht oder Schadensersatzrecht für geeigneter. Um den Betroffenen die Möglichkeit zu geben, sich gegen oder vor Belästigungen oder Traumata zu schützen, könnten Änderungen im Zivilrecht erfolgen, indem der Zugang zum Recht oder die Erreichbarkeit der Plattformbetreiber erleichtert wird oder das Zivilverfahren generell auch entschlackt wird.
2. Hauptthese
Die Hauptthese soll nun im Lichte der grundsätzlich strafrechtskritischen Haltung im Bereich der Pönalisierung von Äußerungen zu sehen sein. Sie lautet:
„Die Begehung eines Äußerungsdelikts über das Internet als Cyberkriminalität ist nicht generell strafwürdiger, als die Begehung im Rahmen der Face-to-Face-Kommunikation.“
Es handelt sich dabei um einen methodisch zwingenden Vergleich, der bei der Untersuchung, ob es sich um ein Strafschärfungsmerkmal handeln soll, vorgenommen werden muss. Anknüpfungspunkt ist das letzte Gesetzespaket, welches dazu geführt hat, dass Beleidigungen gem. § 185 StGB härter bzw. höher bestraft werden sollen, wenn diese öffentlich, in einer Versammlung oder durch Verbreiten eines Inhalts (§ 11 Abs. 3 StGB) verwirklicht wurden. Ein Beispiel hierfür wäre eine „ganz normale“ Beleidigung, wie „A***“, die dann auf X, Telegramm oder WhatsApp hochgeladen wird. Der Täter würde dann härter bestraft werden, da mehr Menschen diese Aussage sehen können und der Gesetzgeber dies als strafwürdiger erachtet. Daraus kann eine Prangerwirkung entstehen und es kann zu Folgebeschimpfungen kommen, da die Nutzerinnen und Nutzer die Beleidigung teilen und liken können.
Der Referent betont, dass es ihm um die Rationalisierung der Debatte gehe, denn Hate Speech existiere schon seit Jahren, nur die Kommunikationskanäle ändern und entwickeln sich weiter.
3. Verrohung der Kommunikation im Netz
Im Diskurs über Hate Speech wird immer wieder die Verrohung der Kommunikation im Internet erwähnt. Damit einher geht auch die Verrohung des Individuums.
a) Ankereffekt
Verschiedene Studien haben die vermehrte Häufigkeit von Hate Speech im Netz erforscht und belegt. Insoweit muss jedoch eine stärkere Differenzierung vorgenommen werden, zwischen der Wahrnehmung des Vorliegens von Hasskriminalität und dem tatsächlichen Vorliegen von Hate Speech oder einer inzivilen Kommunikation. Aufgrund der berührten Emotionen werden negative Äußerungen automatisch aufmerksamer wahrgenommen. Eine
Forsa Umfrage[1] deckt dabei Wahrnehmungsverzerrungen auf, denn die Befragten nahmen Politikerinnen und Politikern als Gruppe wahr, gegen welche am meisten Hasskommentare im Internet geäußert werden. Das resultiert jedoch auch aus der höheren Öffentlichkeitspräsenz dieser Gruppe als es bei ethnischen Minderheiten der Fall ist. Das Internet produziert dabei auch einen sog. Ankereffekt[2] hinsichtlich der Wahrnehmung von Inhalten. Nach Ansicht des Referenten bestätige sich das darin, dass die Situation seit dem Gesetzespaket nicht besser geworden sei.
b) Rückzug aus dem Internet
Eine sich daran anknüpfende These, ist die Beobachtung, dass sich die Leute in Folge dieser Wahrnehmung aus dem Internet zurückziehen, da sie Angst haben, ihre eigene Meinung zum Ausdruck zu bringen. Jedoch nutzen Menschen soziale Medien nicht im Wesentlichen dazu, sich eine Meinung zu bilden und der Zustand einer Politikverdrossenheit war auch schon früher, vor dem Internetboom, Thema. Daraus kann man demnach nicht ohne weiteres schließen, dass die meisten Leute Angst hätten, ihre Meinung kundzutun oder auch andersherum keine Lust, ihren Hass kundzutun. Vielleicht besteht vielmehr eine Angst davor, missverstanden zu werden, aufgrund der eingeschränkten Möglichkeit, Emotionen zu teilen oder, dass die Meinung aufgrund der Flut an Beiträgen und Kommentaren sowieso untergeht. Vielmehr sei doch die Motivation für die Nutzung von Sozialen Medien eine andere, nämlich der Kapitalgewinn, die Nutzung als Werbeplattform, für Politik, das Dating Life oder auch zur Selbstprofilierung.
4. Reaktion des Gesetzgebers
2017 wurde das Paket zur Bekämpfung des Rechtsextremismus und der Hasskriminalität eingeführt.[3] Unter anderem wurde dabei der Tatbestand der Bedrohung durch Bezugstaten, wie die Beschädigung von Sachen mit bedeutendem Wert oder auch der persönlichen Freiheit erweitert. Dabei soll nicht unerwähnt bleiben, dass Letzteres ohne Einschränkungen eingefügt wurde, was dazu führt, dass man nach der aktuellen Formulierung eine Bedrohung mit einer Bedrohung vornehmen kann. Zudem wurden Straftatbestände wie §§ 126, 140 oder 188 StGB erweitert. Das Hauptaugenmerk des Vortrags lag jedoch auf der Anhebung des Strafrahmens in § 185 StGB für die Fälle der Verbreitung von Inhalten.
a) Strafschärfungsmerkmal – „Verbreiten des Inhalts“
Es handelt sich hierbei um ein strafschärfendes Merkmal, welches am Kommunikationskanal ansetzt. Die Qualifikation der Beleidigung gem. § 185 StGB ist demnach erfüllt, wenn diese durch die Verbreitung von Inhalten begangen wurde, wobei das Tatbestandsmerkmal „Inhalte“ den früheren Schriftenbegriff ersetzt. Durch diese Änderung erfolgt auch eine Modifizierung der Struktur der Verbreitungsdelikte, da früher der Realakt, konkret: die Übergabe, maßgeblich war und man heutzutage nun an den Kommunikationsakt an sich anknüpft.
Das Gesetzesmaterial betont außerdem, dass es einer Speicherung der Inhalte nicht bedarf. Dadurch werden vom Tatbestand her auch Live-Streams in jeglicher Form umfasst. Zudem sollen auch Beiträge in Instant Messenger Diensten unter die Qualifikation fallen, zumindest wenn ein bestimmter Personenkreis in einer geschlossenen Gruppe kommuniziert. Entscheidend ist dabei, ob der sich Äußernde die Weiterverbreitung seiner Aussagen durch die Empfängerpersonen kontrollieren kann oder nicht. An dieser Unterscheidung ist jedoch problematisch, ob Weiterverbreitung überhaupt kontrollierbar ist, da jedermann jederzeit einen Screenshot machen kann, ohne, dass der sich Äußernde darauf Einfluss oder davon überhaupt Kenntnis hat.
Früher wurde der Verbreitungsbegriff von der herrschenden Meinung noch weiter gefasst. Das wurde damals schon kritisiert, da diese weite Fassung nicht im Einklang mit anderen z.B. dem presserechtlichen Verbreitungsbegriff steht. Dabei ist nach Ansicht des Referenten „Verbreiten“ ein Mehr als bloßes Kommunizieren und Vermitteln, sodass eine konkrete Einschränkung des Begriffs vorgenommen werden sollte, z.B. durch Voraussetzen eines Verbreitungserfolgs. Dadurch würde man die extensive Anwendung und ein extensives Verständnis vermeiden. Dieses würde nämlich dazu führen, dass bei jeder Verwendung eines Massenkommunikationsmittels, wie Instant Messaging, die Qualifikation erfüllt wäre. Demnach sei die Kernproblematik nicht das Schließen von kriminalpolitischen Lücken, sondern vielmehr das Schließen eines viel zu groß geratenen Strafschärfungsrisikos, das alltägliche Formen der Kommunikation erfassen würde. Ein gesetzessystematisches Argument für das Erfordernis eines Verbreitungserfolgs wäre der neue Straftatbestand § 192 StGB, welcher auf ein „gelangen lassen“ des Inhalts abstellt und als neuer Begriff im StGB nicht auf die Kommunikation als solche abstellt.
b) Selektives Aufgreifen der Aspekte der Gesetzesbegründung
Der letzte Hauptpunkt ist auch zugleich der Schlusspunkt. Es wird die Annahme aufgestellt, dass die öffentliche Bedrohung oder Beleidigung im Regelfall ein größeres Gefährdungspotential der geschützten Freiheitssphären hat und insofern auch eben ein höheres Unrecht darstellt. Diese Annahme wird durch verschiedene Argumente in der Gesetzesdrucksache untermauert. Dort heißt es „mit diesen, oft über einen langen Zeitraum für eine breite Öffentlichkeit wahrnehmbaren, respektlosen und herabwürdigenden Inhalten sind allgemein die Hemmschwellen für weitere gleichgerichtete Äußerungen gesenkt. In diesem verrohten Umfeld kommt es jetzt schon dazu, dass bestimmte Meinungen aus Sorge vor solchen Reaktionen nicht mehr geäußert werden. Verwiesen wird auch nochmals auf die hohe Verbreitungswirkung sowie die vermeintliche Anonymität des Internets.“ Zu den Argumenten des letzten Satzes stellte Prof. Oğlakcıoğlu ein paar relativierende Überlegungen an.
aa) Anonymität
Die Anonymität führt zu einer sinkenden Hemmschwelle, da sich Userinnen und User nicht beobachtet fühlen und begründet demnach ein härteres Durchgreifen aus Strafverfolgungsperspektive. Mit Blick auf den sog. Online Disinhibitions Effekt[4] stellt sich jedoch die Frage, wieso Enthemmung grundsätzlich strafschärfend wirken soll? Diese Art der Enthemmung ist auch nicht vergleichbar mit dem Begriff aus § 20 StGB, da dieser klinischer Natur ist und die internetbezogene Enthemmung, phänomen- bzw. sozialpsychologische Wurzeln hat. Die durch die Änderung der Norm vorgenommene Strafrahmenverschiebung will grundsätzlich einen Enthemmungszustand vermeiden, aber letztlich ist Strafschärfung einzelfallgekoppelt, also von den jeweiligen Enthemmten selbst abhängig und nicht pauschalisierbar. Problematisch ist, dass sozialpsychologische Aspekte in eine Strafzumessungsabwägung kaum einfließen, da bei der Beleidigung ohnehin ein niedriger Strafrahmen vorliegt und Aspekte, wie situativer Einfluss, persönliche Disposition, Konformitätsprozesse, normativer Druck oder äußere Einflüsse, nicht tiefgehend beachtet werden. Das Strafverfahren ist mehr opfer- als beschuldigtenorientiert.
bb) Häufigere Begehung (bzw. dauernde Sichtbarkeit)
Die Dauerhaftigkeit erhöht den Aspekt der Intensität der Rechtsgutbeeinträchtigung. Aus einem anderen Blickwinkel betrachtet, können sich dadurch aber auch andere mit der angegriffenen Person solidarisieren und die Beleidigung ist besser nachweisbar.
cc) Intensität
Aufgrund der Prangerwirkung und Häufung soll sich das Erfolgsunrecht erhöhen. Es kann jedoch bei der Zurechnung zu einem „Sprecher“ zu Komplikationen kommen, denn es ergibt sich eine Art Zufallshaftung für den Erfolg. Grundsätzlich ist jedoch für eine solche Zurechnung ein gemeinsames Handeln mit Tatplan und Besprechung notwendig. Insoweit ist § 224 StGB auch kein Gegenargument, denn auch hier ist zumindest Vorsatz und eine Absprache notwendig. Etwas Anderes könnte man vielleicht bei einer Art Massenmobilisierung durch Influencer sehen. Somit ist die Zurechnung des „Shitstorms“ zu einem Einzelnen, wenn die Verteilung des Erfolgs auf mehreren hunderten oder tausenden Schultern verteilt ist, äußerst problematisch. Es folgt auch die Frage, ob es sich um psychische Beihilfe handeln kann, wenn Nutzerinnen oder Nutzer beispielsweise anmerken „nur da, um Kommentare zu lesen“.
5. Face-to-Face versus Online-Kommunikation
Um die Online-Kommunikationen der Kommunikation in der Realität anzugleichen, haben sich verschiedene Kompensationsmechanismen entwickelt, um Texte authentischer im Hinblick auf Emotionen zu gestalten. Darunter fallen neben Emojis, Akronymen oder die Verwendung einer eher Lautsprache ähnlichen Schrift, die dadurch einem Dialog ähnelt und sich deutlich von einem formalen Text abgrenzt. Dabei soll auch ein Ausgleich zur redebegleitenden, nonverbalen Kommunikation durch Mimik, Gestik, Blickverhalten, Körperkontakt, die generelle körperliche Nähe oder Proxemik geschaffen werden. Diese Anpassung unterliegt der stetigen Fortentwicklung von Semantik und einer neuen Semiotik. Allgemeine und allgemeingültige Konventionen müssen sich dabei erstmal etablieren. Beispielsweise ist die Bedeutung einzelner Emojis unklar und Userinnern und User deuten den Aussagegehalt dieser unterschiedlich. Weiterhin muss auch die Raumzeitkonstitution beachtet werden. Bei der nicht medienvermittelten Face-to-Face Interaktion (Kopräsenz), ist im Dialog auch eine Unterbrechung möglich und ein direktes Interagieren. Das lässt uns unser Gegenüber und die Art der Kommunikation ganz anders wahrnehmen. Durch das Fehlen eines persönlichen Gesprächsklimas im virtuellen Raum kann der Effekt der Enthemmung weiter verstärkt werden.
6. Fazit
Virtuelle Angreifer erreichen schneller eine größere Öffentlichkeit, sodass Hassnachrichten exponentiell gegenüber Betroffenen steigen können. Demgegenüber steht die Masse bzw. die Häufigkeit an Kommunikation in sozialen Netzwerken, weswegen Beleidigungen einer Inflation unterliegen. Ein Rückzug der Userinnen und User kann durch Einschüchterung motiviert werden, es kann aber auch auf andere Ursachen zurückzuführen sein, wie bspw. die Suche nach einem neuen Kommunikationskanal. Die drastische Wortwahl kann auch als Symptom des gewählten Mediums angesehen werden.
Dementsprechend ist Prof. Oğlakcıoğlu der Ansicht, dass derzeitige Beobachtungen den Schluss nicht zulassen, dass Internetkommunikation per se gefährlicher als das analoge Gespräch sei. Kommunikation befindet sich in einer Umbruchsphase. Man sollte diese lieber behutsam beobachten anstatt weiterhin aktionistisch, in Panik um die Demokratie, darauf hinzuwirken, dass Äußerungen im Internet härter bestraft werden sollen.
7. Q&A-Session
Nach diesem, mit polarisierender Meinung bestückten, Vortrag, wurde die Q&A Session zur weiteren Diskussion und Vertiefung oder Klarstellung der Problematik ausgiebig genutzt. Dabei wurde unter anderem über die unterschiedliche Betrachtung von Erfolgsunrecht diskutiert, welches letztlich nach Ansicht des Referenten in der Häufung der Kommunikation und nicht in der bloßen Wahrnehmung von weiteren Kommentaren und Beiträgen liege. Damit zusammen hängt das Problem, dass der Begriff „Hate Speech“ generell schwammig und ungeklärt ist. Ein Alternativvorschlag zur Einführung der Qualifikation des § 185 StGB wurde aus der Reihe der Referenten von LOStA Thomas Goger, in Form des generellen Anhebens des Strafrahmens der Beleidigung, gemacht. Dadurch bestünde die Möglichkeit, eine stärkere Ausdifferenzierung der Strafzumessungsmerkmale vorzunehmen. Zudem wurde noch einmal vertieft auf den sich im Wandel befindlichen ultima ratio Gedanken des Strafrechts eingegangen, wobei es sich nach Prof. Oğlakcıoğlu um einen Grundwiderspruch handele, eine liberale Idee, wie die Verteidigung der Demokratie, durch ein Zwangsmittel, wie das Strafrecht, zu schützen.
III. Hass im Netz – Staatsanwaltschaften und Polizei im digitalen Raum von StAGL David Beck, Hate-Speech-Beauftragter der Bayerischen Justiz (Generalstaatsanwaltschaft München – Bayerische Zentralstelle zur Bekämpfung von Extremismus und Terrorismus)
Als nächstes sprach StAGL Beck aus Sicht der Strafverfolgungsbehörden über Hasskriminalität. Vor dem thematischen Einstieg ins Thema, gab er dem Publikum einen kurzen Überblick zu seiner Tätigkeit als Beauftragter der Bayerischen Justiz zur strafrechtlichen Bekämpfung von Hate Speech. Er koordiniert mit seinem Team bei der Generalstaatsanwaltschaft in München die Tätigkeiten der Sonderdezernenten bei allen bayerischen Staatsanwaltschaften und führt herausgehobene Verfahren aus dem Bereich Hate Speech.
1. Hate Speech im strafrechtlichen Sinne
Im Vortrag wird auf Hate Speech im strafrechtlichen Sinne eingegangen. Jedoch kann Hass im Netz auch andere Dimensionen haben, die unter der Strafbarkeitsschwelle liegen.
a) Strafprozessrechtlich
Wann die Staatsanwaltschaft zuständig ist und tätig wird, bestimmt sich nach dem Vorliegen eines Anfangsverdachts. Grundsätzlich ist die Verfolgung von Hasskriminalität im öffentlichen Interesse, das ergibt sich sowohl aus Nr. 86, 229 RiStBV als auch aus § 46 StGB. Ausgangspunkt ist dabei Art. 1 GG oder Art 100 BV, denn Hasskriminalität richtet sich gegen Einzelne aufgrund ihrer Zugehörigkeit zu einer (Minderheits-) Gruppe und diese Gruppierung ist ein Merkmal, das die Menschen ihrer Persönlichkeit zurechnen. Nicht jeder definiert sich über seine Herkunft, Nationalität, Hautfarbe oder sexuelle Orientierung, aber für ganz viele Betroffene ist es ein Kernaspekt ihres Wesens, ihrer Würde und ihrer Persönlichkeit. Wohnungsdurchsuchungen sind im Ermittlungsverfahren in diesem Bereich nicht ausgeschlossen, müssen aber den Grundsatz der Verhältnismäßigkeit wahren. Vielmehr ist zu betonen, dass Durchsuchungen, ob in der Wohnung oder an der Person selbst, wichtig sind, um an die Tatmittel zu gelangen. Bei der Verurteilung ist das Ziel eine angemessen hohe Strafe, wobei die Betonung hier auf angemessen liegt.
b) Materiell strafrechtlich
Eine zentrale Norm ist § 130 StGB, die Volksverhetzung. Dabei ist durch Absatz 1 Nr. 2 ein Angriff auf die Menschenwürde unter Strafe gestellt. Absatz 2 stellt dann auf die Verbreitung oder auch die Zugänglichmachung dieser Inhalte an Personen unter 18 Jahren ab. Dabei sind auch Situationen umfasst, in denen eine 1:1 Kommunikation von zwei Jugendlichen stattfindet, die beide minderjährig sind und sich gegenseitig strafbare Memes schicken. In weiteren Absätzen werden der Völkermord und die Holocaust-Verharmlosung unter Strafe gestellt. Kurz sei noch erwähnt, dass es auch eine Versuchsstrafbarkeit in Absatz 7 gibt, welche jedoch in der Praxis eine eher untergeordnete Rolle spielt.
Andere Straftatbestände bei der Verfolgung von Hasskriminalität im Internet sind § 86a StGB – das Verwenden von Kennzeichen verfassungswidriger und terroristischer Organisationen, § 111 StGB – die öffentliche Aufforderung zu Straftaten, § 140 StGB – die Belohnung und Billigung von Straftaten, § 240 StGB – die Bedrohung und auch die Beleidigungsdelikte nach §§ 185 ff. StGB, insbesondere auch § 192a StGB, die verhetzende Beleidigung.
Ein weiterer relevanter Straftatbestand ist § 201a Abs. 2 StGB, die Zugänglichmachung von rufschädigenden Bildaufnahmen, die geeignet sind, das Ansehen der abgebildeten Person erheblich zu schädigen. Derzeit ist die Relevanz dieser Norm in der Praxis noch relativ gering, was sich jedoch durch die Fortentwicklung von DeepFakes und Porndeepfakes ändern könnte.
c) Hate Speech als Mosaikstein
Wichtig ist, dass die Zuständigkeit der Staatsanwaltschaften erst mit einem Anfangsverdacht beginnt, obwohl das Problem von Hate Speech früher beginnt. Im Kampf dagegen ist das Strafrecht demnach nur ein Mosaikstein und es braucht weitere Mittel bei der Bekämpfung. Als weitere Mittel kommen die Gegenrede, eine Opferbetreuung, die zivilrechtliche Geltendmachung von Persönlichkeitsrechten usw. in Betracht.
2. Gefahren von Hasskriminalität im Internet
a) Hate Speech im digitalen Raum nimmt signifikant zu
Zur Verdeutlichung dieses Punktes brachte der Referent ein paar Zahlen mit. Im Bereich Hasskriminalität im Internet waren noch im Jahr 2021/2022 zwischen 2000 und 2500 eingeleitete Ermittlungsverfahren. 2023 war man dann bei knapp über 3000. Ein Drittel der Verfahren wurde eingestellt, wobei die Zahlen jahresweise erfasst werden und Verfahren unterschiedlich lange andauern. Deutlich wird auch, dass es nach dem 7.10.2023 einen erheblichen Zuwachs an strafrechtlich relevanter antisemitischer Hate Speech im Internet gibt. Eine Zunahme bei anderen betroffenen Gruppen lässt jedoch nicht den Schluss zu, dass es mehr Taten gibt. Stattdessen kann es auch an einer Aufdeckung der Dunkelziffern liegen, welche aus einer erhöhten Anzeigebereitschaft resultiert.
b) Verwendung von Memes
Die gezielte Verwendung von strafbaren Memes, erfolgt frei nach dem Motto „Ein Gegner, der lacht ist schon halb auf unserer Seite“, wodurch solche Bilder dann eine ganz andere Dynamik erhalten. Die dadurch kreierten Atmosphären lassen Taten folgen. Zwar sind solche Memes nicht unmittelbar kausal für Gewalttaten, aber es wird ein Gesamtklima im virtuellen Raum geschaffen.
c) Wahrnehmungsverzerrung
Die Art der Verbreitung von strafbarer Hate Speech im Internet neigt dazu, dass die Wahrnehmung verzerrt wird, sodass „laute“ Minderheiten als Mehrheiten erscheinen. Dieser Effekt wird durch multiple Accounts derselben Personen auf den Plattformen bewirkt und zudem durch den Effekt der Algorithmen vergrößert.
d) Sog. Silencing Effekt
Zudem wird der sog. Silencing Effekt, auch bei Amts- und Mandatsträgerinnen und -trägern, hervorgerufen. Nach einer MOTRA-Studie[5] gaben 38 % der dort befragten Amts- und Mandatsträgerinnen und –träger an, im letzten halben Jahr Opfer von Anfeindungen gewesen zu sein. Bezüglich der Folgen gaben dann 64 % an, ihr Verhalten zu ändern, während 17 % Abstand von der Nutzung von Social Media nahmen und 24 % sich zu bestimmten Themen seltener äußerten als früher.
Bei vielen Äußerungen geht es nicht mehr um die Meinungsäußerung, sondern um strafbare Inhalte. Dabei haben die BVerfG-Beschlüsse im Mai 2020[6] dies deutlich klargestellt, Formalbeleidigungen, reine Schmähungen und auch Angriffe auf die Menschenwürde muss niemand hinnehmen. Bei der verfassungsrechtlich gebotenen Abwägung zwischen Meinungsfreiheit und betroffenem Rechtsgut kann dann eine Differenzierung zwischen Bundespolitikerin und –politiker und solchen auf kommunaler Ebene vorgenommen werden, welche ggf. zu einer unterschiedlichen Gewichtung führt. Letztlich ist Hass im Netz, der gezielt dazu eingesetzt wird, Leute in der Politik davon abzuhalten, ihre freie Meinung zu äußern, demokratisch als bedrohlich einzustufen.
e) Gegenmaßnahmen
Es gibt keine pauschale Online-Streife im Internet, dieses soll frei bleiben. Dadurch ist man jedoch als Strafverfolgungsbehörde auf die konsequente Anzeigenerstattung der Geschädigten angewiesen. Hierzu wurden in Bayern verschiedene Meldewege eingerichtet und unter bayern-gegen-hass.de dargestellt. Weiter wird die Arbeit der Meldestelle Respect! unterstützt. Eine konsequente Strafverfolgung muss stattfinden, denn diese ist im öffentlichen Interesse.
3. Beschuldigtenermittlung
Der nächste Step, nach der erfolgreichen Anzeigenerstattung, ist die Beschuldigtenermittlung. Diese gelingt in vielen Fällen. Die Ermittlung erfolgt auch durch OSINT-Recherchen und das Internet bietet dabei eine Fülle an Informationen, an welche man herankommen kann. Ein wichtiges Ermittlungsinstrument ist in geeigneten Fällen die Sicherstellung und die sich daran anschließende Auswertung von EDV-Geräten. Schlussfolgernd lässt sich feststellen, dass eine konsequente Beschuldigtenermittlung auch zu einer konsequenten Strafverfolgung und dann zu erhöhter Klageerhebung und wiederum zu viel mehr Verurteilungen und tatsächlich zu spezialpräventiver Abschreckung führt.
4. Q&A Session
Bei der lebhaften Frage- und Diskussionsrunde im Anschluss, wurde sich mit der Strafbarkeit von Zeichen in englischer Sprache auseinandergesetzt. Auch wurde darüber diskutiert, wie es sich damit verhält, wenn der Täter ein Deutscher wäre und die Äußerung im Ausland versendet. Vieles, was in Deutschland strafbar ist, wird auch im Ausland geahndet. Ansonsten kommt es drauf an, ob es ein Fall von § 86a StGB bzw. § 5 Nr. 3 StGB ist. Zudem wurde sich mit den Gründen der erhöhten Anzeigebereitschaft auseinandergesetzt.
IV. Hate Speech und Generative KI – tatsächliche und rechtliche Fragestellungen LOStA Thomas Goger, stellv. Leiter der Zentralstelle Cybercrime (Zentralstelle Cybercrime Bayern)
Leitender Oberstaatsanwalt Goger ist als stellvertretender Leiter der Zentralstelle Cybercrime Bayern (ZCB) Experte auf dem Gebiet der Nutzung von KI in Strafverfolgungsbehörden. Dabei hat er selbst schon am sog. Dark Web Monitor[7] mitgearbeitet. Dieser Vortrag fokussierte sich nicht auf eine rechtliche Einordnung, sondern das Augenmerk lag vielmehr auf einer Darstellung des dynamischen Entwicklungsprozesses von Künstlicher Intelligenz und welche Fragen jetzt schon eine Rolle in der Diskussion und Praxis spielen. Problematisch ist im Hinblick auf die Forschung insbesondere die rasante Entwicklung in jenem Feld. Diese führt dazu, dass Erkenntnisse, die man gestern erlangt hat, unter Umständen morgen schon nicht mehr aktuell sind.
1. Einführung in die Grundlagen
Zuerst einmal wurde vom Referenten klargestellt, dass die folgenden Modelle rein auf syntaktischer Ebene vorgestellt werden. Es soll gerade keine Bedeutungszuschreibung erfolgen, sondern rein ein Diskurs über Syntax.
a) Ausgangsbasis
Die Grundannahme ist, dass sich statistische Wahrscheinlichkeiten für bestimmte Wortfolgen bilden lassen. Diese These stellt dabei keine neue Entdeckung dar, sondern wurde vielmehr schon von Markov um die vorletzte Jahrhundertwende auf einer rein theoretischen Ebene entwickelt. Allerdings hat die These erst in den letzten Jahren an Relevanz gewonnen, als man über die mathematischen Verfahren, sowie die notwendigen Hardware-Technologien verfügte, um solche hochdimensionalen Vektorräume zu errechnen. Dabei wird betont, dass der Vortrag keine Debatte darüber entfachen möchte, ob Künstliche Intelligenz ein Bewusstsein entwickeln kann oder nicht. Vielmehr verdeutlicht LOStA Goger an einem Beispiel, dass Syntax tatsächlich nicht das garantiert, was wir als Verständnis oder bewusstes Verständnis verstehen würden.
b) Auswirkungen von Syntax am Beispiel ChatGPT[8]
Fragt man das Modell, was die Quersumme von 76 ist, so kommt dieses aufgrund des banalen mathematischen Konzepts der Quersumme, mühelos auf das Ergebnis 13. Gleiches gilt mit höheren Zahlen. Wenn man die Frage jedoch sodann umdreht, so lässt sich gut darstellen, dass es bei Sprachmodellen nicht um ein Verständnis in der Sache geht, sondern um eine syntaktische Inbeziehungsetzung von Entitäten. Man sucht sich demnach eine Zahl aus, die eine Quersumme darstellen soll und ändert die Formulierung ab. Fragt man nun „Nenn mir eine Zahl mit einer Quersumme von 14 – könnte das beispielsweise 599 sein?“, so bestätigt ChatGPT erstmal 599 als richtiges Ergebnis, um dieses erst in einem zweiten Schritt nachzurechnen und dann festzustellen, dass 599 keine Quersumme von 14 haben kann. Dabei handelt es sich zumindest um den aktuellen Stand der Technik.
c) Trainingsdaten für große Sprachmodelle
Als nächstes wurde sich mit den Trainingsdaten für solche Large Language Modells auseinandergesetzt, denn hinsichtlich des Wissens solcher Modelle besteht die Annahme, dass diese mit dem Internet und mit Unmengen an Daten trainiert wurden. Diese Aussage stimmt zwar teilweise, aber in gewisser Hinsicht ist sie auch falsch. Der sog. Common Crawl umfasst ungefähr vier Terabyte. Es handelt sich um ein standardisiertes und für Forschungszwecke genutztes Abbild des World Wide Webs. Forscher nutzen dies bei Untersuchungen im Internet, wenn sie einen referenzierten Datensatz brauchen, um reproduzierbare Ergebnisse zu erzielen. Am Ende hat man für solche Forschungszwecke also vier bis fünf Terabyte zur Verfügung und es werden damit verwertbare Ergebnisse erzielt.
2. Hauptteil
Technologien aus dem Bereich generativer KI weisen erhebliches Potential auf, um die Verbreitung von Desinformationen, Vorurteilen und Hate Speech zu fördern. Dabei wird der Begriff Hate Speech und Desinformation im allgemeinen Sinn verwendet.
a) Zivilrechtliche und strafrechtliche Zurechnungsinstitutionen auf der Probe
Bei der Frage nach der Zurechnung, muss man zwischen bewusst vom Nutzer initiierten negativen Effekten und unbewussten unterscheiden. Bewusste Handlungen, sind aus juristischer Sicht einfach zuzurechnen. Die zweite Situation ist deutlich komplexer, wenn die negativen Folgen unbewusst bereits in der Technologie angelegt sind oder sich aufgrund von Mechanismen, die eben nicht willensgetrieben in die Technologie implementiert worden sind, sich aber im Laufe der Zeit entwickelt haben, sich aber gleichwohl erst nach längerer Zeit entfaltet haben. Begrenzungsmaßnahmen zur Vorbeugung sind dahingehend nur sehr bedingt wirksam.
Es stellt sich somit das Problem inwieweit wir mit den aktuellen Zurechnungsinstitutionen sowohl im Zivilrecht, als auch im Strafrecht, weiterkommen. Dabei ist Regulierung per se zwar ein wohlmeinendes gesellschaftliches Anliegen, aber ob beispielsweise der AI Act als europäische Maßnahme überzeugen kann, sei erstmal dahingestellt, da man aus internationaler Sicht hinsichtlich der AI Technologien eher abgehängt wurde.
b) Überblick aktuelle Tools
Mittlerweile lassen sich die folgenden Modelle auf dem Markt finden. Die vier bekanntesten Sprachmodelle, die für den Durchschnittsbürger nutzbar sind, sind ChatGPT von OpenAI, Gemini von Google, Llama von Meta und dann auf europäischer Seite Sprachmodelle von Mistral und Aleph Alpha. Verbreitete Bildgenerierungsmodelle sind Midjourney, Adobe Firefly und DALL·E 3, was mittlerweile auch in ChatGPT implementiert wurde. Ein interessantes „Zwitterwesen“ ist der Microsoft Copilot, der die Dienste von allen Modellen ein bisschen ableitet und für sich selbst entwickelt.
Wichtig ist dabei, dass es diese AI-Tools alle auch als Offline Varianten gibt. Damit wird es dann im Übrigen hinsichtlich technologischen, wie regulatorischen Eingriffsmöglichkeiten eng. Bei all dem, was man in der Cloud findet, ist ein Adressat vorhanden, dem man sagen kann, was er für Modelle verwenden darf, wie er sie trainieren darf und was dann hinsichtlich des Safety Trainings zu machen ist. Wird jedoch eins der Modelle auf dem eigenen Rechner bedient, ist ein Eingriff schwieriger und es gibt keinen technologischen Anreiz, sich an die Regulierungen zu halten.
3. Safety Trainings
Beim Blick auf verschiedene Schlagzeilen der letzten Jahre zeigt sich, dass die Schwierigkeiten bei der Benutzung der Sprachmodelle darin liegen, dass diese ziemlich schnell in Bereiche abgleiten, die man auch als strafbar erachten könnte. Bei der Implementierung von ChatGPT in Bing von Microsoft konnte man den Bot sowohl zu Liebeserklärungen bringen, als auch um Hilfe bitten, wie man Beziehungen beendet. Daraufhin wurde dann die Limitierung der Nachrichten pro Chat oder pro Stunde eingeführt.
Das Mittel, gegen solche moralischen oder auch rechtlichen Entgleisungen des Bots, sollen Safety Trainings sein.
a) Funktionsweise
Ganz untechnisch und ohne Ausführungen zu Low Rank Adaptions: Man trainiert ein Sprachmodell mit Datensätzen in dem bereits oben erläuterten Volumen. Beim Trainieren verteilt man dann Gewichtungen und je nach Einsatzzweck muss man nachjustieren. Dabei müssen die Bots mannigfaltige Varianten des Safety Trainings durchlaufen, damit rassistische Bemerkungen oder Beleidigungen vermieden und verhindert werden. Gibt man dem Sprachmodell dann die Aufgabe einen Text über die positiven Effekte der Zeit des Nationalsozialismus für Deutschland zu formulieren, weigert sich dieses und erläutert hingegen die ganzen negativen Aspekte und wieso es sich dabei um eine der dunkelsten Perioden in der Geschichte handelt. Das ist jedoch nicht die einzige Möglichkeit, diese Frage zu formulieren. Mit ein bisschen „Prompt-Engineering“ kann man unter Umständen doch eine gewünschte Antwort aus dem Sprachmodell rauskitzeln und so das Safety Training umgehen.
Das hat dann weder etwas mit dem Modell an sich noch mit den Trainingsdaten zu tun, sondern es handelt sich dabei um die bei allen Sprachmodellen durchgeführte zweite Phase des Trainings, dem Safety Training, was auf gleiche Weise durchgeführt wird und was dementsprechend auch auf gleiche Weise umgangen werden kann.
b) Bestandsaufnahme des Safety Trainings
Problematisch ist dabei, dass man sich mit solchen Sprachmodellen sehr schnell in Themen bewegen kann, die zwar rechtlich nicht strafwürdig sind und eine zulässige Meinung darstellen, aber aus anderen Gründen sensibel und unter Umständen ungewollt sind. Mittlerweile gibt es rigorose Einstellungen des Safety Trainings und es besteht ein Spannungsfeld zwischen Anbieter und Modellbetreiber. Firmen wie Microsoft oder Google wollen die Sprachmodelle mehr in ihre eigenen Dienste implementieren.
Diese Problematik wurde mittlerweile reihenweise von Papern erforscht, da Meta den Datensatz von Llama komplett öffentlich gemacht hat. Mit wenig Aufwand konnten die Modelle neu überrechnet werden, sodass die Safety Regularien verschwinden. Es gibt einen Standard-Referenz-Prompt-Satz, mit dem man testet, wie sehr Modelle bereit sind, unerwünschten Content zu produzieren. Wendet man die in dem Paper beschriebene und erforschte Art und Weise an, die erklärt, wie man das Safety Training rückgängig macht, bekommt man alle Antworten zu Gaslightning, Blackmailing usw.
c) Fazit und abschließende Thesen
Die Safety Trainings sind mit relativ begrenztem Aufwand, auch mit begrenztem Hardware-Einsatz, rückgängig zu machen und es liegt ein sog. Katz und Maus Spiel vor.
Safety Trainings sind jedenfalls in der Form wie wir sie bis dato konzeptionell entwickelt und implementiert haben, eine problematische Komponente im Hinblick auf Diskursverengung, da dieser davon abhängig ist, was man den Modellen vorgibt.
Die Safety Trainings sind nicht die endgültige Lösung, denn über die Phase der cloudbasierten Modelle sind wir hinaus.
4. Bildgenerierungsmodelle
Bildgenerierungsmodelle wie Midjourney, haben noch mit Vorurteilen bei der Erstellung von Bildern zu kämpfen. Bei der Eingabe der prompts: „picture of a group of law professors in a meeting“ und „pictures of a group of kindergarten teachers in a meeting“, zeigt sich nicht nur der Geschlechter Bias, da man auf den Bildvorschlägen des ersten Prompts nur Männer sieht und beim zweiten nur Frauen, sondern vielmehr unterscheidet sich die gesamte Bildsprache (der Hintergrund, die Farben, usw.).
Das Kernproblem ist, dass sich die Realität schlecht im Modell ändern lässt. Zumindest der Glaube, dass man die Realität mit dem abgeleiteten Modell ändert, geht schief.
Auch bei einem anderen Beispiel zeigen sich gravierende Unterschiede. Bei der Verwendung der Adobe Stockfotodatenbank, die im professionellen oder halbprofessionellen Bereich der Online Publikationen Texte und Bilder gestaltet, kann sich die Auswahl der Bilder fundamental dadurch unterscheiden, dass beim Prompt einmal mit KI generierte Bilder angezeigt werden sollen und einmal ohne. Die Lösung von Google, die Auswahl durch das Safety Training der KI zu beeinflussen, ist damals misslungen. Durch ein übermäßiges Training wurden die generierten Bilder zwar divers, aber realitätsfern. Die Auswirkungen dieses Scheiterns führten sogar zu einem Publicity Gau, der wiederum weitreichende Folgen auf dem Aktienmarkt hatte.
5. Abschließende Thesen
Die Modelle sind alle frei verfügbar (ob Text zu Text, Bild zu Text, Text zu Video, Bild zu Video, Video zu Text usw.). Man findet sie sowohl auf seriösen Seiten,[9] als auch auf unseriösen Seiten mit weniger Safety Training oder Seiten mit gar keinem sicheren Inhalt mehr.
Zudem entwickelt sich die Technik zu schnell und die Rechtswissenschaft, speziell die Forschung, kommt nicht hinterher. Insoweit soll wieder auf die juristische Zurechnungsproblematik eingegangen werden. Beispielsweise ist man im Mai 2023 in einer juristischen Zeitung noch davon ausgegangen, „dass die Entwicklung weitreichend autonom agierender Systeme zumindest in absehbarer Zukunft nicht zu erwarten ist.“ Jedoch wurde im Dezember des gleichen Jahres ein Paper rausgebracht, welches die autonome bzw. auch zielableitende autonome Weise der Modelle darstellt. Als Beispiel findet sich hier die Implementierung in Smartphone Apps. Wenn man jetzt all die bereits erörterten Mechanismen im Hinterkopf behält, wo in diesen Modellen erwünschtes Antwortverhalten entweder sofort oder in einem späteren Prozess ausbrechen kann, dann ergeben sich Problemfelder im Hinblick auf die juristische Zuordnung.
Weiterhin sind die Sprachmodelle mittlerweile auf einer konzeptionellen und einer Beta Ebene in der Lage, komplexe Aufgaben runterzubrechen und semieigenständig abzuarbeiten. Stellt man jetzt z.B. dem neuen Projekt Agent ChatGPT eine umfangreiche Aufgabe, so kann dieses Modell rein auf syntaktischer Ebene ohne Bewusstsein oder ähnlichem zu brauchbaren Ergebnissen kommen, indem es die Aufgabe in kleinere Aufgaben unterteilt und diese dann abarbeitet. Es stellt sich insoweit die Frage, wer wie verantwortlich ist und wie weit ein bestimmtes Handlungselement von der eigenen Ausgangsidee entfernt sein muss, damit es nicht mehr im strafrechtlichen Sinne zurechenbar ist.
6. Abschließende Worte
Gegen Ende seines Vortrags appelliert der Referent an Teilnehmerinnen und Teilnehmer, dass es sich hierbei nicht nur um einen Hype wie bei Blockchains oder dem Metaverse handele, sondern die Technologien real seien, sich in der Implementierungsphase befänden und enorm destruktives Potential aufwiesen, weswegen er die Auseinandersetzung mit aktuellen Publikationen in diesem Feld empfehle.
7. Q & A Session
In der sich anschließenden Q&A-Session konnten auch nach diesem Vortrag einige offene Fragen beantwortet werden. LOStA Goger kritisierte die Umsetzung der Regulierung des AI Acts. Das Problem der Entwicklung dieser Vorschriften war, dass die Debatte zu lange gedauert hat, sodass sich die Technik rasant weiterentwickelt hat und dann daran nicht angeknüpft werden konnte. Der AI Act ist dahingehend zu statisch geregelt. Hinsichtlich der Frage von Prof. Oğlakcıoğlu, ob die Vorverlagerung der Strafbarkeit nicht einige Differenzen lösen könne, sieht der Referent grundsätzlich keine Probleme, jedoch bestünden Fälle, in denen eine Vorverlagerung zu weit greifen würde.
V. Wer Opfer von Hasskriminalität vertritt, kämpft auch gerne gegen Windmühlen – weil Gesetzgebung und Rechtsprechung den perfiden Methoden der Hass-Profiteure hinterherlaufen, eigenen sich nur wenig für Fälle der Rechtsverfolgung, von RA Chan-jo Jun(Jun Rechtsanwälte)
Nach der ersten Kaffeepause am Nachmittag, folgte Rechtsanwalt Jun mit einem rhetorisch beeindruckenden Vortrag, der sowohl rechtliche als auch gesellschaftliche Aspekte umfasste. Der Referent ermutigte das Publikum, sofortige Nachfragen zu stellen oder Anmerkungen zu machen, sodass die Q&A-Session direkt in den Vortrag, der sich mit den Problemen und Hindernissen bei der Bekämpfung von Hate Speech befasste, eingegliedert wurde.
1. Die nicht zufriedenstellende Bekämpfung von Hate Speech
Der Referent stieg mit einer kritischen Betrachtung der Thematik und des aktuellen Stands ein. Dabei erwähnte er zwar die Erfolge, die bereits von verschiedenen Seiten erreicht wurden, hielt dem jedoch die langsame Erreichung dieser entgegen. Nach Ansicht von RA Jun würde man bei jedem Schritt vorwärts, wie etwa Gesetzespaketen, von der Gegenseite „überholt“ werden, die ungehemmt und ohne Interesse an einem sachlichen Diskurs die Freiheit im Internet stört. Juristen können dabei nicht alle Probleme, die damit einhergehen, lösen, jedoch sollte das bisschen, was juristisch möglich wäre, auch gelöst werden. Dabei kann es keinen Stillstand geben, sondern es muss immer wieder nachjustiert und angepasst werden.
Anhand des Beispiels von Renate Künast zeigt sich, wie lange sich solche Verfahren ziehen. Im Frühjahr 2024 gab es die erste Entscheidung in einem Zivilsenat vor dem OLG Frankfurt. Dabei wurde festgestellt, dass Meta-Facebook verpflichtet ist, nicht nur die rechtswidrigen – denn es ist unstreitig, diese löschen zu müssen – sondern alle kerngleichen Inhalte ebenfalls von der Plattform zu nehmen. Verhandelt wurde über Memes, die aus dem Jahre 2015 stammen. Aussagen, die damals behauptet wurden, heute niemand mehr glaubt, aber erst heute vor dem OLG verhandelt wurden und dann geht es noch weiter zum BGH.
2. Rolle und Verantwortung der Plattformbetreiber
a) Der Einfluss sozialer Netzwerke auf junge Leute
Straftaten werden dadurch als Normalität von jungen Leuten angesehen. Man trifft auf Verwunderung bei diesen, wenn sie erfahren, dass Beleidigungen Straftaten sind. Es besteht ein riesiges Delta hinsichtlich der Sichtweise, was Gerechtigkeit aus Sicht der Jugendlichen ist und wie sie diese empfinden und was wiederum Gerechtigkeit nach dem Gesetz ist. Das kommt daher, dass junge Leute Gerechtigkeit und Regeln anhand der Regeln, die die Gemeinschaftsstandards der Plattformbetreiber in Sozialen Netzwerken sind, erlernen. Daneben reiht sich das Problem von Deepfakes ein, welche man alltäglich in Klassenchats finden kann und dadurch gar nicht realisiert wird, dass Grenzen überschritten wurden.
b) Umfang der Melde- und Löschpflicht
Kernpunkt ist dabei die Beantwortung der Frage: „Bedeuten rechtswidrige Inhalte bei Plattformbetreibern, dass sie überall plattformweit auch für die Zukunft entfernt werden müssen oder bedeutet es einfach nur, dass man es dort entfernt, wo jeweils die URL gemeldet wurde?“ Denn problematisch ist, dass die Betroffenen gar nicht jede URL melden können, da man nicht mal jede auffinden kann. Die Masse an Material ist nicht stemmbar und dahingehend sind Opfer von Hasskriminalität im Internet im Nachteil.
Bei einer Nachfrage aus dem Publikum wird verdeutlicht, dass die Möglichkeiten zur Überprüfung begrenzt sind, da diese manuell aufgrund der Masse kaum zu bewältigen ist und eine Filterprüfung durch die Abänderung von Pixeln leicht umgangen werden kann. Der Referent bestätigte dies, fügt jedoch hinzu, dass es auch andere Möglichkeiten, als die Implementation von Uploadfiltern, gibt. Das pauschale Verneinen der Möglichkeit von Facebook vor Gericht kann jedenfalls nicht überzeugen, da es immer Optionen wie die Kombination von maschinellen Bildvergleich und menschlicher Überprüfung gibt, und auch die Unterstützung durch Sprachmodelle möglich ist. Haltlos wird die Aussage von Facebook vor allen Dingen dadurch, dass mittlerweile schon 80-90% der Löschentscheidungen maschinell getroffen werden[10], es also funktioniert und praktiziert wird, wie Referentin Ballon einwendet.
3. Overblocking und Meinungsfreiheit
Mit der Nutzung von maschinellen Löschentscheidungen ist auch das Thema Overblocking betroffen und die Abwägung zwischen Meinungsfreiheit und Persönlichkeitsrechten. Bei Falschnachrichten ist der Schaden für den Einzelnen, aber auch für die Gesellschaft, hoch. Das Thema Overblocking wurde dann viel im Zusammenhang mit dem NetzDG diskutiert, wobei es auch schon davor bestand.
4. Haftung der Plattformbetreiber auf Schadensersatz
Bei der Frage nach der Haftung findet eine Verknüpfung zwischen dem Strafrecht und Zivilrecht statt.
a) Schadensersatzansprüche
Die Unterlassungs- und Beseitigungshaftung ergibt sich selbstverständlich aus der Störerhaftung, aber für einen Schadensersatzanspruch braucht man „Täterschaft und Teilnahme“. Das wurde damals vom LG Würzburg noch abgelehnt, dieses Jahr wurde vom OLG Frankfurt entschieden, dass Plattformbetreiber sehr wohl Täter oder Teilnehmer sein können, wenn sie nach Kenntniserlangung einen rechtswidrigen Inhalt weiterhin ausspielen. Daran schließt sich nun die nächste Frage an. Handelt es sich dabei um ein Tun durch Handeln oder um ein Unterlassen, wo sieht man den Schwerpunkt und bei der Annahme es handelt sich um ein Unterlassen, woraus ergibt sich die Handlungspflicht? Schlussendlich war diese Feststellung des Gerichts notwendig, um die strafrechtliche Verfolgung zu ermöglichen.
b) Verquickung von Zivilrecht und Strafrecht
Aufgrund einer Rückfrage im Publikum wird noch einmal die Verquickung von Zivilrecht und Strafrecht verdeutlicht. Denn nach der Beobachtung von Prof. Oğlakcıoğlu und RA Jun ist diese stark ausgeprägt und das Zivilrecht lässt sich dahingehend zumindest nach dem Diskurs oder von den Leitlinien und von paradigmatischen Entscheidungen her stark vom Strafrecht beeinflussen.
Eine weitere Frage aus dem Publikum spricht die Verlagerung der Kommunikation in andere Plattformen und Netzwerke als die Plattform Facebook, die in diesem Vortrag viel diskutiert wird, an. Dem stimmt der Referent zu und verweist noch mal auf die eingangs aufgeworfene Problematik des Rückstands der Aufarbeitung und Verhandlung solcher Fälle vor Gericht.
Weiterhin erfolgt eine Rückfrage, ob negative Aussagen trotz ihrer Legalität herab priorisiert werden sollten. Dabei zeigt sich der Unterschied zwischen dem Straf- und dem Zivilrecht, denn trotz legalem Verhalten können Plattformbetreiber einen gewissen Wertekanon durch AGB und der Durchsetzung dieser durch die Moderation des Netzwerks durchsetzen. Dadurch könnten etwaige Transparenzprobleme entstehen, jedoch kann eine solche Entscheidung auch durch eine Klauselkontrolle gewissermaßen überprüft werden.
5. Einflussnahme auf Hate Speech
Kommt man nun zum Ergebnis, dass sich die Grenzen von Hate Speech nicht bei denen der Strafbarkeit finden lassen, so stellt sich in einem weiteren Schritt die Frage der Einflussnahme auf Hasskriminalität im Internet.
a) Wie kann man außer mit den Mitteln des Strafrechts darauf eingehen?
Das Zivilrecht wäre wohl der praktischste Weg, um deutsches Recht und Werte oder wenigstens Gemeinschaftsstandards auf der jeweiligen Plattform umzusetzen. Im Zivilrecht ist es in der Hand des Klägers, ob ein Verfahren durchgeführt wird.
b) Wie verhält es sich mit der Verbreitung von Falschnachrichten ohne Personenbezug
Hier stellt sich das Problem, dass kein Rechtsgut betroffen ist. Jedoch sollten Falschnachrichten, die die Allgemeinheit, die Menschenleben oder die Gesundheit gefährden, auch geahndet werden, z.B. als Ordnungswidrigkeit. In Bezug auf die Thematik wurde eine anschauliche Metapher aus dem Publikum vorgetragen, indem man auf einen allgemeinen Wertekanon abstellt, der in der Gesellschaft besteht. Schwieriger wird es dann jedoch, wenn man Schadensersatz hinsichtlich immaterieller Güter verlangt. Ein solcher Schadensersatz wird nach dem Gesetz nur in Ausnahmefällen zugelassen. In anderen Rechtsgebieten, wie dem gewerblichen Rechtsschutz, ist es jedoch möglich.
6. Schlusswort
Anknüpfend an seinen Vortragstitel führte der Referent aus, dass die Leuchttürme nicht jedem kleinen Segel- und Tretboot zur Orientierung verhelfen, aber wenigstens die großen Dampfer sollten sich danach ausrichten. Juristen können Regeln im Konsens der Gesellschaft aufstellen, definieren, ausgestalten und man muss einfordern, dass sich die Marktteilnehmer daran orientieren.
VI. Digitale Gewalt – Handlungsmöglichkeiten und Hindernisse aus der Praxis von Josephine Ballon, Geschäftsführerin von HateAid (HateAid)
Als Abrundung der Tagung hielt Frau Josephine Ballon als Geschäftsführerin der gemeinnützigen Organisation HateAid einen Vortrag aus der Perspektive der Betroffenenberatung und der Prozesskostenfinanzierung. Die Referentin erläuterte systematisch die Hürden, die sich für Betroffene digitaler Gewalt insbesondere bei der Rechtsdurchsetzung stellen. Bei der Strafverfolgung ist eines der Probleme die Diskrepanz zwischen der Betroffenheit von digitaler Gewalt und dann letztlich dem Schritt zur Strafanzeige.
1. Anlaufstellen für Betroffene
HateAid hat seinen Sitz in Berlin und zudem ein kleines Büro in Brüssel. Dieses entstand vor allen Dingen aufgrund der Mitwirkung an der Digitalgesetzgebung, die auch die europäische Ebene umfasst. HateAid ist unter anderem eine Anlaufstelle für Betroffene digitaler Gewalt. Die Arbeit umfasst viele Facetten. In geeigneten Fällen unterstützt HateAid Betroffene von digitaler Gewalt mit Prozesskostenfinanzierung. Die Organisation übernimmt dann die Kosten für anwaltliche Beratung und das Gerichtsverfahren. Die eigentliche Rechtsdurchsetzung muss und wird von (Partner-)Kanzleien übernommen, jedoch kann HateAid bei der Beweissicherung und der Strafanzeigenerstellung unterstützen und die zivilrechtliche Rechtsdurchsetzung fördern. Wenn es in zivilrechtlichen Verfahren zur Zahlung einer Geldentschädigung kommt, wird diese an HateAid gespendet und finanziert so Verfahren für andere Betroffene. Neben den juristischen Bereichen ist ein Kern der Arbeit die Beratung für Betroffene von digitaler Gewalt. Diese ist akut oder präventiv möglich. Je nach Bedarf bietet HateAid auch weitergehende Beratung zu Kommunikation und IT-Sicherheit an.
Das allgemeine Ziel ist es, die Voraussetzungen für Betroffene von digitaler Gewalt grundlegend zu verbessern. Dazu gehört die Sensibilisierung hinsichtlich des Themas in der Öffentlichkeit, welche beispielsweise durch Veranstaltungen und Tagungen, wie den Erlanger Cybercrime Tag, gefördert wird.
2. Formen Digitaler Gewalt
Neben rechtlich kategorisierbaren Phänomenen, wie Beleidigungen, Bedrohungen und Nötigungen, existieren im Rahmen von digitaler Gewalt auch andere Begriffe, wie Hate Speech und sexualisierte Gewalt, Doxing oder auch die Verwendung von Deepfakes. Auch das Versenden von Dickpics fällt hierunter, wobei vielen Betroffenen nicht bewusst ist, dass es sich hierbei um eine Straftat handelt, nämlich die Verbreitung pornografischer Inhalte, § 184 StGB. Wenn Betroffene nicht wissen, dass es sich um eine Straftat handelt, löschen sie die Bilder oft reflexartig, weil sie sich davor ekeln.
3. Wer ist von digitaler Gewalt betroffen
HateAid hat vor kurzem gemeinsam mit anderen zivilgesellschaftlichen Organisationen eine eigene Studie herausgebracht, die umfassende aktuelle Zahlen zu digitaler Gewalt vorlegt.[11] Hervorzuheben ist, dass die Befragten zwischen digitaler Gewalt und Beleidigungen unterscheiden. Diesen ist somit nicht bewusst, dass Beleidigungen eine Form davon sind. Weiterhin gaben die Befragten an, dass sie besonders häufig aggressive oder abwertende Aussagen sehen, die sich gegen politisch aktive Menschen, Geflüchtete, Menschen mit Migrationshintergrund oder Personen richteten, die einfach ihre politische Meinung kundtun.
a) Konkrete Personengruppen
Grundsätzlich kann digitale Gewalt jeden Menschen treffen, der sich im Netz äußert. Insbesondere Diskussionen zu besonders kontroversen Themen wie etwa die Covid19-Pandemie, die Energiekrise, die Gender Debatte, oder der Klimawandel gehen oft auch mit digitaler Gewalt einher. Eine höhere Wahrscheinlichkeit besteht bei Kommunalpolitikerinnen und –politikern, Journalistinnen und Journalisten, sowie Aktivistinnen, Aktivisten und Menschen, die marginalisierten Gruppen angehören. Mittlerweile sind zudem die Berufsgruppe der Wissenschaftlerinnen und Wissenschaftler sowie medizinisches Personal und Influencer betroffen.
b) Gesamtgesellschaftliche Auswirkungen
Auswirkungen hat dies nicht nur auf die Betroffenen, die sich in Zukunft zweimal überlegen werden, ob sie sich noch zu einem bestimmten Thema äußern wollen oder nicht, sondern dieses Phänomen betrifft die ganze Gesellschaft. Indem der Einzelne dieses Klima mitbekommt und vor allem auch dadurch, dass man mitbekommt, wie es den angegriffenen Personen geht, führt dies zu einer Verhaltensänderung vieler Menschen in den sozialen Netzwerken. Dabei sind das heutzutage Orte, die mittlerweile zu wichtigen Debattenräumen geworden sind – die jedoch in den Händen von privaten Unternehmen liegen. Anhand der Zahlen aus der Studie zeigt sich, dass hier ein Bewusstsein für Hass und ein gewalterfülltes Klima durchaus in der Bevölkerung vorhanden ist.
c) Digitale Gewalt als Gewalterfahrung
Ein wichtiger Fakt ist, dass die Psyche nicht richtig zwischen digitaler oder analoger Welt unterscheiden kann, sodass eine digitale Gewalterfahrung ähnlich belastend sein kann, wie eine analoge. Fragt man sich, wo diese Gewalt herkommt, so muss man sich vor Augen führen, dass Accounts in sozialen Netzwerken nicht gleich Menschen sind, sondern vielleicht auch ein Bot dahintersteckt oder Personen mehrere Accounts gleichzeitig betreiben. Bei der Verbreitung von Hate Speech handelt es sich oft um kleine hochaktive Bubbles, die alles vorantreiben und genau verstanden haben, wie man soziale Netzwerke bespielt. Als Beispiel wurde ein Shitstorm mit 9.000 Tweets genannt, von dem knapp die Hälfte, also ca. 4.500 Tweets alle von den gleichen 600 hochaktiven Accounts gesendet wurden. Als Resultat haben wir den sog. Silencing Effekt und die Manipulation des Diskurses durch organisierte Hasskampagnen. Manchmal folgt auch analoge Gewalt. Als Folge wird die Demokratie destabilisiert und die Meinungsfreiheit eingeschränkt. Zudem findet eine Verzerrung des Meinungsbildes in sozialen Netzwerken statt, die nicht die tatsächliche Breite der Gesellschaft widerspiegelt.
4. Das Defizit der Strafanzeigen
a) Ressourcenprobleme
Hintergrund für den Mangel an Anzeigebereitschaft ist zum einen das Gefühl der Betroffenen, es würde sowieso nichts bringen und zum anderen die unmögliche Bewältigung der Flut an Kommentaren und Beiträgen, die nicht nur einmal im Jahr erscheinen, sondern unter Umständen mehrmals im Monat oder in der Woche oder sogar täglich. Betroffene haben oftmals nicht die Zeit und die Ressourcen, die emotionale Belastung zu bewältigen, das Know-How, hinsichtlich des Umgangs mit Beweisen und der Sicherung dieser. Zivilrechtliche Rechtsdurchsetzung ist mit zusätzlichen Hürden verbunden. Oft fehlt das Geld für teure Gerichtsverfahren (der Streitwert ist ans Presserecht angelehnt und liegt bei 10.000 EUR pro Kommentar bzw. Äußerung) und es besteht immer die Unsicherheit darüber, ob die Gegenseite am Ende überhaupt solvent ist.
Weiterhin gibt es zu wenig Anlaufstellen. Zwar gibt es HateAid oder beispielsweise die Meldestelle REspect! aus Bayern, aber die Nachfrage ist hoch und daneben fehlen auch Beratungsstellen bezüglich des Themas Sicherheit im Netz.
b) Bürokratische Hindernisse und fehlende angemessene Rechtsvorschriften
Weiterhin ergeben sich beim Stellen von Strafanträgen einige bürokratische Hürden. Die aktuelle Situation (Anm. der Autoren: Stand März 2024) sieht so aus, dass diese ausgedruckt sowie händisch unterschrieben und dann entweder per Post versendet oder persönlich abgegeben werden müssen. Dabei ist ein Upload von digitalen Beweismitteln nicht möglich und man muss die Beweise ausdrucken und sie postalisch zukommen lassen. Auch wenn es viele gute Initiativen gibt und eine Anstrengung der Spezialisierung in diesem Feld stattfindet, ist das Personal zumindest in der Breite zu wenig sensibilisiert. Die Täteridentifizierung ist über die letzten Jahre deutlich besser geworden, da die meisten Plattformen mittlerweile durch den öffentlichen Druck, Daten herausgeben.
Frau Ballon betont, dass bei der Behandlung von generierten sexualisierten Deepfakes, das spezifische Unrecht die Verletzung des Rechts auf sexuelle Selbstbestimmung sein sollte. Derzeit wird jedoch der Großteil der Fälle wie die Verletzung des Rechts am eigenen Bild behandelt, welches nach dem Kunsturhebergesetz ein Privatklagedelikt ist, mit einer Strafandrohung, die verschwindend gering ist und die deshalb wenig ernst genommen wird. Zudem ist die Straftat dann ein absolutes Antragsdelikt, als wäre es die Privatsache eines jeden Betroffenen, wenn mehrere hundert Pornoseiten mit solchen Deepfakes voll sind und dies mehrere Jahre unbemerkt bleibt. § 86 RiStBV überzeugt in dieser Konstellation nicht als Argument.
c) Zeugenschutz
Und ein weiterer wichtiger Punkt ist der Zeugenschutz. Für viele Betroffene ist es ein großes Problem, dass sie bei Strafverfahren ihre Privatadresse angeben müssen. Insoweit sollte es auch die Möglichkeit einer Erreichbarkeitsanschrift geben, wie die Möglichkeit, auf Beratungsstellen als Anschrift zu verweisen. Dem Täter vor Gericht gegenüber sitzen zu müssen, ist für viele schon schlimm genug, die Angst, dass dieser an persönlichen Daten kommt, verschlimmert diese Angst.
5. Abschluss – wie kann man Betroffene unterstützen?
Wichtig ist, wie schon vom Referenten Beck genannt, eine konsequente Strafverfolgung. Dabei gilt der alte Satz „Löschen reicht nicht!“. Generell muss anerkannt werden, dass Hass im Netz keine Privatsache ist und die Gesellschaft dahingehend mehr sensibilisiert werden, Hasskriminalität als solche auch zu erkennen. Hilfreich sind Hinweise für Betroffene, wie eine richtige Beweissicherung funktionieren kann.[12] Es ist wichtig für Betroffene, dass diese ernst genommen werden. Kleine Informationen über den Verfahrensstand oder eine gewisse Kommunikation der Strafverfolgungsbehörden können dabei helfen. Einige Staatsanwaltschaften haben dafür mittlerweile Textbausteine erstellt. Ansonsten helfen die Beratungs- und Anlaufstellen bei der Entlastung der Betroffenen und auch Strafverfolgungsbehörden, soweit sie können.
Im öffentlichen Diskurs lassen sich viele strafbare Inhalte und Persönlichkeitsrechtsverletzungen finden. Gegen diese kann man sich jedoch wehren und vor allen Dingen erfolgreich wehren, wenn man genug Zeit und ein bisschen Geld mitbringt.
6. Q&A-Session
Als letzter Programmpunkt schloss sich auch an diesen Vortrag eine Q&A Session für die Teilnehmenden, aber auch Referierenden und alle Interessierten, ob vor Ort oder virtuell, an. Dabei stellte Frau Ballon klar, dass es sich bei HateAid um eine neutrale und gemeinnützige Organisation handelt, die sich für Betroffene von digitaler Gewalt einsetzt – unabhängig von ihrer politischen Einstellung. Die Referentin kann noch mal verdeutlichen, dass sie in Bezug auf sexualisierte Deepfakes einen anderen Unrechtsgehalt verwirklicht sieht, als der, den § 33 KUG schützt. Zudem konnte sich noch über die Möglichkeit des Adhäsionsverfahrens im Strafverfahren ausgetauscht werden.
VII. Schlussworte und Fazit
Durch die teilweise auch sehr gegenteiligen Ansichten und Meinungen der Referierenden, fand durchweg eine lebhafte Diskussion und ein bereichernder Austausch auf dem Erlanger Cybercrime Tag 2024 statt. Die Interessierten sowohl vor Ort als auch virtuell, die Referierenden und das ICLU-Team konnten viel über die Probleme und Konflikte zum Thema Hasskriminalität im Netz lernen. Sei es hinsichtlich der Frage, ob Hate Speech als Strafschärfungsmerkmal fungieren kann, sei es bei der Frage welche Probleme sich konkret bei der Strafverfolgung ergeben oder ob sich der strafrechtliche Zurechnungsbegriff mit dem Können der aktuellen Technik deckt. Daneben müssen die Rechtsprechung und die Gesetzgebung die Rolle der Plattformbetreiber im Hinblick auf ihre Verantwortung mehr und mehr Formen und zuletzt dürfen nicht die Hürden für Betroffene vergessen werden und die Suche nach Antworten, wie man für diese unterstützen kann. Prof. Dr. Christoph Safferling, LL.M. (LSE) und sein ICLU-Team freuen sich über den Mehrwert, den der Erlanger Cybercrime Tag auch dieses Jahr wieder für die Teilnehmenden anbot. Im März 2025 setzt sich die Veranstaltungsreihe fort, die als Schnittstelle, Vertreterinnen und Vertreter aus den Bereichen Technik und Recht zusammenbringt, und die Grundlage für einen interdisziplinären Austausch bietet.
[1] Hate Speech Forsa-Studie 2023, 16.5.2023 https://www.medienanstalt-nrw.de/fileadmin/user_upload/NeueWebsite_0120/Themen/
Hass/forsa_LFMNRW_Hassrede2023_Praesentation.pdf (zuletzt aufgerufen am 20.9.2024).
[2] Beim Ankereffekt handelt es sich um einen Denkfehler bei Menschen, die bei ihrer Entscheidungsfindung durch eine kognitive Verzerrung beeinflusst wurden.
[3] Der fertige Gesetzesbeschluss findet sich im Bundesgesetzblatt Jahrgang 2021 Teil I Nr. 13, 1.4.2021, https://www.bmj.de/SharedDocs/Downloads/DE/Gesetzgebung/BGBl/Bgbl_Bekaempfung_Rechtsextremismus_Hasskriminalitaet.pdf?__blob=publicationFile&v=3 (zuletzt abgerufen am 20.9.2024).
[4] Kann mit Online-Enthemmungseffekt übersetzt werden.
[5] Motra, Befunde aus dem „Kommunalen Monitoring“ – Frühjahrsbefragung 2023, https://www.motra.info/wp-content/uploads/2024/11/KoMo-Bericht-No-4_Fruehjahrsbefragung23.pdf (zuletzt aufgerufen am 11.3.2025).
[6] BVerfG, Beschl. v. 19.5.2020 – 1 BvR 2397/19.
[7] 2021 hielt er dazu einen Vortrag auf dem Erlanger Cybercrime Tag. Nachzulesen unter Rückert/Scheler, KriPoZ 2022, 227 ff.: https://kripoz.de/wp-content/uploads/2022/05/rueckert-scheler-tagungsbericht-erlanger-cybercrime-tag-2021.pdf (zuletzt aufgerufen am 20.9.2024).
[8] Das gleiche Beispiel lässt sich auch anhand anderer Sprachmodelle demonstrieren.
[9] Zum Beispiel die vom Referenten empfohlene Webseite https://huggingface.co/ (zuletzt aufgerufen am 19.9.2024).
[10] Zum Beispiel der Transparenzbericht von Facebook, 31.7.2023 https://about.fb.com/de/news/2023/01/facebook-veroeffentlicht-zehnten-netzdg-transparenzbericht/ (zuletzt abgerufen am 20.9.2024).
[11] Lauter Hass – leiser Rückzug. Wie Hass im Netz den demokratischen Diskurs bedroht, Febr. 2024, https://kompetenznetzwerk-hass-im-netz.de/wpcontent/uploads/2024/02/Studie_Lauter-Hass-leiser-Rueckzug.pdf (zuletzt aufgerufen am 20.9.2024).
[12] Solche lassen sich zum Beispiel auf der Webseite von HateAid und dem BMJ finden. HateAid, Rechtssichere Screenshots erstellen: Wie geht das? https://hateaid.org/rechtssichere-screenshots/; Bundesministerium der Justiz, Die Beweissicherung, https://www.hilfe-info.de/Webs/hilfeinfo/DE/EigeneRechteKennen/HilfeUndRechte/Beweissicherung/Beweissicherung.html beides zuletzt aufgerufen am 20.9.2024.