Chatkontrolle: „Hey Plattformen, regelt das mal.“

Ende-zu-Ende verschlüsselte Chats wie WhatsApp oder Signal sind in den letzten Jahren immer beliebter geworden. Warum nutzen so viele Menschen diese Apps?

Die Motivationen sind sehr vielfältig. Natürlich gibt es Menschen, die die Plattformen verwenden, weil sie Privatheit schätzen, aber oft ist auch Bequemlichkeit und Verfügbarkeit der Grund, genauso wie Kosten oder die Beliebtheit im eigenen Umfeld. In Mexiko zum Beispiel ist WhatsApp sehr populär, weil es dort Zero-Rating Tarife gibt, bei denen der aus WhatsApp entstehende Datenkonsum nicht verrechnet wird. Wenn man aus den USA mit der Familie in Mexiko kommunizieren will, dann verwendet man natürlich eine Plattform, die dort weit verbreitet ist.

Jetzt nachdem der U.S Supreme Court die Dobbs-Entscheidung verkündet hat – und damit das bundesweite Recht auf Abtreibung außer Kraft gesetzt wurde – untersuchen wir die Rolle von verschlüsselten Messengern bei der Kommunikation über Abtreibungen. Es gab in den USA eine junge Frau, die mit ihrer Mutter auf Facebook über eine Abtreibung gesprochen hat. Facebook hat die Daten an die Behörden weitergeleitet und jetzt steht ein Gerichtsprozess an.

Verschlüsselte Nachrichtendienste können verhindern, dass Polizei und Behörden auf Inhalte zugreifen können. Sie sind einerseits also wichtige Tools für die Zivilgesellschaft, weil sie einen nicht überwachten Austausch ermöglichen, andererseits aber auch, um gefährliche Inhalte zu verbreiten.

Wie unterscheiden sich diese Messenger von öffentlichen Plattformen wie Twitter oder Instagram?

Grundsätzlich wird es eher schwieriger als leichter für Nutzer:innen auseinanderzuhalten, wo Kommunikation Ende-zu-Ende verschlüsselt ist und wo nicht. Auf Instagram kann man zum Beispiel Ende-zu-Ende verschlüsselte Nachrichten verschicken, aber das ist ein Opt-in. Bei WhatsApp ist es die Default-Einstellung.

Die Verbreitung gefährlicher Inhalte findet immer und überall dort statt, wo Plattformen von vielen Menschen genutzt werden. Es ist also immer auch eine Frage der Skalierung.

Wenn wir von den öffentlichen Teilbereichen von Plattformen sprechen, so ist dort ein viel breiteres Spektrum an Arten der Moderation von Inhalten möglich, als das bei privaten Nachrichten, die mittels Ende-zu-Ende verschlüsselten Messengern gesendet werden, der Fall ist.

Gerade werden in den USA und der EU Regulierungsmaßnahmen von Plattformen diskutiert, die Ende-zu-Ende verschlüsselt sind. Worauf zielen diese ab?

Diese Maßnahmen ordne ich in eine allgemeine Phase des „Techlash“ ein, eine Reihe von Bemühungen von Regierungen, Plattformen zu regulieren und zur Verantwortung zu ziehen. In den USA gab es 2018 das SESTA/FOSTA Gesetzespaket, und aktuell werden weitere Gesetze diskutiert, wie unter anderem der EARN IT Act. Im Zentrum der Debatte steht die Eindämmung von Materialien, die sexuellen Missbrauch an Kindern darstellen. Aber es geht in solchen Diskussionen immer auch um die Eindämmung von Desinformation, terroristischen Inhalten oder Verstößen gegen das Urheberrecht.

In Deutschland und Europa wird aktuell vor allem über das Client-Side-Scanning gesprochen, das in der CSAM-Verordnung (Anm. d. R.: CSAM steht für Child Sexual Abuse Material) vorgesehen ist. Da geht es darum, Kindesmissbrauchs-Darstellungen frühzeitig zu erkennen, bevor diese geteilt werden.

Wie soll das bei verschlüsselter Kommunikation technisch umgesetzt werden?

Bei Ende-zu-Ende-Verschlüsselung kann keiner außer den am Chat beteiligten Parteien Zugriff auf den Inhalt haben. Client-Side-Scanning bedeutet dann, einen Schritt davor anzusetzen und alle Inhalte zu scannen, bevor sie verschlüsselt werden. Bei einer Übereinstimmung mit Materialien, die Kindesmissbrauchs-Darstellungen beinhalten, muss das von der Plattform gemeldet werden.

Ist so eine Moderation von Plattformen überhaupt machbar?

Die Machbarkeit von Moderation haben Plattformen schon bewiesen. Es gibt jedoch sehr wenig Content Moderation, die komplett ohne Menschen auskommt. Was das für Auswirkungen hat für die Menschen, die das umsetzen, ist eine andere Frage. Es ist traumatisierend, wenn man solche Inhalte anschauen muss als Moderator oder Moderatorin.

Das Scanning läuft einerseits über sogenannte Hashing-Databases, in denen bekannte Inhalte von CSAM gesammelt sind. Ein Hash ist ein digitaler Fingerabdruck, der mit Fotos oder Videos abgeglichen werden kann.

Das andere sind Machine-Learning-Verfahren, die Inhalte entdecken sollen, die noch nicht katalogisiert sind und noch nicht gemeldet wurden. Nur gibt es dabei eine Anfälligkeit für Fehler, was dazu führen kann, dass Inhalte pauschal verdächtigt werden.

Was bedeutet das für unsere Grundrechte?

Wenn es eine Technologie gibt, mittels derer sämtliche Inhalte abgesucht werden können, dann kann diese natürlich auch missbraucht werden. Der springende Punkt ist, dass die Vertraulichkeit der Kommunikation im Zusammenhang mit Ende-zu-Ende-Verschlüsselung das zentrale Prinzip ist. Wenn man jetzt davor ansetzt, dann ist dieses Prinzip eben nicht mehr verfügbar.

In einem ohnehin demokratischen Staat ist das vielleicht nicht so besorgniserregend wie in einem eher repressiven Staat. Aber wie wir alle wissen, werden Technologien immer missbraucht.

Nehmen wir Berufsgruppen, wo es besonders wichtig ist, dass die Identität der Personen, mit denen kommuniziert wird, geschützt bleibt und keiner darauf Zugriff hat. Journalist:innen zum Beispiel, aber auch Teilnehmer:innen in Projekten, wo man die Identität dieser Person schützen muss, weil sie sonst möglicherweise staatlichen Repressionen ausgesetzt sind.

Wir leben alle digital – first and foremost. Wenn es jetzt plötzlich keine Ende-zu-Ende-Verschlüsselung mehr gibt, stehen wir vor der Frage, wie man sonst vertraulich kommunizieren soll. 

Warum gehen Regierungen trotzdem diesen Weg?

Es ist historisch immer schon so gewesen, dass Regierungen und Nachrichtendienste eher mehr als weniger Zugriff auf Nutzer:innendaten haben wollen. Es gab in der Vergangenheit auch starke Beschränkungen, was den Export von kryptografischen Technologien betraf. Das ist also keine besonders neue Entwicklung.

Im Koalitionsvertrag der aktuellen Bundesregierung steht eigentlich, dass Maßnahmen zum Scannen privater Kommunikation kategorisch abgelehnt werden. Und das widerspricht natürlich dem, was in der EU-Verordnung vorgeschlagen wird. Und was in der EU dazu entschieden wird, hat Auswirkungen darauf, wie kalifornische Plattform-Unternehmen ihre Firmen organisieren. Also egal, wo jetzt was passiert, es wird auf jeden Fall Auswirkungen weltweit haben.

Wie stehen die Messenger-Plattformen dazu, Client-Side-Scanning umzusetzen?

Man kann natürlich spekulieren darüber, was die Plattformen wollen, sie werden uns ihre wahren Gründe nicht verraten. Aber es gibt diese Dynamik, dass Plattformen im großen Stil mehr Ende-zu-Ende-Verschlüsselung anbieten. Man erspart sich als Plattform dadurch viel Moderation.

Gibt es denn Alternativen zum Client-Side-Scanning, um die Verbreitung solcher Inhalte einzudämmen?

Man kann natürlich immer bei den Plattformen ansetzen. Plattformen zur Verantwortung zu ziehen, ist wichtig und richtig. Aber man kann auch gesamtgesellschaftlich ansetzen, diese Probleme als soziale Probleme anerkennen und die Konsequenzen daraus ziehen, auch was die Finanzierung von weiter greifenden Herangehensweisen betrifft, um Kindesmissbrauch zu bekämpfen: Polizei natürlich, Sozialarbeiterinnen und Sozialarbeiter, Lehrerinnen und Lehrer, Eltern. Man kann jetzt nicht nur sagen „Hey Plattformen regelt das mal. Wir als Gesellschaft haben das irgendwie nicht geschafft, aber ihr müsst das jetzt mal alles lösen.“

Die aktuellen Regierungs- oder Gesetzesvorschläge setzen so an, dass Inhalte eingesehen werden können. Auf Ende-zu-Ende verschlüsselten Plattformen gibt es aber auch Möglichkeiten, nicht nur inhaltsbezogen zu moderieren. Es gibt viele Metadaten, die darüber Aufschluss geben können, wer die Person sein könnte, unter welchen Umständen etwas geteilt wird, wie oft die Person das geteilt hat, wie lange der Account schon existiert, wo die Person sonst noch so registriert ist und so weiter. Die Profilfotos auf WhatsApp zum Beispiel sind nicht Ende-zu-Ende verschlüsselt und anhand dieser Fotos werden oft Inhalte oder Gruppen entdeckt, die dann von der Plattform entfernt werden.

Dann schließlich gibt es das User-Reporting, also dass Personen, die an einer verschlüsselten Kommunikation beteiligt ist, gefährliche und strafbare Inhalte melden. Das ist ein sehr relevanter gesellschaftlicher Ansatzpunkt, bei dem man noch viel früher ansetzen müsste. Ich fände es wichtig, dass Menschen Moderation als Teil der Nutzer:innenpartizipation in Onlineangeboten verstehen, und dass es eben auch in der eigenen Verantwortung liegt, dazu beizutragen, dass die Plattformen, die man verwendet, ein gutes Meldesystem haben.

Vielen Dank für das Gespräch!

—-

Dr. Martin Riedl ist Postdoctoral Research Fellow im Propaganda Research Lab beim Center for Media Engagement an der University of Texas in Austin.

Seine Forschung beschäftigt sich mit der Verbreitung von Falschinhalten und Content Moderation, insbesondere im Kontext von Ende-zu-Ende verschlüsselten Messaging Apps, sowie mit digitalem Journalismus und Plattform-Regulierung. 

Im Februar 2023 war Martin Riedl zu Gast bei der Forschungsgruppe "Technik, Macht Herrschaft" mit dem Talk: "What end-to-end encryption means for platform governance".

Das Interview führte Leonie Dorn