Die Chatkontrolle und andere Gewissensbisse in der Informatik

Lieber Rainer, über 400 Forschende haben sich in einem Offenen Brief gegen die geplante CSAM-Richtlinie der EU-Kommission ausgesprochen. Wie kam es dazu?

Die politische und technischen Diskussionen dazu gibt es schon länger, aber im letzten Jahr hat die EU-Kommission dann ihren Vorschlag vorgestellt, um im Digitalen gegen die Verbreitung von Kindesmissbrauchsdarstellungen vorzugehen. Auch wenn das Ziel vollends unterstützenswert ist, ist der gewählte technische Weg - nämlich jegliche Chatnachrichten danach zu durchsuchen - erstens schädlich und zweitens nicht einmal zielführend. Viele internationale zivilgesellschaftliche Gruppen und Kinderschutzorganisationen kritisierten schon die ersten Entwürfe, aber die EU-Kommission hielt weiter daran fest. Aus diesem Grund initiierte eine Gruppe von Forscher*innen um Carmela Troncoso nun den „offenen Brief aus der Wissenschaft“, um zu zeigen, dass auch diejenigen, die sich seit Jahrzehnten wissenschaftlich mit derartigen technischen Fragen beschäftigen, ein großes Problem im Kommissionsvorstoß sehen. Es sind Fachleute aus der EU wie etwa Deutschland, Frankreich, Niederlande oder Luxemburg dabei, aber auch sehr viele außerhalb der EU, wie etwa aus der Türkei, Taiwan, Israel, Singapur, Südkorea, Brasilien, Großbritannien oder den USA; um nur einige zu nennen.
 

Was spricht aus Sicht der Sicherheitsforschung gegen diese "Chatkontrolle"?

Die Grundidee der „Chatkontrolle“ besteht darin, Anbieter von Kommunikations-Plattformen wie Facebook/WhatsApp, Apple, Signal, Telegram etc. EU-weit rechtlich dazu zu zwingen, in alle ihre Apps eine Komponente einzubauen, die jegliche Nachrichten nach bestimmten Mustern durchsuchen muss. Die Suchvorgaben kommen dabei von einer EU-Institution und wenn Nachrichteninhalte dann dem Muster „Kindesmissbrauch“ entsprechen, werden alle diese Nachrichten automatisiert an diese EU-Behörde weitergeleitet.

Dieser Ansatz hat eine Reihe von fundamentalen Problemen. Erstens gibt es aktuell keine technischen Systeme, die automatisiert mit hinreichender Zuverlässigkeit Darstellungen von Kindesmissbrauch detektieren können. Textbasiert ist es schon sehr schwierig, automatisiert einen genauen Gesprächskontext zu erkennen und in Bildern ist das noch viel schwieriger. Da werden die Bilder der eigenen Kinder am Strand schnell zum Alptraum für die Eltern, wenn die Mustererkennung fälschlicherweise anschlägt. Zudem sind jüngst auch noch Analysesysteme mit Künstlicher Intelligenz im Gespräch, wo prinzipiell gar keine Qualitätsgarantien mehr abgegeben werden können. Unabhängig von den schwerwiegenden Folgen für die Betroffenen werden die EU-Behörden dann in Falschmeldungen ertrinken, täglich millionenfach.

Zweitens wird durch das von der EU-Kommission anvisierte Vorgehen die Ende-zu-Ende-Verschlüsselung aller Kommunikation geschwächt – egal ob privat oder geschäftlich. Das gesellschaftlich hoch-relevante Versprechen, dass nur die Involvierten einer Kommunikation deren Inhalt kennen, wird also aufgelöst. Es braucht nur kleine Fehler in der zentralisierten EU-Suchmusterdatenbank, um die sichere Kommunikation aller Menschen und Organisationen in der EU zunichtezumachen. Solch ein zentralisierter Zugriffspunkt ruft nach den Erkenntnissen der Sicherheitsforschung natürlich auch bald böswillige Angriffe auf den Plan. Übrigens nutzen die meisten Kriminellen für die Verbreitung von Kindesmissbrauchsdarstellungen laut Aussage der spezialisierten Polizeistellen gar keine Messenger, sondern verschlüsselte Dateien in Online-Foren.

Zuletzt gibt es gute Gründe zu der Annahme, dass es beim nun angedachten EU-CSAM-System nicht bei der Erkennung von Kindesmissbrauchsdarstellungen bleiben wird: Bald geht es dann um Terrorismuserkennung, dann um Urheberrechtsverletzungen, dann um andere Kleinkriminalität und nicht zuletzt um Dissidenz – wie wir im Fall der Spysoftware Pegasus in Spanien oder Polen gesehen haben. Den offenen Brief haben ja auch deshalb so viele internationale Wissenschaftler*innen unterschrieben, weil klar ist, dass dieses CSAM-Überwachungssystems nach seiner EU-Einführung von vielen anderen Länder der Erde auch eingesetzt wird, stets mit legitimem Verweis auf die EU als Initatorin.

Dass sich so viele Forscher:innen offen politisch positionieren, ist eher ungewöhnlich. Bedeutet das einen Wandel in der Informatik, wächst dort der Stellenwert von ethischen Fragen und gesellschaftlicher Verantwortung?

Ja, das ist tatsächlich zu erkennen. Während sich bereits in den 1980er Jahren die kritische Informatik bildete, ganz praktisch etwa der Chaos Computer Club (CCC) oder eher akademisch das von Josef Weizenbaum mitgegründete Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF), sehen wir erst in den letzten 15 Jahren eine zunehmende Politisierung vieler IT-Fachleute in Akademia und Praxis. Das liegt auch daran, dass die technischen Geräte immer relevanter werden, einerseits in allen möglichen gesellschaftlichen Infrastrukturen, aber auch für unsere ganz persönlichen Belange.

Die wissenschaftliche und technische Ethik verlangt es meiner Ansicht nach, zuerst einmal darauf hinzuweisen oder Alarm zu schlagen, wenn in einer bestimmten Technikanwendung verborgen eine gesellschaftliche Fragestellung steckt, die aber nicht breit diskutiert wird. Oft wird mit technischen Notwendigkeiten, politischer Alternativlosigkeit, Sachzwängen und Pfadabhängigkeiten für eine bestimmte technische Ausgestaltung geworben, aber es gibt immer Freiheitsgrade und eine Wahl zwischen Alternativen. Dazu gehört auch, eine bestimmte Technik eben gar nicht erst zu verwenden, weil andere (nicht-technische) Ansätze viel sinnvoller sind. Folglich muss bei der CSAM-Richtlinie auch bedacht werden, dass die technische Diskussion viele Ressourcen und viel Aufmerksamkeit von anderen Lösungswegen abzieht.
 

Zu den ethischen Fragen in der Informatik hast du kürzlich mit anderen ein Buch herausgegeben. Was hat es damit auf sich?

Nun, es ist aus diversen Gründen oft nicht praktikabel, mit Informatikfachleuten direkt in die Tiefen der Philosophie des moralischen Handelns und das Verhältnis zwischen Individuum und Gesellschaft abzutauchen, auch wenn ich mir das wünschen würde. Um Techniker*innen dennoch für ethische Konflikte und die eigene Verantwortung zu sensibilisieren, veröffentlichen wir in der Fachgruppe „Informatik und Ethik“ der Gesellschaft für Informatik (GI) regelmäßig fiktive, aber realistische Fallbeispiele, die ethische Probleme im Informatikalltag beschreiben. Anhand dieser Texte wird klar, wie oft wir alle in ethische Dilemmata geraten, allein schon bei der Wahl der Arbeitsstelle, aber auch in spezifisch informatischen Kontexten. Jetzt haben wir die besten Texte ausgesucht, mit einer theoretischen Fundierung, einer „Nutzungsanleitung“ und Ethikrichtlinien von relevanten zivilgesellschaftlichen Tech-Organisationen ergänzt. Daraus ist ein Open-Access Buch geworden.

Alle praktizierenden Informatiker*innen, aber auch Lehrkräfte der schulischen oder akademischen Informatik, sowie generell Technik-Interessierte können die Fälle lesen oder direkt in der Lehre verwenden und somit den nicht-technischen Aspekten der Informatik anschaulich und strukturiert Raum geben.

Dabei thematisieren wir aber auch die Grenzen der individuellen Ethik, denn wenn etwa das Management einer Firma den Informatikfachleuten trotz internem Protest konkrete Anweisungen zum Bau einer Betrugssoftware macht, genügt es nicht, allein nach ethisch begründetem Whistleblowing oder individueller Kündigung der Fachleute zu rufen. Unser Ethikverständnis bezieht auch organisationale Logiken, strukturelle Fragen und nicht zuletzt gesellschaftliche Machtverhältnisse mit ein. Mit diesem Buch wollen wir also unseren Beitrag leisten zu einer gesellschaftssensiblen und auch selbstkritischen Informatik – ganz im Sinne von Josef Weizenbaum.

Vielen Dank für das Gespräch!

Rainer Rehak ist Wissenschaftlicher Mitarbeiter in den Forschungsgruppen „Technik, Macht und Herrschaft“ und „Digitalisierung, Nachhaltigkeit und Teilhabe“. Er forscht u.a. zu den Themen Datenschutz, IT-Sicherheit, staatliches Hacking, Informatik und Ethik, Technikfiktionen, Nachhaltigkeit, sowie die Implikationen und Grenzen von Automatisierung durch KI-Systeme. Das Buch Gewissensbisse – Fallbeispiele zu ethischen Problemen der Informatik ist im Transcript Verlag erschienen.

Das Interview führte Leonie Dorn