Gegen Hass, Gewalt und Pornografie setzen die Landesmedienanstalten (LMA) seit vergangenem Jahr eine neue Waffe ein: Künstliche Intelligenz. Diese wühlt sich seitdem durch das Internet. Ein Beitrag darüber, wie die KI funktioniert – und was die Sächsische Landesmedienanstalt für privaten Rundfunk und neue Medien (SLM) dazu leider nicht sagen kann.

Von Leonhard Pitz

Daten und Fakten zur KI der LMA

• Nach einer Ausschreibung durch die bei dem Projekt führende Landesanstalt für Medien NRW (LfM) entwickelte die Condat AG aus Berlin die Software zur Erkennung problematischer Inhalte: „KIVI“ (Das VI steht für „vigilare“, das lateinische Wort für „überwachen“).
• Seit Herbst 2022 wird „KIVI“ auch von der sächsischen Landesanstalt für private Medien und Rundfunk (SLM) eingesetzt, erklärte deren Sprecherin Ines Herzog auf FLURFUNK-Anfrage.
• Die einmaligen Kosten für Entwicklung und Weiterentwicklung betrugen 164.000 Euro, so die Landesmedienanstalt NRW gegenüber netzpolitik.org. Hinzu kämen monatliche Lizenzgebühren. Die Landesmedienanstalt NRW zahlt hierfür 2.300 Euro. Wie viel die SLM überweist, falle unter das Betriebs- und Geschäftsgeheimnis des Vertragspartners. „Darüber hinaus könnte die Veröffentlichung dieser Informationen die berechtigten Interessen der SLM an eine wirtschaftliche und sparsame Haushaltsführung in zukünftigen Vertragsverhandlungen zu Lasten des Gebührenzahlers gefährden“, so Herzog auf FLURFUNK-Nachfrage.

Was „KIVI“ scannt?

Nach SLM-Angaben arbeitet KIVI so: Die Software führt eine Keyword- und Link-basierte Suche nach Inhalten im Internet und auf sozialen Netzwerken durch. „Davon umfasst sind alle öffentlich einsehbaren Bereiche in Social-Media-Profilen, d.h. je nach Plattform sowohl einzelne Postings als auch Beiträge in Kommentaren und daneben alle sonstigen frei zugänglichen Webseiten.“ Nach Auskunft der Landesmedienanstalt NRW werden folgende Plattformen gescannt:

• Das russische Netzwerk VKontakte (vk.com),
• Twitter,
• Telegram,
• TikTok,
• Youtube,
• BitChute („ein YouTube für Nazis“, wie der RND 2020 titelte),
• GETTR (die Twitter-Alternative eines ehemaligen Trump-Beraters)

Für die Durchsuchung klassischer Webseiten „gilt jedoch die Einschränkung, dass diese von den Landesmedienanstalten gezielt in die Software eingegeben werden, da eine Durchsuchung des gesamten Internets technisch nicht darstellbar ist“, erklärt Herzog.

Ihr Kollege von der LfM in NRW, Christopher Schmidt, ergänzt: „Von diesen Start-URLs aus sucht das System dann nach einem Schneeballsystem aus weiter auf Seiten, die auf den Ursprungsseiten verlinkt sind (z.B. in Texten oder in Kommentarspalten).“

Keyword-Liste nicht öffentlich

Welche Webseiten die Landesmedienanstalten scannen lassen, ist nicht öffentlich. „Da es sich dabei um laufende Verfahren handelt, können wir diese Frage zur  Sicherstellung der Rechts- und Strafverfolgung nicht beantworten“, heißt es seitens der SLM auf FLURFUNK-Anfrage. Gleiches gilt für die Keyword-Liste.

Mit den Keywords sowie den hinterlegten Bildern aus den Bereichen Pornografie und verfassungsfeindliche Kennzeichen filtere die KI dann potenzielle Verstöße aus den durchsuchten Webangeboten. „Die Software wird dabei fortlaufend aus der Nutzungspraxis heraus optimiert. Die KI lernt, durch weiteres Lernmaterial sowie das Feedback der Bearbeiterinnen und Bearbeiter, kontinuierlich ihre Suchpraxis zu verbessern“, sagt Herzog.

KIVI lernt noch...

Die Suche über Keywords führt KIVI auch auf falsche Fährten. So hielt die Software eine Pressemitteilung des Zentralrats der Muslime für „politischen Extremismus“ (netzpolitik.org hatte darüber berichtet), obwohl der Zentralrat dort nur die Terroranschläge in London 2005 verurteilte.

Um solche Fälle zu verhindern, haben die Landesmedienanstalten auch eine „Whitelist“ angelegt. Diese umfasse aktuell 109 Webseiten, heißt es auf FLURFUNK-Anfrage.

„Einerseits sind dort Webseiten gelistet, die von der Landesanstalt für Medien NRW für unbedenklich erachtet werden“, so Schmidt. Andererseits befänden sich dort auch Seiten, gegen die bereits Verfahren laufen und die daher sowieso fortlaufend beobachtet würden.

45% sind pornografische Inhalte

Nach Zahlen der Landesmedienanstalt NRW entfallen allein 45 Prozent der KIVI-Meldungen auf pornografische Inhalte. Bei 23 Prozent geht es um verfassungsfeindliche Kennzeichen, bei 14 Prozent um Volksverhetzung.

Quelle: LfM NRW

Die vorgefilterten (potenziellen) Verstöße landen bei Mitarbeitenden in den Landesmedienanstalten. Dort werden die Inhalte „gesichtet und eigenständig bewertet“, heißt es von der SLM. „Erhärtet sich der Verdacht für einen Verstoß und ist ein regionaler Bezug zu Sachsen ermittelbar, findet eine weitergehende Recherche durch die Mitarbeiterinnen und Mitarbeiter der SLM statt und es wird ggf. ein eigenes Verfahren eingeleitet.“

Bei Verdacht auf eine Straftat werde der „aufbereitete Fund“ an die zuständige Staatsanwaltschaft weitergeleitet. Handelt es sich um Hasskriminalität erfolge die Meldung im Rahmen der Initiative „Gemeinsam gegen den Hass im Netz“.

Leider nicht erhoben: Zahl der Meldungen, Konsequenzen oder Personalaufwand

Fünf Fälle übermittelte die SLM seit Herbst an die Staatsanwaltschaft. Wie viele Meldungen KIVI insgesamt gemacht hat und wie viele davon bei der SLM landeten, teilt diese nicht mit. Aufgrund des Arbeitnehmerdatenschutzes führe man eine solche Statistik nicht. Auch zu den Fällen, bei denen eine KIVI-Meldung zu Konsequenzen durch die SLM geführt hat, werde von der SLM keine Statistik erhoben, sagt Herzog.

Ebenfalls unklar: Wie viele Mitarbeitenden bei der SLM die KI-Meldungen weiterverarbeiten. „Eine genaue Anzahl von eingesetzten Mitarbeitern kann nicht genannt werden, da hierzu teamübergreifend von mehreren verschiedenen Mitarbeitern die vielfältigen Aufgaben erfüllt werden.“ Mitgeteilt werden kann aber, dass die Prüfung und rechtliche Behandlung von Medieninhalten immer stärker ein Schwerpunkt der Arbeit der SLM werde. „Dieser Prozess ist noch nicht abgeschlossen und wird sich prognostisch in den nächsten Jahren fortsetzen.“