Von Sam Schechner, Jeff Horwitz und Newley Purnell

Nachdem die Hamas am 7. Oktober Israel gestürmt und Zivilisten ermordet hatte, kursierten hasserfüllte Kommentare aus der Region auf Instagram. Die Manager von Meta Platforms haben automatische Filter aktiviert, um die Flut gewalttätiger und belästigender Inhalte zu verlangsamen.

Dennoch tauchten immer wieder Kommentare auf – vor allem aus den palästinensischen Gebieten, so ein Meta-Manager. Also hat Meta seine Filter noch einmal hochgedreht, aber nur dort.

Es entstand ein internes Forum für muslimische Mitarbeiter.

„Was wir sagen und was wir tun, scheint im Moment völlig gegensätzlich zu sein“, postete ein Mitarbeiter intern laut Dokumenten, die das Wall Street Journal eingesehen hatte. Meta hat sich öffentlich verpflichtet, seine Richtlinien weltweit gleichermaßen anzuwenden.

Der Social-Media-Riese hat mit der Frage gerungen, wie er seine Content-Regeln inmitten des brutalen und chaotischen Krieges am besten durchsetzen kann. Meta setzt bei der Überwachung von Instagram und Facebook stark auf Automatisierung, aber diese Tools können straucheln: Sie hatten Schwierigkeiten, den palästinensisch-arabischen Dialekt zu analysieren, und in einigen Fällen verfügen sie nicht über genügend hebräische Sprachdaten, um effektiv zu arbeiten.

Bei einem kürzlich aufgetretenen Fehler begannen die automatischen Übersetzungen von Benutzerprofilen auf Instagram, das Wort „Palästinenser“ zusammen mit einem Emoji und einer harmlosen arabischen Phrase als „palästinensische Terroristen“ wiederzugeben.

Und wenn Meta sich an menschliche Mitarbeiter wendet, um die Lücken zu schließen, haben einige Teams unterschiedliche Ansichten darüber, wie und auf wen die Regeln angewendet werden sollten.

Ein Meta-Sprecher sagte, dass es in den palästinensischen Gebieten mehr Kommentare gebe, die gegen die Regeln verstoßen, weshalb die Meta die Schwelle senken müsse, um den gleichen Effekt wie anderswo zu erzielen. Meta hat sich auch für den Übersetzungsfehler entschuldigt.

Das Unternehmen kümmert sich von Tel Aviv aus um die Beziehungen zu Israel und wird von einem Manager geleitet, der einst für den israelischen Ministerpräsidenten Benjamin Netanjahu arbeitete. Unterdessen deckt ein in Dubai ansässiges Team für Menschenrechtspolitik die arabische Welt einschließlich der palästinensischen Gebiete ab. Laut mit der Angelegenheit vertrauten Personen sind sich diese Teams häufig über Inhalte in der Region uneinig.

Benutzerkommentare waren ein Schlachtfeld. Nach der Invasion der israelischen Grenzstädte durch die Hamas und der Tötung von Zivilisten stellte Meta fest, dass auf Instagram in Israel, im Libanon und in den palästinensischen Gebieten ein fünf- bis zehnfacher Anstieg hasserfüllter Kommentare zu verzeichnen war. Aus den Dokumenten geht hervor, dass das Unternehmen beschlossen hat, einen höheren Prozentsatz der Kommentare zu verbergen, die möglicherweise gegen seine Richtlinien verstoßen.

Normalerweise beginnt Meta erst dann damit, solche Kommentare zu verbergen, wenn seine Systeme zu 80 % sicher sind, dass es sich dabei um etwas handelt, was das Unternehmen als feindselige Äußerung bezeichnet, was Dinge wie Belästigung und Aufstachelung zu Gewalt einschließt.

Im Rahmen von „vorübergehenden Risikoreaktionsmaßnahmen“ – Notfallberuhigungsmaßnahmen, wie sie Meta zuvor in Kriegen, potenziellen Völkermorden und dem Aufstand im Kapitol am 6. Januar eingesetzt hat – halbierte Meta diese Schwelle in einem Teil des Nahen Ostens und versteckte sich Aus den Dokumenten geht hervor, dass jeder Kommentar mit einer Wahrscheinlichkeit von 40 % als hetzerisch eingestuft wird.

Diese Änderung reduzierte die Hasskommentare in Israel, Libanon, Syrien, Ägypten und mehreren anderen Ländern so weit, dass sich Metas Sicherheitspersonal wohlfühlte, heißt es in einem Beitrag eines beteiligten Produktmanagers in einem internen Nachrichtensystem. Doch auch in den darauffolgenden Tagen gab es auf Instagram weiterhin zahlreiche Kommentare aus den palästinensischen Gebieten, die Metas Definition von feindseliger Äußerung entsprachen.

„Deshalb hat das Team beschlossen, den Schwellenwert vorübergehend weiter zu senken“, schrieb der Produktmanager und senkte die Hürde, um Kommentare von Benutzern in palästinensischen Gebieten zu verbergen, wenn das automatisierte System von Meta feststellte, dass die Wahrscheinlichkeit, dass sie gegen Regeln verstoßen, bei mindestens 25 % liegt.

Bis Donnerstag hatten die internen Inhaltsmoderatoren von Meta den langen Diskussionsthread im Forum gelöscht, der sowohl die Beschreibung von Metas Intervention als auch die darauf reagierenden Kommentare enthielt.

Meta und andere Social-Media-Unternehmen sind seit dem Angriff vom 7. Oktober, bei dem die Hamas nach Angaben israelischer Behörden mindestens 1.400 Israelis tötete und über 200 Geiseln nahm, von mehreren Lagern unter die Lupe genommen worden. Aufnahmen der Razzien und Opfer verbreiteten sich viral in den sozialen Medien und wurden in den Nachrichten erneut ausgestrahlt – wobei einige Social-Media-Unternehmen Richtlinien darüber festlegten, was erlaubt sein sollte, und diese dann wieder rückgängig machten.

Die Europäische Union hat Meta und TikTok am Donnerstag formelle Informationsanfragen darüber geschickt, welche Maßnahmen sie ergriffen hat, um die Verbreitung solchen Materials einzudämmen, das in vielen EU-Ländern möglicherweise illegal ist, was sie in der Vorwoche für X, früher bekannt als Twitter, getan hatte.

Meta hat Hashtags blockiert, Livestreams eingeschränkt und Bilder von Geiseln eingeschränkt.

Meta hat seit langem Schwierigkeiten, ein automatisiertes System zur Durchsetzung seiner Regeln außerhalb von Englisch und einer Handvoll Sprachen aufzubauen, die in großen, wohlhabenden Ländern gesprochen werden. Auch das menschliche Moderationspersonal ist im Ausland in der Regel dünner.

Arabischsprachige Inhalte waren ein wunder Punkt – insbesondere in den palästinensischen Gebieten. Dies liegt zum Teil daran, dass das System des Unternehmens ursprünglich nicht darauf trainiert war, die Unterschiede zwischen verschiedenen arabischen Dialekten zu verstehen, und beim palästinensischen Dialekt schlechter abschnitt, heißt es in einem Bericht aus dem Jahr 2022, den Meta bei externen Beratern in Auftrag gegeben hatte.

Meta verfügte bis vor Kurzem auch über kein automatisiertes System zur Erkennung hebräischsprachiger Inhalte, die möglicherweise gegen die Regeln verstoßen, was laut dem Bericht von 2022 zu einer geringeren Durchsetzung hebräischer Beiträge führte.

Als Reaktion auf den Bericht verpflichtete sich Meta zum Aufbau eines automatisierten Systems zur Erkennung von Verstößen in Hebräisch und zur Verbesserung seiner Fähigkeit, arabische Dialekte zu erkennen.

Im September teilte das Unternehmen seinem Aufsichtsgremium mit, dass das Ziel, „funktionsfähige hebräische Klassifikatoren zu haben“, „erreicht“ sei. Aber Anfang des Monats gab das Unternehmen intern zu, dass es seinen hebräischen Klassifikator für feindselige Sprache nicht in Instagram-Kommentaren verwendet hatte, weil es nicht über genügend Daten verfügte, damit das System ordnungsgemäß funktionierte, heißt es in einem vom Journal geprüften Dokument.

Trotz der Einschränkungen des Systems setzt das Unternehmen es angesichts des aktuellen Konflikts nun gegen Hasskommentare ein. Der Meta-Sprecher sagte, dass der Klassifikator bereits an anderer Stelle auf den Plattformen des Unternehmens im Einsatz sei.

Der palästinensische Fotograf Motaz Azaiza, der neben seinen emotionalen Reaktionen auch anschauliche Videos von verwundeten oder toten Gaza-Bewohnern auf Instagram gepostet hat, sagte, Meta habe sein Konto während des Konflikts zweimal geschlossen. Aber es gelang ihm, diese Entscheidungen im Berufungsverfahren rückgängig zu machen – und seit Freitag ist sein Account, der vor zwei Wochen 25.000 Follower hatte, auf über fünf Millionen angewachsen.

In einem anderen Vorfall erklärte Meta intern ein Standortereignis – ein dringendes Problem, das sofortige Abhilfe erfordert –, weil die automatisierten Systeme von Meta bestimmte harmlose arabische Sprachreferenzen für Palästinenser falsch übersetzten, darunter eine, die zu „palästinensischen Terroristen“ wurde, wie aus einem anderen Dokument hervorgeht.

Eine Untersuchung ergab, dass das Problem auf eine „Halluzination“ durch ein maschinelles Lernsystem zurückzuführen war.