Header picture
icon 1

90 %
hasserfüllter Inhalte
werden von der Anwendung erkannt

Icon 2

2 % 
beträgt die Fehlerquote
des Algorithmus (falsch positive Befunde)

icon 3

Mehr als 2 Millionen 
hasserfüllte Kommentare 
wurden in 20 Monaten gelöscht

Zusammenfassung

Charles Cohen begann im Alter von 10 Jahren damit, Programme zu schreiben. Elf Jahre später bringt er seine erste mobile Anwendung auf den Markt: Bodyguard. Hinter einer scheinbar einfachen Idee verbirgt sich eine komplizierte Aufgabe: Internetnutzer in Echtzeit gegen Cybermobbing zu schützen.

Aber warum hat er sich dieser Herausforderung gestellt? Schlicht und einfach deshalb, weil es damals keine Anwendung dieser Art gab. Die Moderation der verschiedenen Plattformen erwies sich als nicht effizient genug.

Ich war nie Opfer von Cybermobbing, aber ich bin mit den sozialen Netzwerken aufgewachsenIch habe gesehen, welchen Schaden der Hass im Internet anrichtet. Er schränkt die Meinungsfreiheit ein, und das ist es, worunter ich als Jugendlicher gelitten habe. Deshalb hatte ich mich nie getraut, etwas im Internet zu erstellen oder mich öffentlich zu äußern, aus Angst vor Mobbing.“

 Charles Cohen, Gründer und Vorstandsvorsitzender von Bodyguard 

Die Herausforderung

Den Kontext zu analysieren, in dem ein Kommentar abgegeben wurde, und die Personen zu erkennen, an die er sich richtet.

Die Technologie von Bodyguard musste in der Lage sein, Gemütszustände zu erkennen und zu deutenDaher war künstliche Intelligenz notwendig, um falsch positive Ergebnisse (Inhalte, die als hasserfüllt erkannt wurden, obwohl sie es nicht sind) zu reduzieren und die Genauigkeit zu steigern.

Die Technologie musste in der Lage sein, Ironie, Sarkasmus und Humor zu verstehen. Das Vorhersagemodell, umgesetzt mit der OVHcloud Machine-Learning-Plattform, hat mir dabei sehr geholfen.

Charles Cohen, Gründer und Vorstandsvorsitzender von Bodyguard

Das Vorhersagemodell musste es der Technologie auch ermöglichen, einzuschätzen, in welchem Verhältnis zwei Individuen zueinander stehen. Als Beispiel: „Folgt“ der Verfasser eines Kommentares der Person, der er antwortet? Dies erforderte eine eingehende Forschung, außerdem mussten mehr als 80 Metadaten zusammengeführt werden. Darunter auch: Reaktionszeit nach Veröffentlichung, prozentualer Anteil von Großbuchstaben und sogar das Profilfoto.

Für dieses innovative Projekt musste auch der passende Algorithmus unter denen gefunden werden, die scikit-learn anbietet. Diese Open-Source-Bibliothek enthält meist in Python geschriebene Algorithmen für maschinelles Lernen.

Schließlich ging es im Anforderungsprofil auch um Präzision. Das umzusetzende Vorhersagemodell durfte eine Fehlerquote von 10 % nicht überschreiten.

Die Lösung

Ein gemanagter Dienst, der einfach in der Anwendung ist und einen schnellen Produktionsstart ermöglicht.

Die Software-Ebene

Charles hat sich für OVHcloud AutoML entschiedeneine verteilte und skalierbare Plattform für automatisches Lernen. Diese Software-as-a-Service-Lösung (SaaS) hat es ihm ermöglicht, Erstellungs-, Deployment- und Anfrageprozesse von Machine-Learning-Modellen zu automatisieren. So konnte er auch Open-Source-Algorithmenintegrieren, wie jene, die scikit-learn anbietet.

Darüber hinaus hat OVHcloud AutoML die Entwicklungsphase beschleunigt. Zehn Tage hat das Design des Vorhersagemodells von Bodyguard in Anspruch genommen, zwanzig Tage die Ausarbeitung des Meta-Learning-Modells, das die Beziehung zwischen dem Urheber des Inhalts und dem des Kommentars analysiert.

Dank dieser Modelle ist die Erkennungsrate der Bodyguard-Technologie um 10 % gestiegen, d. h. von 80 % auf 90 %. Die Anzahl falsch positiver Ergebnisse ist um 15 % zurückgegangen.

Diagramm 1

Für das Monitoring hat sich Charles für Logs Data Platform entschieden, in Verbindung mit dem Programm Grafana. So kann er die Leistung seiner Infrastruktur und Datenbanken überwachen. Auch die Leistungskennzahlen (KPI) erfasst er damit: Nutzerzahlen, Umfang der in Echtzeit gelöschten hasserfüllten Inhalte, Anzahl der API-Anfragen usw.

Die Hardware-Ebene

Die Infrastruktur von Bodyguard besteht aus drei Public Cloud Instanzen:

  • eine für die Datenbanken,
  • eine weitere für die Technologie und die Machine-Learning-Modelle,
  • eine dritte für Systeme, die die mobile Anwendung am Laufen halten, indem Kommentare gesammelt und mithilfe der Technologie analysiert werden.

Und um Backups zu erstellen, verwendet Charles einen weiteren Dienst der OVHcloud Public Cloud: Cloud Archive. Mit diesem kann er seine Daten preisgünstig und langfristig speichern und gewährleistet gleichzeitig deren Sicherheit und Abrufbarkeit.

Diagramm 2

Das Ergebnis

Charles arbeitete zwei Jahre an der Entwicklung des Machine-Learning-Algorithmus und dessen Integration in eine kostenlose mobile Anwendung, die seit Oktober 2017 für iOS und Android verfügbar ist. Heute löscht Bodyguard hasserfüllte Kommentare in Echtzeit auf YouTube, Instagram, Twitter, Twitch und Mixer.

Im Juli 2019 hatten sich bereits 40.000 Benutzer für diesen virtuellen Bodyguard entschieden und bewerteten ihn mit einer Zufriedenheitsrate von 97 %. Hier ein paar Gründe für seinen Erfolg:

  • 90 % aller hasserfüllten Inhalte werden von der Anwendung erkannt.
  • Die Fehlerquote beträgt nur 2 % (falsch positive Ergebnisse).
  • In 20 Monaten wurden über 2 Millionen hasserfüllte Kommentare gelöscht.

Als nächstes wird die Anwendung auf Englisch und Spanisch übersetzt. Außerdem wird es eine Lösung namens „Bodyguard für Familien“ geben, die Eltern im Fall von Cybermobbing ihrer Kinder sofort alarmiert.

Charles Ziel ist es, sich mit der Zeit als Cloud-Anbieter für automatische KI-Moderationslösungen durchzusetzen. Hierzu wird er seine Technologie unter dem Namen „Bodyguard für Unternehmen“ über eine API zur Verfügung stellen. Diese richtet sich an alle, die sich, ihre Benutzer, ihr Image, ihren Ruf und ihre Mitarbeiter schützen möchten.

„Unsere Plattform für Entwickler (developers.bodyguard.ai) ist bereits verfügbar, damit jeder unsere Technologie nutzen kann.“

Charles Cohen, Gründer und Vorstandsvorsitzender von Bodyguard