Header picture
icon 1

90%
di contenuti aggressivi
rilevati dall’applicazione

Icon 2

2% 
di margine di errore
dell’algoritmo (falsi positivi)

icon 3

+ di 2 milioni 
di commenti aggressivi 
cancellati in 20 mesi

Executive Summary

Charles Cohen inizia a imparare la programmazione informatica all’età di 10 anni. Undici anni più tardi pubblica la sua prima applicazione mobile, battezzata Bodyguard. Dietro un’idea apparentemente semplice si nasconde una missione complessa: proteggere in tempo reale gli utenti dal cyberbullismo.

Perché raccogliere questa sfida? Semplicemente perché, fino a quel momento, non esistevano applicazioni di questo tipo: la moderazione delle diverse piattaforme non era sufficientemente efficace.

Non sono mai stato vittima di cyberbullismo in prima persona, ma sono cresciuto con i social network e ho potuto osservare i danni causati dall’odio online. Porta a una limitazione della libertà di espressione ed è ciò di cui ho sofferto durante la mia adolescenza. Ecco perché non ho mai osato creare profili online ed espormi pubblicamente: per paura di essere vittima di bullismo.”

 Charles Cohen, fondatore e CEO di Bodyguard 

La Sfida

Riuscire ad analizzare il contesto in cui viene formulato un commento e determinare la o le persone a cui si rivolge.

Per assolvere il suo compito, la tecnologia Bodyguard doveva essere in grado di cogliere e interpretare gli stati d’animo. Era quindi indispensabile un livello di intelligenza artificiale, per ridurre i falsi positivi (contenuti rilevati erroneamente come aggressivi) e aumentare la precisione.

“Questa tecnologia doveva essere in grado di comprendere l’ironia, il sarcasmo e l’umorismo. Il modello predittivo, realizzato con la piattaforma di Machine Learning OVHcloud AutoML, mi ha molto aiutato in questo senso.”

Charles Cohen, fondatore e CEO di Bodyguard

Il modello predittivo doveva anche permettere alla tecnologia di valutare il rapporto tra due individui. Ad esempio: l’autore del commento è un “follower” della persona a cui risponde? Questo requisito ha richiesto la ricerca e l’incrocio di oltre 80 metadati, tra cui il tempo di reazione dopo la pubblicazione, la percentuale delle maiuscole e anche la foto del profilo.

Per questo progetto innovativo è stato inoltre necessario ricercare l’algoritmo più adeguato tra quelli proposti da scikit-learn, una libreria open source che offre algoritmi destinati al Machine Learning scritti principalmente in Python.

In termini di specifiche tecniche, il problema principale era rappresentato dalla precisione, in quanto per il modello predittivo da realizzare il margine di errore non doveva superare il 10%.

La Soluzione

Un servizio gestito, facile da utilizzare e in grado di accelerare la fase di produzione.

Livello software

Charles ha scelto di utilizzare OVHcloud AutoMLuna piattaforma di apprendimento automatico distribuita e scalabile. Questa soluzione Software as a Service (SaaS) ha permesso di automatizzare i processi di creazione, implementazione e richiesta dei modelli di Machine Learning, oltre a offrire la possibilità di integrare algoritmi open source come quelli proposti da scikit-learn.

OVHcloud AutoML ha consentito anche di accelerare la fase di sviluppo: per la creazione del modello predittivo di Bodyguard sono stati necessari dieci giorni, mentre l’elaborazione del modello di meta-learning che analizza la relazione tra l’autore del contenuto e quello dei commenti ne ha richiesto venti.

Grazie a questi modelli, i rilevamenti della tecnologia Bodyguard sono aumentati del 10%, passando dall’80 al 90%. Il numero dei falsi positivi si è ridotto del 15%, passando dal 6 al 3%.

Diagramma 1

Per il monitoring Charles ha optato per Logs Data Platform associato al software Grafana. In questo modo può controllare le prestazioni della propria infrastruttura e dei database. Utilizza questo servizio anche per misurare gli indicatori chiave di prestazione (KPI): numero di utilizzatori, volume di contenuti aggressivi eliminati in tempo reale, numero di chiamate API, ecc...

Livello hardware

L’infrastruttura di Bodyguard è composta da tre istanze Public Cloud:

  • una per i database
  • una per la tecnologia e i modelli di Machine Learning
  • una per i sistemi responsabili del funzionamento dell’applicazione mobilerecuperando i commenti e analizzandoli grazie alla tecnologia

Per effettuare i backup, Charles utilizza un altro servizio Public Cloud di OVHcloud: Cloud Archive. Questa soluzione permette di conservare le proprie informazioni nel lungo periodo a un costo ridotto, garantendo sicurezza e la possibilità di poter recuperare i propri dati.

Diagramma 2

I Risultati

Charles ha impiegato due anni per sviluppare l’algoritmo di apprendimento finale e integrarlo in un’applicazione mobile gratuita, disponibile su Android e iOS a partire da ottobre 2017. Oggi, Bodyguard elimina in tempo reale i commenti aggressivi da YouTube, Instagram, Twitter, Twitch e Mixer.

A luglio 2019, questa guardia del corpo virtuale ha conquistato oltre 40.000 utenti e raggiunto un tasso di soddisfazione del 97%. Ecco alcuni dei motivi del suo successo:

  • 90% di contenuti aggressivi rilevati dall’applicazione
  • appena il 2% di margine d’errore (falsi positivi)
  • oltre 2 milioni di commenti aggressivi eliminati in 20 mesi

A breve l’applicazione verrà tradotta in inglese e spagnolo e una nuova versione chiamata ”Bodyguard per le famiglie” verrà proposta per mettere immediatamente in guardia i genitori in caso di cyberbullismo verso i loro figli.

Nel lungo termine, Charles aspira a posizionarsi come Cloud provider di soluzioni di moderazione automatica tramite IA. A questo scopo metterà a disposizione la sua tecnologia via API con il nome di “Bodyguard per aziende”, rivolta a tutti coloro che vogliono proteggere sé stessi e i propri utenti, immagine, reputazione e collaboratori.

“A questo proposito, la nostra piattaforma rivolta agli sviluppatori (developers.bodyguard.ai) è già disponibile per permettere a chiunque di utilizzare la nostra tecnologia.”

Charles Cohen, fondatore e CEO di Bodyguard