Header picture
icon 1

90%
contenidos de odio
detectados por la aplicación

Icon 2

2% 
margen de error
del algoritmo

icon 3

+ de 2 millones 
comentarios de odio 
eliminados en 20 meses

El contexto

Charles Cohen se inició en el mundo de la programación con solo diez años. Once años después lanzaba su primera aplicación móvil: Bodyguard. Tras una idea en apariencia sencilla se esconde un objetivo complejo: proteger a los internautas del ciberacoso en tiempo real. ¿Por qué decidió afrontar ese reto? La respuesta es sencilla: por aquel entonces no existía ninguna aplicación de ese tipo, y la moderación de las diferentes plataformas no era suficientemente eficaz.

Nunca he sufrido el ciberacoso en primera persona, pero he crecido con las redes sociales y he podido observar el daño que puede provocar el odio en internet. El odio restringe nuestra libertad de expresión, y ese problema sí me ha condicionado en la adolescencia: no me atrevía a dar mi opinión ni a exponerme públicamente por miedo a sufrir acoso.

Charles Cohen, fundador y CEO de Bodyguard

El desafío

Analizar el contexto en el que se hace un comentario y determinar a quién va dirigido

La tecnología de Bodyguard debía ser capaz de detectar e interpretar el llamado «sentimiento» de los comentarios (la emoción que expresan). Para ello, era imprescindible introducir una capa de inteligencia artificial que pudiera reducir los falsos positivos (es decir, los contenidos detectados como de odio pero que en realidad no lo son) y aumentar la precisión.

Nuestra tecnología tenía que poder detectar la ironía, el sarcasmo e incluso el humor. El modelo predictivo desarrollado con la plataforma de machine learning AutoML de OVHcloud nos ayudó a avanzar en este sentido.

Charles Cohen, fundador y CEO de Bodyguard

El modelo predictivo también debía permitir a la tecnología detectar la relación entre dos individuos: por ejemplo, ¿el autor de un comentario «sigue» a la persona a la que responde? Responder a esta pregunta requirió un arduo trabajo de investigación, y había que cruzar más de 80 metadatos, como el tiempo de reacción tras la publicación, el porcentaje de mayúsculas o la foto de perfil, entre otros.

Asimismo, para este innovador proyecto era necesario encontrar el algoritmo adecuado entre los ofrecidos por scikit-learn, una biblioteca open source de algoritmos para machine learning escritos en su mayoría en Phyton.

Por último, otra de las condiciones que debía cumplir el sistema era la precisión: la tasa de error del modelo predictivo no debía superar el 10%.

La solución

Un servicio administrado, fácil de usar y que permite acelerar la puesta en producción

Charles decidió utilizar AutoML de OVHcloud, una plataforma de aprendizaje automático distribuida y escalable. Esta solución de Software as a Service (SaaS) permitió automatizar el proceso de creación, de despliegue y de solicitud de los modelos de machine learning, además de ofrecer la posibilidad de integrar algoritmos open source como los de scikit-learn.

Asimismo, AutoML de OVHcloud permitió acelerar la fase de desarrollo. Solo fueron necesarios diez días para crear el modelo predictivo de Bodyguard y veinte días para elaborar el modelo de metaaprendizaje que analiza la relación entre el autor del contenido y el del comentario.

Gracias a estos modelos, el porcentaje de detección de la tecnología Bodyguard aumentó en un 12,5%, pasando del 80% al 90%, mientras que el número de falsos positivos se redujo a la mitad, con una caída del 6% al 3%.

Para la monitorización, Charles optó por la solución Logs Data Platform de OVHcloud (solo disponible en Francia) combinada con el software Grafana. De este modo, puede no solo supervisar el rendimiento de su infraestructura y de sus bases de datos, sino también medir sus indicadores clave de rendimiento (KPI), como el número de usuarios, el volumen de contenidos de odio eliminados en tiempo real, la cantidad de llamadas a la API, etc.

Diagrama 1

La infraestructura de Bodyguard se compone de tres instancias de Public Cloud:

  • una para las bases de datos;
  • otra para la tecnología y los modelos de machine learning;
  • y una última para los robots encargados del funcionamiento de la aplicación móvil, que recopilan los comentarios y los analizan mediante la tecnología desarrollada.

Para realizar las copias de seguridad, Charles utiliza otro servicio del Public Cloud de OVHcloud: Cloud Archive. Esta solución permite conservar la información a largo plazo, garantizando la seguridad y la recuperación de los datos, a un precio asequible.

Diagrama 2

El resultado

Charles tardó dos años en desarrollar el algoritmo de aprendizaje definitivo e integrarlo en una aplicación móvil gratuita, disponible en Android e iOS desde octubre de 2017. Actualmente, Bodyguard elimina en tiempo real los comentarios de odio en YouTube, Instagram, Twitter, Twitch y Mixer.

En julio de 2019, este guardaespaldas virtual conquistó a más de 40 000 usuarios y obtuvo una tasa de satisfacción del 97%. Estas son algunas de las razones de su éxito:

  • 90% de contenidos de odio detectados por la aplicación;
  • 2% de margen de error (falsos positivos);
  • más de 2 millones de comentarios de odio eliminados en 20 meses.

La aplicación pronto estará disponible en inglés y en español. Asimismo, próximamente verá la luz una nueva solución llamada «Bodyguard para familias», que avisará a los padres cuando sus hijos sufran ciberacoso.

Charles aspira a posicionarse como proveedor de soluciones de moderación automática mediante IA. Para ello, va a poner su tecnología a disposición de quien la necesite a través de una API, bajo el nombre «Bodyguard para empresas». Esta tecnología está dirigida a todos aquellos que deseen protegerse a sí mismos y a sus usuarios y empleados, salvaguardando su imagen y su reputación.

Nuestra plataforma para desarrolladores (developers.bodyguard.ai) ya está disponible para que cualquiera pueda utilizar nuestra tecnología.

Charles Cohen, fundador y CEO de Bodyguard