Hopsworks

Hopsworks es una plataforma de IA y datos especializada en la construcción, mantenimiento y explotación de sistemas de IA y ML (machine learning) a escala. En sus inicios la empresa comenzó como un proyecto de investigación académica dirigido por el cofundador, el Dr. Jim Dowling, durante su mandato en KTH, la principal universidad sueca. Allí trabajó en HopsFS, un sistema de archivos distribuido escalable que fue desarrollado con el fin de abordar los cuellos de botella de datos en los sistemas de IA. Después, HopsFS se transformó en Hopsworks, una plataforma de ciencia de datos con una tecnología central única basada en una tienda de funcionalidades. Pasó a formar parte del proyecto paneuropeo HEAP (Human Exposome Assessment Platform), que proporciona datos a los institutos de investigación, en este caso específico, ayudando a combatir el cáncer. 

Hopsworks se creó formalmente en 2017 y ahora cuenta con 40 empleados en todo el mundo. La empresa proporciona un lakehouse de IA construido alrededor de su tienda de características pionera, una capa de abstracción que administra el ciclo de vida completo de las características de ML con linaje, versiones y control integrados. Al combinar las capacidades de lakehouse con el servicio de funciones en tiempo real a través de una API unificada, Hopsworks acelera significativamente los proyectos de IA empresarial, incluida la creación de LLM, el análisis predictivo, la logística, KYC y el análisis de imágenes.

«Si entrenas y ofreces modelos de IA en los mismos sistemas, a veces se pierden o cambian datos, lo que puede provocar que los modelos no lleguen a la fase de producto. Con nuestro lakehouse de IA, puede abstraer las capas y mantener las diferentes etapas separadas lógicamente, lo que acelera considerablemente el tiempo de salida al mercado de los proyectos de IA».

Lex Avstreikh, responsable de estrategia de Hopsworks

Avstreikh y el equipo eran muy conscientes de que, aunque Hopsworks había estado en el sector de la IA desde 2017, las cosas cambian constantemente y el futuro es incierto.

«Queríamos que nuestra plataforma y el futuro de la empresa estuvieran lo más abiertos posible al cambio», explicó Avstreikh. «Sabíamos que era importante evitar el uso de lenguajes específicos de dominio (DSL), que podrían bloquear a nuestros usuarios en determinadas opciones de arquitectura, ya que podrían terminar siendo malas decisiones en el futuro. Necesitábamos todo nuestro stack, especialmente la capa de infraestructura, para tener la mayor flexibilidad posible». 

El equipo de Hopsworks probó con varios proveedores de cloud diferentes, pero vieron que muchos eran difíciles de usar, no eran suficientemente sostenibles y eran incapaces de resolver su creciente preocupación por la soberanía de los datos. Asimismo, respecto a la nueva plataforma sin servidor Hopsworks, que se basa en Kubernetes y proporciona almacenamiento gratuito y despliegue de modelos a los clientes, era importante mantener los costes bajos y tener una infraestructura fácil de actualizar. Aunque el equipo podría escalar hasta 20 000 usuarios sin costes adicionales, los posibles costes de salida con su actual proveedor de hosting presentaban un riesgo financiero real. 

«Muchas de las plataformas en el cloud tienen procesos acumulados a los que solo se me ocurre denominar desechos técnicos obstructivos», continuó Avstreikh. «Los precios no estaban siempre claros y los conjuntos de herramientas no siempre funcionan bien juntos, a menudo era como jugar con bloques de construcción en la oscuridad. En una ocasión, tras dejar encendido accidentalmente un servicio de almacenamiento, nos enviaron una factura, y quisimos evitar que sucediese en el futuro».  

Como resultado, Avstreikh y su equipo buscaron un proveedor de infraestructura alternativo que fuera compatible con su conjunto de herramientas existente. También era importante que el entorno cloud fuera fácil de usar, preferiblemente local, y que mantuviera sus opciones abiertas para desarrollar la plataforma en el futuro. El equipo también quería un proveedor de plataformas que se alineara con el compromiso medioambiental y la filosofía de Hopsworks en materia de sostenibilidad. 

Como empresa europea, el equipo de Hopsworks ya conocía a OVHcloud y había comenzado un análisis riguroso de su relación con su actual proveedor de cloud. Los servicios de OVHcloud superaron a la competencia en casi todas las áreas importantes para Hopsworks, a un coste menor.

Hopsworks decidió migrar su oferta sin servidor al entorno Public Cloud de OVHcloud, utilizando su solución de almacenamiento de objetos compatible con S3. El equipo también se unió al Startup Program de OVHcloud, beneficiándose de soporte técnico y comercial adicional. 

«Nuestra experiencia con el Startup Program de OVHcloud ha sido muy buena. El mentoring era muy bueno, y nos teníamos acceso a la gente en toda la empresa, incluyendo soporte comercial cuando lo necesitábamos. Es un programa muy práctico, que nos vino realmente bien».

  Lex Avstreikh, responsable de estrategia de Hopsworks

El equipo de Hopsworks realizó una copia de seguridad del clúster con su proveedor principal antes de migrar a OVHcloud. Si bien hubo un intervalo de inactividad pequeño y predecible, Hopsworks notificó a los usuarios sobre el mantenimiento y no hubo consultas de los usuarios ni problemas con las cuentas como resultado de la migración. 

El equipo de Hopsworks realizó un seguimiento de los costes durante todo el proceso, incluyendo la ejecución de Managed Kubernetes, la salida de red, el almacenamiento S3, el registro de contenedores, las transferencias de datos y las instancias de EBS, y registró un ahorro del 62 % en los costes totales de cloud. 

«Empezamos el proceso poco a poco y, aunque siempre hay pequeños contratiempos con cualquier migración, hemos conseguido ahorrar bastante al migrar a OVHcloud, mientras garantizamos que nuestro servicio está alojado en un cloud europeo», afirma Avstreikh. «No ha habido ninguna reunión de crisis, ninguna queja, y nadie ha sugerido volver a nuestro proveedor anterior. También nos gusta que OVHcloud sea sostenible por diseño y que nuestros servicios cloud sean lo más eficientes posible». 

«El servicio Managed Kubernetes de OVHcloud es muy sencillo de utilizar, y he probado casi todas las alternativas de cloud. Por último, gracias al Startup Program, hemos desarrollado relaciones buenas en todo el negocio: sea cual sea mi consulta, siempre puedo encontrar a alguien que me ayude. Teniendo todo esto en cuenta, estamos muy contentos con cómo salieron las cosas».

  Lex Avstreikh, responsable de estrategia de Hopsworks