Hopsworks

A Hopsworks, com a sua plataforma de dados e IA, é especializada na construção, manutenção e exploração de sistemas de IA e de Machine Learning (ML) à escala. A empresa nasceu como um projeto de investigação académica dirigido pelo seu cofundador, o Dr. Jim Dowling, durante o seu percurso na universidade sueca KTH. Ali, trabalhou no HopsFS, um sistema de ficheiros distribuídos escalável, que foi desenvolvido para resolver os estrangulamentos de dados nos sistemas de IA. O HopsFS evoluiu então para a Hopsworks, uma plataforma de data science com uma tecnologia de base centrada em torno de uma feature store. Tornou-se parte do projeto pan-europeu HEAP (Human Exposome Assessment Platform), que fornece dados a institutos de investigação, contribuindo nomeadamente para o combate ao cancro. 

A Hopsworks foi formalmente fundada em 2017 e agora tem 40 funcionários ao redor do mundo. A empresa fornece um lakehouse IA construído em redor do seu pioneiro feature store — uma camada de abstração que gere todo o ciclo de vida das funcionalidades ML, com linhagem, controlo de versões e governança integrados. Ao combinar as capacidades de lakehouse com o feature serving em tempo real via uma API unificada, a Hopsworks acelera significativamente os projetos IA organizacionais, incluindo a criação de LLM, a análise preditiva, a logística, o KYC e a análise de imagens.

«Se se treinar e servir modelos de IA nos mesmos sistemas, por vezes isso resulta em perda e mudança dos dados. Ou seja, os modelos podem não chegar à fase de produto. Com o nosso lakehouse IA, é possível abstrair as camadas e manter as diferentes fases logicamente separadas, acelerando de forma drástica o time-to-market dos projetos IA.»

Lex Avstreikh, responsável de Estratégia na Hopsworks

Avstreikh e a sua equipa estavam bem cientes de que, embora a Hopsworks estivesse no setor da IA desde 2017, as coisas estavam em constante mudança e o futuro era incerto.

«Queríamos que a nossa plataforma, e o futuro da empresa, fosse o mais aberta possível à mudança», explica Avstreikh. «Sabíamos que era importante evitar a utilização de linguagens específicas de domínio (DSL), que iriam prender os nossos utilizadores a certas escolhas arquitetónicas. Estas poderiam acabar por se revelar no futuro como apostas muito más! Precisávamos de toda a nossa pilha, especialmente da camada de infraestrutura, para nos dar a maior flexibilidade possível.» 

A equipa da Hopsworks testou vários fornecedores de cloud, mas considerou muitas das soluções difíceis de usar, insuficientemente sustentáveis e incapazes de resolver a sua crescente preocupação quanto à soberania dos dados. Além disso, quando se tratou da nova plataforma serverless — que é baseada em Kubernetes e oferece gratuitamente aos clientes armazenamento e implementação de modelos —, era importante manter os custos baixos e dispor de uma infraestrutura fácil de modernizar. Embora a equipa pudesse escalar até 20 000 utilizadores sem custos adicionais, os potenciais custos de egressão com o seu então fornecedor de alojamento representavam um grande risco financeiro. 

«Muitas das plataformas cloud têm processos acumulados que podem ser descritos como detritos técnicos obstrutivos», prossegue Avstreikh. «Os preços eram pouco claros e as ferramentas nem sempre funcionavam bem em conjunto — era como se estivéssemos a brincar com blocos às escuras. Uma vez, recebemos uma fatura por termos deixado um serviço de armazenamento ligado por engano, pelo que queríamos evitar isso no futuro.»  

Como resultado, Avstreikh e a sua equipa começaram a procurar um fornecedor de infraestrutura que fosse compatível com o seu conjunto de ferramentas existente. Também era importante que o ambiente cloud fosse fácil de usar, de preferência local, e que mantivesse todas as opções em aberto para a evolução futura da plataforma. A equipa também pretendia encontrar um fornecedor cujo espírito estivesse alinhado com o compromisso e a filosofia ambientais da Hopsworks de ser o mais sustentável possível. 

Enquanto empresa europeia, a Hopsworks já conhecia a OVHcloud, pelo que deu início a uma comparação rigorosa dos serviços disponibilizados. Os serviços da OVHcloud superaram os dos concorrentes em quase todas as áreas importantes para a Hopsworks — e a um custo inferior.

A Hopworks começou a migrar a sua oferta serverless para o ambiente Public Cloud da OVHcloud, utilizando a solução de Object Storage compatível com S3. Juntou-se igualmente ao OVHcloud Startup Program, beneficiando de um apoio comercial e técnico suplementar. 

«Tivemos uma excelente experiência com o OVHcloud Startup Program. A dimensão de mentoria era muito boa, e podíamos ter acesso a pessoas de todas as áreas, incluindo apoio comercial quando necessário. É um programa muito prático que nos agradou bastante.»

  Lex Avstreikh, responsável de Estratégia na Hopsworks

Antes de iniciar a migração para a OVHcloud, a equipa da Hopsworks fez o backup do seu cluster junto do fornecedor da altura. Apesar de um pequeno e previsível downtime, a Hopsworks notificou os utilizadores acerca da manutenção, e não houve percalços no âmbito da migração. 

A equipa da Hopsworks acompanhou os custos ao longo do processo, incluindo a execução do Managed Kubernetes, a egressão de rede, o armazenamento S3, o registo de containers, as transferências de dados e as instâncias EBS, e constatou uma poupança de 62% nos custos cloud totais. 

«Avançámos com o processo gradualmente, e embora existam sempre pequenos contratempos com qualquer migração, conseguimos fazer poupanças consideráveis ao mudar-nos para a OVHcloud, ao mesmo tempo que garantimos que o nosso serviço está alojado numa cloud europeia», diz Avstreikh. «Não tem havido reuniões de crise, nem queixas, e ninguém alguma vez sugeriu que voltássemos ao nosso fornecedor antigo! Também gostamos que a OVHcloud seja sustentável por conceção e que os nossos serviços cloud sejam o mais eficientes possível.» 

«O Managed Kubernetes Service da OVHcloud também é muito simples de usar, e já testei quase todas as alternativas em termos de cloud! Finalmente, graças ao OVHcloud Startup Program, construímos excelentes relações em todo o setor: independentemente da questão em causa, sempre encontro alguém para ajudar. Em suma, estamos muito satisfeitos com o resultado final.»

  Lex Avstreikh, responsável de Estratégia na Hopsworks