Hopsworks

Hopsworks to platforma sztucznej inteligencji i danych specjalizująca się w budowaniu, utrzymaniu i obsłudze systemów AI oraz Machine Learning (ML) na dużą skalę. Firma rozpoczęła życie jako akademicki projekt badawczy prowadzony przez jej współzałożyciela, dr. Jima Dowlinga podczas jego pracy na wiodącym szwedzkim uniwersytecie KTH. Tam pracował nad HopsFS, skalowalnym, rozproszonym systemem plików, który został opracowany, aby rozwiązać problem wąskich gardeł danych w systemach sztucznej inteligencji. HopsFS z czasem ewoluował w Hopsworks, platformę data science, której unikalna podstawowa technologia skupia się wokół magazynu funkcji. Podmiot stał się częścią paneuropejskiego projektu HEAP (Human Exposome Assessment Platform), który dostarcza danych dla instytutów badawczych, w tym konkretnym przypadku pomagając w walce z rakiem. 

Firma Hopsworks została formalnie założona w 2017 roku i zatrudnia obecnie 40 pracowników na całym świecie. Zapewnia jezioro AI zbudowane wokół swojego pionierskiego magazynu funkcji — warstwy abstrakcji, która zarządza całym cyklem życia funkcji ML z wbudowaną linią, wersjonowaniem i zarządzaniem. Łącząc funkcje jeziora z funkcjami czasu rzeczywistego poprzez ujednolicone API, Hopsworks znacznie przyspiesza projekty organizacyjne AI, w tym tworzenie LLM, analizę predykcyjną, logistykę, KYC i analizę obrazu.

„Jeśli trenujesz i obsługujesz modele AI w tych samych systemach, czasem dane tracisz i przenosisz. W rezultacie modele nie docierają do etapu produktu. Dzięki naszemu projektowi jeziora AI możesz wyabstrahować poszczególne etapy i jednocześnie logicznie je rozdzielić, radykalnie przyspieszając czas wprowadzenia projektów AI na rynek".

Lex Avstreikh, Hopsworks Head of Strategy

Avstreikh i reszta zespołu byli świadomi, że chociaż Hopsworks jest w sektorze AI od 2017 roku, okoliczności ciągle się zmieniają, a przyszłość jest niepewna.

„Chcieliśmy, aby nasza platforma - i przyszłość firmy - były jak najbardziej otwarte na zmiany", wyjaśniła Avstreikh. „Wiedzieliśmy, że ważne jest unikanie używania języków specyficznych dla danej domeny (DSL), bo to mogło zamknąć naszych użytkowników w pewnych ograniczeniach architektonicznych, a to z kolei mogło się okazać bardzo nietrafioną decyzją na przyszłość! Potrzebowaliśmy całego naszego stosu, zwłaszcza warstwy infrastruktury, aby zapewnić sobie jak największą elastyczność." 

Zespół Hopsworks wypróbował rozwiązania wielu różnych dostawców chmury, jednak - jak się okazało - wiele z było trudnych w obsłudze, niewystarczająco trwałych i niezdolnych do rozwiązania rosnących problemów związanych z suwerennością danych. Co więcej, w przypadku nowej, bezserwerowej platformy Hopsworks, opartej na Kubernetesie i oferującej klientom bezpłatną przestrzeń dyskową oraz modele wdrażania, istotne było obniżenie kosztów i korzystanie infrastruktury łatwej do aktualizacji. Chociaż zespół był w stanie obsłużyć do 20 000 użytkowników bez dodatkowych kosztów, potencjalne koszty ruchu wychodzącego u obecnego dostawcy usług hostingowych wiązały się z realnym ryzykiem finansowym. 

„Na wielu platformach chmurowych nagromadziły się procesy, które najlepiej mogę opisać jako obstrukcyjne śmieci techniczne", kontynuował Avstreikh. „Ceny bywały niejasne, a zestawy narzędzi nie zawsze dobrze ze sobą współpracowały — często mieliśmy wrażenie, że bawimy się klockami w ciemności. Raz zapomnieliśmy zrezygnować z usługi przechowywania i dostaliśmy za to fakturę, więc bardzo chcieliśmy tego uniknąć w przyszłości."  

W rezultacie Avstreikh i jego zespół zaczęli szukać alternatywnego dostawcy infrastruktury, która byłaby kompatybilna z ich istniejącymi narzędziami. Istotne było również, aby środowisko chmurowe było proste w użyciu, najlepiej lokalne, i żeby oferowało opcje umożliwiające budowę platformy w przyszłości. Zespół potrzebował również dostawcy platformy, którego etos jest zgodny z zaangażowaniem Hopsworks w ochronę środowiska i filozofią zrównoważonego rozwoju. 

Pracując w europejskiej firmie zespół Hopsworks zetknął się z OVHcloud wcześniej, a na tym etapie przeprowadził rygorystyczną analizę porównawczą rozwiązania OVHcloud w odniesieniu do dotychczasowego dostawcy chmury. Usługi OVHcloud przewyższały możliwości konkurentów w niemal wszystkich obszarach istotnych dla Hopsworks - i to w niższej cenie.

Hopsworks zaczął migrować swoją ofertę systemów bezserwerowych do środowiska Public Cloud OVHcloud, wykorzystując kompatybilne z S3 rozwiązanie Object Storage . Zespół dołączył również do OVHcloud Startup Program, korzystając z dodatkowego wsparcia biznesowego i technicznego. 

„Dzięki OVHcloud Startup Program zdobyliśmy wspaniałe doświadczenie. Aspekt mentoringu był bardzo istotny - mogliśmy uzyskać dostęp do ludzi w całej firmie, w tym również liczyć na wsparcie handlowe, gdy go potrzebowaliśmy. To bardzo praktyczny program, który bardzo doceniliśmy".

  Lex Avstreikh, Hopsworks Head of Strategy

Zespół Hopsworks przed rozpoczęciem migracji do OVHcloud wykonał kopię zapasową klastra u swojego głównego dostawcy. Pomimo niewielkiego, przewidywalnego czasu przestojów, Hopsworks powiadomił użytkowników o konserwacji i dzięki temu nie pojawiły się żadne zapytania od użytkowników ani problemy z kontami w wyniku migracji. 

Zespół Hopsworks śledził koszty w całym procesie, w tym uruchomienie usługi Managed Kubernetes, ruch wychodzący z sieci, przestrzeń dyskową S3, rejestr kontenerów, transfer danych i instancje EBS, i stwierdził, że oszczędności całkowitych kosztów chmury sięgają 62%. 

„Rozpoczęliśmy proces stopniowo i chociaż każda migracja wiąże się z pewnymi problemami, udało nam się dokonać znacznych oszczędności, przenosząc się do OVHcloud. Uzyskaliśmy przy tym pewność, że nasza usługa jest hostowana w europejskiej chmurze" - powiedział Avstreikh. „Nie było potrzeby organizowania spotkań kryzysowych, nie było skarg i nikt nie sugerował powrotu do naszego poprzedniego dostawcy! Podoba nam się również, że systemy OVHcloud są zrównoważone z założenia, a nasze usługi chmurowe są jak najbardziej wydajne". 

„Managed Kubernetes Service od OVHcloud jest również bardzo prosty w użyciu, a wypróbowałem prawie wszystkie alternatywne rozwiązania chmurowe. Wreszcie, dzięki OVHcloud Startup Program, zbudowaliśmy naprawdę dobre relacje w całej branży: niezależnie od tego, z jakim pytaniem przychodzę, zawsze mogę znaleźć kogoś, kto mi pomoże. Podsumowując, jesteśmy bardzo zadowoleni z tego, jak się wszystko udało".

  Lex Avstreikh, Hopsworks Head of Strategy