Hopsworks

Hopsworks ist eine KI- und Datenplattform, die sich auf den Aufbau, die Wartung und den Betrieb von KI- und Machine Learning (ML)-Systemen in großem Maßstab spezialisiert hat. Das Unternehmen begann als akademisches Forschungsprojekt unter der Leitung von Mitgründer Dr. Jim Dowling während seiner Zeit an der führenden schwedischen Universität KTH. Dort arbeitete er an HopsFS – einem skalierbaren verteilten Dateisystem, das entwickelt wurde, um Datenengpässe in KI-Systemen zu beheben. HopsFS entwickelte sich zu Hopsworks, einer Data-Science-Plattform mit einer einzigartigen Kerntechnologie, die sich um einen Feature Store dreht. Es wurde Teil des gesamteuropäischen Projekts HEAP (Human Exposome Assessment Platform), das Daten für Forschungsinstitute liefert – in diesem Fall speziell zur Krebsbekämpfung. 

Hopsworks wurde 2017 offiziell gegründet und hat mittlerweile 40 Mitarbeitende weltweit. Das Unternehmen stellt ein AI Lakehouse bereit, das um seinen bahnbrechenden Feature Store herum aufgebaut ist – eine Abstraktionsschicht, die den gesamten Lebenszyklus von ML-Features mit integrierter Abstammung, Versionsverwaltung und Governance verwaltet. Durch die Kombination des Lakehouse-Potenzials mit Echtzeit-Funktionen über eine einheitliche API beschleunigt Hopsworks die KI-Projekte von Unternehmen erheblich – einschließlich der Erstellung von LLMs, prädiktiver Analyse, Logistik, KYC und Bildanalyse.

„Wenn man KI-Modelle in den gleichen Systemen trainiert und betreibt, kommt es manchmal zu Datenverlust und -verschiebung. Dies kann dazu führen, dass es die Modelle nicht in die Produktphase schaffen. Mit unserem AI Lakehouse kann man die einzelnen Ebenen abstrahieren und gleichzeitig die verschiedenen Phasen logisch voneinander trennen. Das beschleunigt die Markteinführung von KI-Projekten erheblich.“

Lex Avstreikh, Hopsworks Head of Strategy

Avstreikh und dem Team war durchaus bewusst, dass Hopsworks zwar seit 2017 im KI-Sektor tätig war, sich die Dinge aber ständig ändern und die Zukunft ungewiss ist.

„Wir wollten, dass unsere Plattform – und die Zukunft des Unternehmens – so offen für Veränderungen wie möglich ist“, erklärte Avstreikh. „Wir wussten, dass es wichtig war, Domain-spezifische Sprachen (DSL) zu vermeiden, die unsere User an bestimmte Architekturentscheidungen binden würden, da sich dies in Zukunft als sehr unvorteilhaft erweisen könnte. Wir mussten unser gesamtes Portfolio verwenden, insbesondere die Infrastrukturebene, um uns so viel Flexibilität wie möglich zu bieten.“ 

Das Team von Hopsworks probierte eine Reihe unterschiedlicher Cloud-Anbieter aus und stellte fest, dass viele schwierig zu verwenden und nicht nachhaltig genug waren. Außerdem waren sie nicht in der Lage, wachsende Besorgnis über Datensouveränität auszuräumen. Bei der neuen serverlosen Plattform von Hopsworks – die auf Kubernetes basiert und Kund:innen kostenlosen Speicherplatz und Modellbereitstellung bietet – war es außerdem wichtig, die Kosten niedrig zu halten und eine leicht aufrüstbare Infrastruktur zu schaffen. Obwohl das Team ohne zusätzliche Kosten auf bis zu 20.000 Nutzer:innen skalieren konnte, stellten die potenziellen Kosten für ausgehenden Traffic bei dem aktuellen Hosting-Anbieter des Unternehmens ein echtes finanzielles Risiko dar. 

„Viele Cloud-Plattformen haben Prozesse angehäuft, die ich nur als hinderlichen technischen Schutt bezeichnen kann“, so Avstreikh. „Die Preisgestaltung war unklar und die Tools waren nicht immer kompatibel. Oft fühlte es sich an, als würde man im Dunkeln mit Bauklötzen spielen. Einmal wurde versehentlich eine Rechnung ausgestellt, nachdem ein Speicherdienst versehentlich eingeschaltet geblieben war. Solche Vorfälle wollten wir in Zukunft unbedingt vermeiden.“  

Avstreikh und sein Team begannen daher, nach einem alternativen Infrastrukturanbieter zu suchen, der mit den vorhandenen Tools kompatibel sein sollte. Die Cloud-Umgebung sollte außerdem einfach zu bedienen und vorzugsweise lokal sein, und die Optionen für den Ausbau der Plattform in Zukunft sollten offen bleiben. Zusätzlich wollte das Team einen Plattformanbieter, dessen Ethos mit dem Umweltengagement und der Philosophie von Hopsworks, so nachhaltig wie möglich zu sein, im Einklang steht. 

Als europäisches Unternehmen war das Team von Hopsworks bereits zuvor mit OVHcloud in Berührung gekommen und begann mit einer rigorosen Analyse der Leistungen von OVHcloud im Vergleich zu seinem derzeitigen Cloud-Anbieter. Die Dienste von OVHcloud übertrafen die der Konkurrenz in fast allen für Hopsworks wichtigen Bereichen – und das zu geringeren Kosten.

Hopsworks begann mit der Migration seines serverlosen Angebots auf die Public Cloud-Umgebung von OVHcloud und nutzte dafür die S3-kompatible Object-Storage-Lösung. Darüber hinaus schloss sich das Team dem OVHcloud Startup Program an und profitierte von zusätzlichem geschäftlichem und technischem Support. 

„Wir haben eine großartige Erfahrung mit dem OVHcloud Startup Program gemacht. Das Mentoring war sehr gut, und wir hatten Kontakt zu Mitarbeitenden aus dem gesamten Unternehmen – einschließlich kommerziellem Support, wenn wir ihn brauchten. Es ist ein sehr praktisches Programm, das wir sehr zu schätzen wissen.“

  Lex Avstreikh, Hopsworks Head of Strategy

Das Team von Hopsworks sicherte den Cluster bei seinem Hauptanbieter, bevor die Migration zu OVHcloud begann. Es kam zwar zu kurzen, vorhersehbaren Ausfallzeiten, aber Hopsworks hatte die User im Vorfeld über die Wartung informiert. So führte die Migration nicht zu Benutzerfragen oder zu Problemen mit Accounts. 

Das Team von Hopsworks verfolgte die Kosten über den gesamten Prozess hinweg – einschließlich der Ausführung von Managed Kubernetes, Network Egress, S3 Storage, Container Registry, Datentransfers sowie EBS-Instanzen – und erzielte Einsparungen von 62 % bei den Gesamtkosten für die Cloud. 

„Wir begannen den Prozess schrittweise und obwohl es bei jeder Migration immer kleine Probleme gibt, konnten wir durch den Umstieg auf OVHcloud beträchtliche Einsparungen erzielen und gleichzeitig sicherstellen, dass unser Dienst in einer europäischen Cloud gehostet wird“, sagte Avstreikh. „Es gab weder Krisensitzungen noch Beschwerden, und niemand hat je den Wunsch geäußert, zu unserem vorherigen Anbieter zurückzukehren. Uns gefällt auch, dass OVHcloud von Grund auf nachhaltig ist und unsere Cloud-Dienste mit maximaler Effizienz arbeiten.“ 

„Auch der Managed Kubernetes Service von OVHcloud ist unkompliziert in der Handhabung – und ich habe fast alle großen Cloud-Alternativen ausprobiert. Und schließlich haben wir dank des Startup-Programms wirklich gute Geschäftsbeziehungen aufgebaut. Was auch immer meine Frage ist – ich finde immer jemanden, der mir hilft. Alles in allem sind wir sehr zufrieden damit, wie alles gelaufen ist.“

  Lex Avstreikh, Hopsworks Head of Strategy