Werum

Dostarczanie użytkownikom na całym świecie dużych ilości danych w bezpieczny i niezawodny sposób

Werum Software & Systems AG, z siedzibą w Lüneburgu, jest jedną z najdłużej istniejących niezależnych firm oferujących oprogramowanie w Niemczech. Werum tworzy zaawansowane oprogramowanie i systemy dla klientów na całym świecie, w tym dla wielu znanych firm z branży motoryzacyjnej i lotniczej, a także instytutów naukowych oraz klientów z sektora publicznego. Działania Werum koncentrują się na wspieraniu procesów specyficznych dla klienta w obszarach zarządzania danymi pomiarowymi i informacjami, zarządzania danymi testowymi dla inżynierii mechanicznej, obserwacji Ziemi, eGovernment i zarządzania informacjami przedsiębiorstwa. Rozwiązania software’owe opierają się na platformach przygotowanych specjalnie w tym celu.

W imieniu Komisji Europejskiej i Europejskiej Agencji Kosmicznej (ESA), Werum uruchomił usługę długoterminowej archiwizacji dla Copernicus w Public Cloud od OVHcloud. Obejmuje ona tak zwane dane poziomu 0 i dane pomocnicze satelitów do obserwacji Ziemi Sentinel-1, Sentinel-2 i Sentinel-3. Od momentu uruchomienia w październiku 2020 r. w archiwum w chmurze publicznej zapisano 220 milionów zbiorów danych o łącznej wielkości ponad 9 petabajtów. Co miesiąc dodawanych jest około 110 terabajtów. Poza tym aktualna pojemność archiwum pozwala indywidualnym użytkownikom na pobieranie 10 terabajtów dziennie.

Wysoka dostępność, wysoka wydajność i możliwość skalowania

W przeszłości naziemne segmenty obserwacji Ziemi były tworzone na nowo dla każdej misji. Część tych naziemnych segmentów to długoterminowe archiwa, które potrzebują dużej infrastruktury, wymagającej bardzo znaczących nakładów na utrzymanie. Niezbędne usługi w zakresie oprogramowania były realizowane w dedykowanych centrach danych, których wydajność musiała zostać zoptymalizowana pod kątem zarządzania danymi konkretnej misji satelitarnej. Inne operacje wymagały specjalnie przeszkolonego zespołu, zajmującego się rozwiązywaniem krytycznych incydentów dotyczących sprzętu i oprogramowania.
 

W ramach nowej usługi „Archive as a Service" (archiwum jako usługa) konieczne było zapewnienie istniejących funkcji w chmurze w sposób skalowalny i przenośny. Wymagania stawiane usłudze archiwizacji obejmowały wysoką dostępność infrastruktury, wysoką wydajność w zakresie przepustowości i zapytań dotyczących przestrzeni dyskowej, a także możliwość skalowania konfiguracji infrastruktury. Ponadto konieczne jest przechowywane dużych ilości danych gotowych do pobrania.

Usługa archiwizacji jest zapewniana przez Werum przy użyciu wysoko wyspecjalizowanego oprogramowania i stawia przed dostawcą usług chmurowych specyficzne wymagania. Musi on oferować niezawodne wsparcie 24/7 oraz elastyczną infrastrukturę techniczną, aby zapewnić swobodę konfiguracji i optymalizacji oprogramowania, ponieważ nie jest ono oparte na typowych platformach chmurowych.

Aby stworzyć innowacyjne archiwum jako konkurencyjną usługę, Werum w ramach tego projektu współpracuje z OVHcloud.

Przetwarzanie i przechowywanie danych o rozmiarze kilku petabajtów w najkrótszym możliwym czasie

Dzięki wieloletniemu doświadczeniu w tworzeniu niezbędnego oprogramowania i zarządzaniu nim, Werum dysponuje już wiedzą potrzebną, by sprostać nowym wymaganiom.

Infrastruktura chmurowa jest dostarczana przez OVHcloud. W ramach tej infrastruktury Werum wybrał wydajny serwerbare-metal do scentralizowanej orkiestracji usług. Przetwarzanie danych jest skalowalne i rozproszone na kilku instancjach chmury publicznej, natomiast archiwum chmury publicznej iprzechowywanie obiektowe w chmurze publicznej są wykorzystywane do równie skalowalnego przechowywania danych. Przetwarzanie danych obejmuje kilka etapów, takich jak kontrola integralności, ekstrakcja metadanych, śledzenie konkretnych usług zewnętrznych oraz samo przechowywanie. Zapewnia również możliwość ponownego odczytania danych. Zespół usługi Werum wykupił usługę Enterprise Support od OVHcloud, aby szybko analizować i wspólnie znajdować rozwiązania w przypadku problemów z infrastrukturą. Różne usługi chmurowe zawarte w długoterminowym archiwum Copernicus pomagają sprostać wyzwaniom na wielu poziomach. Po pierwsze, ilość danych, które same w sobie muszą być przechowywane, jest bardzo duża. Możliwość wygenerowania kilku petabajtów przestrzeni dyskowej w bardzo krótkim czasie była zatem kluczowym czynnikiem przy wyborze dostawcy. Dzięki różnym opcjom instancji chmury publicznej do przetwarzania danych, udało się w ramach projektu zapewnić i zagwarantować krótkoterminową skalowalność, zarówno pod względem szybkości przetwarzania danych, jak i wymaganej przepustowości sieci.

Od października 2020 r. na zlecenie ESA Werum prowadzi wieloletnie archiwum Copernicus. To specjalistyczne rozwiązanie oprogramowania pozwala Werum oferować usługę 24/7, która dostarcza użytkownikom historyczne dane z obserwacji Ziemi pochodzące z różnych misji satelitarnych Sentinel, a jednocześnie zapewnia bardzo wysoki poziom dostępności. Decyzja o wyborze OVHcloud sprawdza się już w operacyjnej fazie usługi, ponieważ wymagania techniczne dotyczące niezbędnych komponentów oprogramowania mogą być w sposób elastyczny mapowane na różne instancje serwerów. Dodatkowo dobra komunikacja z Technical Account Managerem zapewniła ukierunkowane wsparcie. Umożliwiło to zespołowi zarządzającemu usługą przekazanie OVHcloud wszelkich wymagań technicznych na wczesnym etapie - np. w sytuacjach, gdy prognozowany wolumen przestrzeni dyskowej znacznie się zmienił.

Po udanej pierwszej fazie projektu operacja archiwizowania w chmurze została rozszerzona i będzie nadal zapewniać społeczności użytkowników ESA duże ilości danych z misji satelitarnych po roku 2022.

* Wyrażone tutaj poglądy nie mogą być w żaden sposób traktowane jako oficjalna opinia Europejskiej Agencji Kosmicznej lub Unii Europejskiej.