Copernicus Langzeitarchiv in der Cloud
OVHcloud & Werum
Langzeitarchivierung
in der Cloud
24/7-Service für historische
Erdbeobachtungsdaten
Skalierbarkeit und Hochverfügbarkeit
in der Public Cloud
Zusammenfassung
Große Datenmengen für weltweite Nutzer sicher und zuverlässig zur Verfügung stellen
Die Werum Software & Systems AG ist eines der am längsten etablierten unabhängigen Softwareunternehmen in Deutschland mit Sitz in Lüneburg. Werum realisiert anspruchsvolle Software und Systeme für einen weltweiten Kundenkreis, darunter zahlreiche namhafte Unternehmen aus der Automobilindustrie, der Luft- und Raumfahrt sowie wissenschaftliche Institute und öffentliche Auftraggeber. Im Zentrum der Aktivitäten steht die Unterstützung kundenspezifischer Prozesse in den Themenschwerpunkten Messdaten- und Informationsmanagement, Testdatenmanagement im Maschinenbau, Erdbeobachtung, eGovernment und Enterprise Information Management. Die Grundlagen der Softwarelösungen bilden eigens dafür entwickelte Plattformen.
Im Auftrag der Europäischen Kommission und der European Space Agency (ESA) hat Werum einen Copernicus Langzeitarchivierungsservice in der OVHcloud aufgebaut. Dieser umfasst die sogenannten Level-0- und Hilfsdaten der Erdbeobachtungssatelliten Sentinel-1, Sentinel-2 und Sentinel-3. Seit dem Start im Oktober 2020 wurden dafür etwa 220 Millionen Datensätze von insgesamt über 9 Petabyte in das Public Cloud Archive geladen. Monatlich kommen weiterhin etwa 110 Terabyte dazu. Zusätzlich ist er derzeit so dimensioniert, dass täglich 10 Terabyte von spezifischen Nutzern heruntergeladen werden können.
Die Herausforderung
Hohe Verfügbarkeit, hohe Performance und die Möglichkeit zur Skalierung
In der Vergangenheit wurden Erdbeobachtungs-Bodensegmente für jede Mission neu aufgebaut. Ein Teil dieser Bodensegmente sind Langzeitarchive, für die eine große und sehr wartungsintensive Infrastruktur vorgehalten werden musste. Die notwendigen Softwaredienste liefen in dedizierten Datenzentren, deren Leistung auf die Datenverwaltung einer bestimmten Satellitenmission hin optimiert war. Der Betrieb erforderte darüber hinaus ein dediziert geschultes Team, um kritische hard- und softwarebedingte Zwischenfälle zu lösen.
Das neuartige "Archiv"-as-a-service sollte die bisherigen Funktionalitäten skalierbar und portierbar in der Cloud bereitstellen. Die Anforderungen an den Archivdienst sind hohe Verfügbarkeit der Infrastruktur, hohe Performance bezüglich Bandbreite und Speicherzugriffen sowie die Möglichkeit zur Skalierung der Infrastrukturkonfiguration. Die hohe Datenmenge muss zudem abrufbereit gespeichert sein.
Der Archivdienst wird von Werum mit hochgradig spezialisierter Software betrieben und stellt spezifische Anforderungen an den Cloudanbieter. Dieser muss einen verlässlichen 24/7-Support und ein flexibles Angebot an technischer Infrastruktur bieten, um die Softwarelösung flexibel konfigurieren und optimieren zu können, da sie nicht auf typischen Cloud-Plattformen beruht.
Um den innovativen Archivdienst wettbewerbsfähig anzubieten, kooperiert Werum in diesem Projekt mit OVHcloud.
Die Lösung
Innerhalb kürzester Zeit mehrere Petabyte an Daten verarbeiten und speichern
Werum bringt für diese neuen Anforderungen durch seine langjährige Erfahrung in der Erstellung und Verwaltung der erforderlichen Software bereits die nötige Expertise mit.
Die Cloud-Infrastruktur wird von OVHcloud bereitgestellt. Als Infrastruktur wurde von Werum ein hochperformanter Bare Metal-Server für die zentrale Service-Orchestrierung ausgewählt. Die Datenverarbeitung ist skalierbar auf mehrere unterschiedliche Public Cloud-Instanzen verteilt und die Datenspeicherung greift skalierbar auf das Public Cloud Archive und den Public Cloud Object Storage zu. Die Datenverarbeitung umfasst dabei mehrere Schritte, wie Integritätsprüfung, Metadaten-Extraktion, Tracing an spezielle externe Services sowie das Speichern selbst. Dabei wird auch sichergestellt, dass die Daten wieder gelesen werden können. Der OVHcloud Enterprise Support ist vom Werum Service Team abonniert, um bei Problemfällen mit der Infrastruktur gemeinsam zu schnellen Analysen und Lösungen zu finden. Die verschiedenen Cloud-Dienste im Copernicus-Langzeitarchiv helfen dabei, die Herausforderungen auf verschiedenen Ebenen zu bewältigen. Zunächst ist allein die Menge der zu speichernden Daten sehr groß. Innerhalb kürzester Zeit mehrere Petabyte an Speichermöglichkeit zu generieren, war für die Auswahl des Anbieters bereits entscheidend. Durch die unterschiedlichen Public Cloud Instanz-Optionen für die Datenverarbeitung war und ist es im Projekt möglich, eine kurzfristige Skalierbarkeit sowohl in Bezug auf Geschwindigkeit der Datenverarbeitung, als auch für die erforderlichen Netzwerkkapazitäten herzustellen und zu garantieren.
Das Ergebnis
Seit Oktober 2020 betreibt Werum bei OVHcloud das Copernicus Langzeitarchiv im Auftrag der ESA. Diese spezialisierte Softwarelösung bietet Werum einen 24/7-Service, um die historischen Erdbeobachtungsdaten verschiedener Sentinel-Satellitenmissionen mit sehr hoher Verfügbarkeit für die Nutzer bereitzustellen. Die Entscheidung für OVHcloud hat sich in der Betriebsphase des Service bewährt, gerade weil die technischen Anforderungen der erforderlichen Softwarekomponenten mit den verschiedenen Serverinstanzen flexibel abzubilden sind. Die gute Kommunikation mit dem Technical Account Manager sorgte für zielführenden Support. Sie ermöglichte es dem Serviceteam, die technischen Anforderungen frühzeitig an OVHcloud weiterzugeben – z.B. in den Situationen, in denen sich der Forecast zu den erwarteten Speichermengen stark veränderte.
Der erfolgreiche Archivbetrieb in der Cloud wurde nach der ersten Projektphase verlängert und stellt der Nutzercommunity der ESA auch über 2022 hinaus die großen Datenmengen aus den Satellitenmissionen bereit.
