Arquivo a longo prazo do Copernicus na cloud
OVHcloud e Werum
Arquivo a longo prazo
na cloud
Serviço permanente para manter o histórico
dos dados de observação da Terra
Escalabilidade e alta disponibilidade
na public cloud
O contexto
Fornecer grandes quantidades de dados a utilizadores de todo o mundo, de forma segura e fiável
A Werum Software & Systems AG, com sede em Lüneburg, é uma das empresas de software independentes mais antigas da Alemanha. A Werum cria softwares e sistemas sofisticados para clientes do mundo inteiro, incluindo inúmeras empresas bem conhecidas das indústrias automóvel e aeroespacial, bem como institutos científicos e clientes do setor público. As suas atividades concentram-se no apoio a processos específicos do cliente nas áreas de dados de medição e gestão de informação, gestão de dados de testes para engenharia mecânica, observação da Terra, governo eletrónico e gestão de informações empresariais. As suas soluções de software baseiam-se em plataformas desenvolvidas especificamente para este fim.
Em nome da Comissão Europeia e da Agência Espacial Europeia (ESA), a Werum criou um serviço de arquivo a longo prazo do Copernicus na Public Cloud da OVHcloud. Abrange os chamados dados de nível 0 e dados auxiliares dos satélites de observação da Terra Sentinel-1, Sentinel-2 e Sentinel-3. Desde o seu lançamento em outubro de 2020, foram carregados para o arquivo public cloud 220 milhões de conjuntos de dados, totalizando mais de 9 petabytes. São ainda adicionados todos os meses cerca de 110 terabytes. Além disso, a sua capacidade atual permite o download diário de 10 terabytes por utilizadores específicos.
O desafio
Alta disponibilidade, alto desempenho e capacidade de evoluir
No passado, os segmentos terrestres de observação da Terra eram reinicializados a cada missão. Uma parte destes segmentos terrestres são arquivos a longa prazo, para os quais foi necessário manter disponível uma infraestrutura extensa e muito intensiva em termos de manutenção. Os serviços de software necessários eram executados em datacenters dedicados, cujo desempenho tinha de ser otimizado para a gestão de dados de uma missão de satélite específica. Além disso, as operações exigiam uma equipa com formação especial para resolver incidentes críticos relacionados com hardware e software.
O novo «archive-as-a-service» deveria, portanto, ser capaz de fornecer as funcionalidades existentes na cloud, de forma escalável e portátil. Os requisitos para o serviço de arquivo eram a elevada disponibilidade da infraestrutura, o alto desempenho em termos de largura de banda e pedidos de armazenamento, bem como a capacidade de redimensionar a configuração da infraestrutura. Além disso, a grande quantidade de dados tinha que ser armazenada de forma a poder ser recuperada rapidamente.
O serviço de arquivo é executado pela Werum com software altamente especializado e impõe requisitos específicos ao seu fornecedor de cloud. Este fornecedor deve oferecer um suporte fiável permanente, bem como uma gama flexível de infraestruturas técnicas, de modo a garantir que a solução de software possa ser configurada e otimizada livremente, uma vez que não se baseia em plataformas cloud típicas.
Para tornar o arquivo inovador num serviço competitivo, a Werum colabora com a OVHcloud neste projeto.
A solução
Processar e armazenar dados em vários petabytes no menor tempo possível
Com muitos anos de experiência na criação e gestão do software necessário, a Werum já tem os conhecimentos precisos para estas novas exigências.
A infraestrutura cloud é fornecida pela OVHcloud. Como parte desta infraestrutura, a Werum selecionou um servidor bare metal de elevado desempenho para a orquestração de serviços centralizada. O processamento de dados é escalável e distribuído por várias instâncias public cloud, enquanto que o arquivo public cloud e o armazenamento de objetos public cloud são utilizados para o armazenamento de dados, igualmente escalável. O processamento de dados envolve várias etapas, tais como verificações de integridade, extração de metadados, rastreio até serviços externos específicos e o próprio armazenamento. Também garante que os dados possam ser lidos novamente. A equipa de serviços da Werum subscreveu o Suporte Enterprise da OVHcloud para analisar e encontrar rapidamente soluções juntos, em caso de problemas com a infraestrutura. Os diferentes serviços cloud do arquivo a longo prazo do Copernicus ajudam a enfrentar os desafios a vários níveis. Em primeiro lugar, o volume de dados a armazenar é, em si, muito elevado. A capacidade de gerar vários petabytes de capacidade de armazenamento num período de tempo muito curto foi, portanto, um fator crucial para a seleção do fornecedor. Graças às diferentes opções de instâncias public cloud para o processamento de dados, foi e é possível, no projeto, criar e garantir uma escalabilidade a curto prazo em termos de velocidade de processamento de dados e de capacidades de rede necessárias.
O resultado
Desde outubro de 2020, a Werum explora o arquivo a longo prazo do Copernicus em nome da ESA. Esta solução de software especializada oferece à Werum um serviço permanente, por forma a fornecer aos utilizadores os dados históricos de observação da Terra de várias missões de satélite Sentinel, garantindo um nível de disponibilidade muito elevado. A decisão a favor da OVHcloud já deu provas na fase operacional do serviço, precisamente porque os requisitos técnicos dos componentes de software necessários podem ser facilmente mapeados com as várias instâncias do servidor. Além disso, a boa comunicação com o Technical Account Manager garantiu um suporte direcionado. Isto permitiu à equipa de serviços transmitir quaisquer requisitos técnicos à OVHcloud numa fase inicial - por exemplo, em situações em que a previsão para os volumes de armazenamento esperados mudou significativamente.
Após a fase bem-sucedida do primeiro projeto, a operação de arquivo na cloud foi alargada e continuará a fornecer à comunidade de utilizadores da ESA grandes volumes de dados das missões por satélite para além de 2022.
