StreamingFast

Obsługa danych Web3 w czasie rzeczywistym na skalę globalną

StreamingFast z siedzibą w Montrealu tworzy wydajną infrastrukturę dla danych blockchain. Jako główny współtwórca The Graph – protokołu indeksowania ułatwiającego programistom zapytania o dane blockchain – firma odgrywa kluczową rolę w stosie danych Web3. Jej technologie, Firehose i Substreams, pomagają zespołom pozyskiwać, przetwarzać i przesyłać strumieniowo dane blockchain na dużą skalę.

Obecnie StreamingFast obsługuje ponad 30 blockchainów i wspiera giełdy DEX, protokoły DeFi, platformy analityczne oraz firmy tradingowe w Ameryce Północnej, Europie i Azji. Zapewnia programistom szybki i niezawodny dostęp do danych blockchain, aby mogli skupić się na tworzeniu rozwiązań.

Wraz ze wzrostem zapotrzebowania na indeksowanie w czasie rzeczywistym firma StreamingFast potrzebowała infrastruktury, mogłaby sprostać temu zapotrzebowaniu. Musiała radzić sobie z dużą liczbą operacji wejścia/wyjścia na sekundę (IOPS), intensywnym ruchem peer-to-peer i ciągłą propagacją danych, a jednocześnie utrzymywać wydajność i koszty pod kontrolą.

Obsługa większej ilości danych z większą szybkością bez utraty niezawodności

StreamingFast umożliwia klientom szybki i skalowalny dostęp do danych blockchain. To brzmi prosto. W praktyce jest inaczej.

Platforma firmy działa na pełnych węzłach z niestandardową instrumentacją i wyspecjalizowanymi narzędziami do śledzenia. Wyodrębniają one dane blockchain do bloków Protobuf, które następnie trafiają do Firehose, silnika indeksującego StreamingFast. Klienci mogą odczytywać dane bezpośrednio z Firehose lub korzystać z Substreams, aby przekształcać i kierować dane blockchain do ponad 20 miejsc docelowych.

Taka architektura zapewnia klientom wyraźną przewagę. Opiera się przede wszystkim na przesyłaniu strumieniowym, a nie na cyklicznym odpytywaniu. Obsługuje reorganizacje łańcucha od razu po wdrożeniu. Zawiera także wbudowany system kursorów, dzięki któremu strumienie danych mogą szybko zostać wznowione po rozłączeniu. Innymi słowy, użytkownicy nie tracą danych.

Ta obietnica ma znaczenie. StreamingFast obsługuje zdecentralizowane giełdy (DEX), protokoły DeFi, platformy analityczne, twórców inteligentnych kontraktów, aplikacje zdecentralizowane i firmy tradingowe. Klienci potrzebują kompletnych i dokładnych danych blockchain, dostarczanych z niską latencją w wielu protokołach.

W miarę wzrostu zapotrzebowania rosła także presja na infrastrukturę. Firma StreamingFast potrzebowała szybkich i niezawodnych węzłów odczytujących z dużą lokalną przestrzenią dyskową NVMe, wysoką dostępnością i dobrą redundancją. Potrzebowała także transferu bez limitu objętości danych, aby obsłużyć duży ruch wychodzący generowany przez komunikację peer-to-peer w sieciach blockchain.

Jednocześnie firma chciała zmniejszyć latencję względem najnowszych bloków blockchain, przyspieszyć uzupełnianie danych historycznych i obniżyć koszty infrastruktury.

Nasze ryzyka operacyjne obejmowały przestoje, opóźnienia w propagacji bloków i danych oraz problemy z łącznością.

Matthieu Vachon, CTO w StreamingFast

Serwery Bare Metal do obsługi wydajnych obciążeń roboczych blockchain

Firma StreamingFast zaczęła korzystać z OVHcloud Bare Metal około rok temu.

Dopasowanie było widoczne od samego początku. Firma potrzebowała dedykowanych maszyn o wysokiej wydajności operacji wejścia/wyjścia dysków, niskiej latencji i modelu cenowym dostosowanym do obciążeń roboczych blockchain na dużą skalę. Firma OVHcloud spełniła wszystkie trzy wymagania.

Dla StreamingFast wydajność dysków ma kluczowe znaczenie. Węzły odczytujące blockchain potrzebują szybkiej lokalnej przestrzeni dyskowej, aby zachować synchronizację, szybko przetwarzać dane i obsługiwać ponowne przetwarzanie na dużą skalę. Ruch sieciowy jest równie ważny, zwłaszcza gdy węzły generują duże ilości komunikacji peer-to-peer.

Rozwiązanie OVHcloud Bare Metal zapewniło StreamingFast potrzebny profil sprzętowy oraz transfer przychodzący i wychodzący bez limitu objętości danych. Pomogło również firmie obniżyć koszty bez kompromisów w zakresie wydajności.

Mieliśmy duże zaufanie do firmy OVHcloud jako dostawcy doskonałych usług Bare Metal za ułamek kosztów, które płaciliśmy GCP za ten sam poziom usług.

Matthieu Vachon, CTO w StreamingFast

Samo wdrożenie przebiegło bezproblemowo. Firma StreamingFast przeniosła część swojej architektury do OVHcloud bez zakłóceń dla klientów i przy bardzo niewielkim obciążeniu wewnętrznego zespołu DevOps. Migracja była prosta, maszyny okazały się łatwe w obsłudze, a przejście nie miało żadnego wpływu na użytkowników końcowych.

Niższa latencja, niższe koszty i niezawodna dostępność

Uruchamiając węzły odczytujące na serwerach OVHcloud Bare Metal, firma StreamingFast zmniejszyła odczuwalną latencję od 2 do 3 razy w niektórych sieciach. Zauważyła również znacznie krótszy czas uruchamiania i nadrabiania zaległości w wymagających blockchainach, takich jak Solana.

Jednocześnie firma ograniczyła wydatki na infrastrukturę o ponad 20 000 USD miesięcznie.

Dla firmy, której działalność opiera się na szybkości, kompletności danych i dostępności, takie korzyści mają znaczenie na każdym poziomie. Niższa latencja poprawia doświadczenia użytkowników końcowych. Szybsze uzupełnianie danych historycznych zwiększa wydajność produktu. Niższe koszty oznaczają większe możliwości skalowania.

Serwery OVHcloud Bare Metal znacząco obniżyły latencję względem najnowszych bloków blockchain odczuwaną przez naszych użytkowników końcowych.

Matthieu Vachon, CTO w StreamingFast

Niezawodność stała się wyraźną przewagą firmy StreamingFast. Od czasu przeniesienia obciążeń roboczych do OVHcloud firma korzysta z wielomiesięcznej dostępności przy bardzo niewielu ponownych uruchomieniach, upraszczając jednocześnie codzienną obsługę dla wewnętrznego zespołu DevOps. Ta stabilność ma znaczenie, ponieważ StreamingFast rozwija się w ekosystemie Web3 i dodaje obsługę kolejnych blockchainów. Dzięki OVHcloud firma zyskuje solidne podstawy do dalszego rozwoju, łączące wydajną infrastrukturę, niezawodność operacyjną i przewidywalne koszty.