Ilustracja nazw domen

Instancje GPU NVIDIA RTX PRO 6000 Blackwell


NVIDIA RTX Pro 6000 Blackwell

Inferencja, RAG, agenci AI i dostrajanie modeli – dzięki karcie RTX PRO 6000 Blackwell modele wraz z kontekstem mieszczą się na jednej karcie. Zacznij od 1 lub 2 GPU, a w miarę rozwoju projektów zwiększ ich liczbę do 4 lub 8. Wszystko w niezawodnej i transparentnej europejskiej chmurze.

Pamięć niezbędna do przejścia na wyższy poziom

Odpowiednia ilość pamięci na potrzeby Twoich modeli, architektura najnowszej generacji i oferta, która rośnie wraz z Twoimi potrzebami – wszystko, czego potrzebujesz, by wdrożyć projekty AI w środowisku produkcyjnym.
  • 96 GB pamięci vRAM

    Twoje modele wraz z kontekstem mieszczą się na jednej karcie, a pozostała pamięć zapewnia dodatkowy zapas na potrzeby użytkowników.
  • Generacja Blackwell

    Architektura NVIDIA Blackwell obsługuje format FP4, dzięki czemu w tej samej ilości pamięci można zmieścić większe modele.
  • Od 1 do 8 GPU

    Zacznij od 1 GPU, a gdy Twoje projekty nabiorą tempa, zwiększ ich liczbę do 2 lub 4, pozostając w tej samej gamie.
  • Pełna kontrola

    Instancja jest hostowana w europejskiej infrastrukturze OVHcloud Public Cloud, a przejrzysty cennik nie zawiera ukrytych opłat.

Więcej miejsca na modele i obsługę użytkowników

  • flexible OVHcloud

    Dłuższy kontekst

    Pamięć pozostająca po załadowaniu modelu do dyspozycji pozwala przetwarzać dłuższe dokumenty i obsługiwać więcej konwersacji jednocześnie.
  • AI Notebooks

    Wygodniejsze dostrajanie modeli

    Dostrajaj modele na większych partiach danych, bez konieczności ciągłego zarządzania dostępną pamięcią.
  • Modele AI

    Kilka modeli jednocześnie

    Na instancji z 2 lub 4 GPU uruchamiaj po jednym modelu na każdym GPU: asystenta, model do tworzenia embeddingów, model wizyjny…
  • App Script

    Twoje sprawdzone narzędzia

    Aktualne wersje PyTorch i vLLM oraz obrazy NVIDIA NGC obsługują architekturę Blackwell, więc możesz zacząć pracę bez konieczności poznawania nowych narzędzi.

SPECYFIKACJA

Specyfikacja techniczna

  • GPU

    GPU

    Od 1 do 8 GPU NVIDIA RTX PRO 6000 Blackwell
  • GPU

    Pamięć GPU

    96 GB ultraszybkiej pamięci GDDR7 na GPU
  • Architektura

    NVIDIA Blackwell, rdzenie Tensor piątej generacji z obsługą formatu FP4
  • Automatyzacja

    Zarządzanie za pośrednictwem Panelu klienta, API, OVHcloud CLI…
  • Shield Cloud

    Bezpieczeństwo i zgodność z przepisami

    Certyfikaty ISO 27001, SOC, hosting danych medycznych…

Od prototypu po środowisko produkcyjne – RTX PRO 6000 Blackwell sprawdzi się w projektach AI wymagających dużej ilości pamięci, ale niewykorzystujących największych modeli dostępnych na rynku.

  • adjustable OVHcloud

    Uruchamiaj i udostępniaj modele LLM

    Wdrażaj modele open source w środowisku produkcyjnym, z zapasem zasobów pozwalającym obsłużyć okresy wzmożonego ruchu.
  • innovative OVHcloud

    Połącz modele z dokumentami

    Połącz modele z wewnętrznymi bazami dokumentów za pomocą RAG, aby zapewnić im dostęp do obszernego kontekstu i generować odpowiedzi oparte na źródłach.
  • global OVHcloud

    Wdrażaj agentów AI

    Uruchamiaj agentów, którzy korzystają z kolejnych narzędzi i przeprowadzają wieloetapowe rozumowanie, dysponując pamięcią niezbędną do obsługi długich sesji.
  • adjustable OVHcloud

    Dostosuj modele do specjalistycznych zastosowań

    Dostosuj model do swoich potrzeb, wykorzystując własne dane branżowe i od 1 do 8 GPU. Wybierz rozliczenie godzinowe lub zobowiązanie na określony okres.

Jesteś gotowy?

Utwórz konto i aktywuj usługi w ciągu minuty

Odbierz 1 000 PLN w prezencie na pierwszy projekt Public Cloud

Dokumentacja

  • Jak wybrać GPU do inferencji dużych modeli językowych

    Oszacuj ilość pamięci potrzebnej do załadowania modelu, długość kontekstu, wymaganą precyzję obliczeń oraz przewidywaną liczbę zapytań. Takie określenie wymagań ułatwi Ci porównanie dostępnych zasobów i pozwoli uniknąć podejmowania decyzji wyłącznie na podstawie teoretycznej mocy obliczeniowej. Uwzględnij również potrzeby związane z danymi, ich wstępnym przetwarzaniem oraz możliwością skalowania usługi.
    Dowiedz się więcej
  • Utwórz i uruchom pierwszą instancję Public Cloud

    Przygotuj projekt Public Cloud, wybierz region i instancję odpowiednią do przewidywanego obciążenia. W przewodniku opisano najważniejsze etapy tworzenia i uruchamiania instancji oraz sprawdzania dostępu do maszyny wirtualnej. Następnie możesz zainstalować środowisko programowe, uporządkować dane i przetestować proces obliczeniowy z wykorzystaniem dostępnego już zasobu Cloud GPU.
    Dowiedz się więcej
  • Wdróż aplikację wykorzystującą GPU w Managed Kubernetes Service

    Skonfiguruj aplikację z akceleracją GPU w klastrze Managed Kubernetes Service. W przewodniku przedstawiono sposób konfiguracji aplikacji za pośrednictwem interfejsu zarządzania oraz jej wdrażania przy użyciu narzędzia Helm. Takie podejście pozwala przygotować orkiestrację kontenerów, przydzielanie zasobów GPU i zarządzanie cyklem życia aplikacji przed jej wdrożeniem w środowisku produkcyjnym.
    Dowiedz się więcej

Najczęściej zadawane pytania dotyczące instancji GPU

Czy GPU w instancjach z 2 i 4 GPU są połączone za pomocą NVLink?

Nie. RTX PRO 6000 Blackwell nie obsługuje NVLink – komunikacja między jej GPU odbywa się za pośrednictwem magistrali PCIe. Taka konfiguracja sprawdzi się przy równoległym uruchamianiu kilku modeli – po jednym na każdym GPU – lub modeli rozłożonych na kilka GPU. Jeśli chcesz uruchomić bardzo duży model rozłożony na wiele GPU, wybierz instancję B300 z 8 GPU.

Które konfiguracje NVIDIA RTX PRO Blackwell będzie można zarezerwować?

Rezerwacje będą dostępne wyłącznie dla konfiguracji NVIDIA RTX PRO 6000 Blackwell wyposażonych w 8 GPU. Planowane są dwa okresy zobowiązania: rok lub 3 lata. Zawarcie zobowiązania będzie możliwe dopiero po wprowadzeniu nowych instancji do oferty.

Do jakich projektów wybrać RTX PRO 6000 Blackwell?

Do inferencji, RAG, obsługi agentów AI oraz dostrajania modeli o liczbie parametrów do około 40 miliardów. 96 GB pamięci na GPU wystarcza, by zmieścić model wraz z kontekstem na jednej karcie, bez konieczności wyboru GPU z wyższej półki.

Czym RTX PRO 6000 Blackwell różni się od L40S?

RTX PRO 6000 Blackwell oferuje 96 GB pamięci GDDR7 na GPU, czyli dwa razy więcej niż L40S, który dysponuje 48 GB. Karta wykorzystuje architekturę NVIDIA Blackwell obsługującą format FP4. L40S nadal jest doskonałym wyborem do obsługi mniejszych modeli i multimodalnej generatywnej AI (GenAI).

Kiedy lepiej wybrać H100, H200 lub B300?

Do trenowania modeli na dużą skalę lub obsługi większych modeli nasze instancje H100, H200 i B300 oferują pamięć HBM o bardzo wysokiej przepustowości. Ponadto instancja B300 z 8 GPU łączy procesory GPU za pomocą NVLink, co pozwala obsługiwać największe modele.

Jaki poziom dostępności gwarantuje instancja GPU?

Gwarantowana miesięczna dostępność (SLA) dla instancji GPU wynosi 99,99%. Wartość ta stanowi punkt odniesienia przy projektowaniu ciągłości działania usługi i planowaniu pozostałych elementów architektury.