Domainnamen Illustration

NVIDIA RTX PRO 6000 Blackwell GPU-Instanzen


NVIDIA RTX Pro 6000 Blackwell

Inferenz, RAG, Agenten oder Fine-Tuning: Mit der RTX PRO 6000 Blackwell passen Ihre Modelle und deren Kontext auf eine einzige Karte. Starten Sie mit 1 oder 2 GPUs und skalieren Sie auf 4 oder 8, wenn Ihre Projekte wachsen – in einer europäischen, zuverlässigen und transparenten Cloud.

Der Speicher, den Sie brauchen, um einen Gang höher zu schalten

Genug Speicher für Ihre Modelle, eine Architektur der neuesten Generation und eine Reihe, die mit Ihnen wächst: alles, was Sie brauchen, um mit Ihren KI-Projekten in die Produktion zu gehen.
  • 96 GB vRAM

    Ihre Modelle und deren Kontext passen auf eine einzige Karte, mit Spielraum für Ihre User.
  • Blackwell-Generation

    Die NVIDIA Blackwell-Architektur unterstützt das FP4-Format, damit mehr Modelle in denselben Speicher passen.
  • 1 bis 8 GPUs

    Starten Sie mit 1 GPU und skalieren Sie auf 2 oder 4 innerhalb derselben Reihe, wenn Ihre Projekte wachsen.
  • Behalten Sie die Kontrolle.

    In unserer europäischen Public Cloud gehostet, mit transparenter Preisgestaltung und ohne versteckte Kosten.

Mehr Platz für Ihre Modelle und Ihre User

  • flexible OVHcloud

    Längere Kontexte

    Der vom Modell freigelassene Speicher bietet Platz für längere Dokumente und mehr gleichzeitige Konversationen.
  • AI Notebooks

    Komfortableres Fine-Tuning

    Optimieren Sie Ihre Modelle mit größeren Batches, ohne mit dem verfügbaren Speicher jonglieren zu müssen.
  • KI-Modelle

    Mehrere Modelle nebeneinander

    Lassen Sie auf einer Instanz mit 2 oder 4 GPUs jeweils ein Modell pro GPU laufen: einen Assistenten, ein Embedding-Modell, ein Vision-Modell usw.
  • App Script

    Ihre gewohnten Tools

    Aktuelle Versionen von PyTorch, vLLM und NVIDIA NGC-Images unterstützen Blackwell: Sie können sofort loslegen, ohne etwas neu lernen zu müssen.

SPEZIFIKATIONEN

Die technischen Eigenschaften

  • GPU

    GPU

    Von 1 bis 8 NVIDIA RTX PRO 6000 Blackwell GPUs
  • GPU

    GPU-Speicher

    96 GB ultraschneller GDDR7 pro GPU
  • Architektur

    NVIDIA Blackwell, Tensor Cores der 5. Generation mit FP4-Unterstützung
  • Automatisierung

    Verwaltung über Ihr Kundencenter, API, OVHcloud CLI …
  • Shield Cloud

    Sicherheit und Konformität

    Verschiedene Zertifizierungen: ISO27001, SOC, HDS …

Vom Prototyp bis zur Produktion unterstützt die RTX PRO 6000 Blackwell KI-Projekte, die Speicher benötigen, ohne auf die größten Modelle am Markt abzuzielen.

  • adjustable OVHcloud

    Stellen Sie Ihre LLMs bereit

    Gehen Sie mit Ihren Open-Source-Modellen in die Produktion, mit Spielraum für User-Spitzen.
  • innovative OVHcloud

    Binden Sie Ihre Dokumente an

    Verbinden Sie Ihre Modelle mit Ihren internen Dokumentendatenbanken mittels RAG: lange Kontexte, belegte Antworten.
  • global OVHcloud

    Agenten bereitstellen

    Lassen Sie Agenten laufen, die Tools und Überlegungen verknüpfen, mit dem nötigen Speicher, um lange Sitzungen zu verfolgen.
  • adjustable OVHcloud

    Spezialisieren Sie Ihre Modelle

    Feinabstimmung eines Modells auf Ihre Geschäftsdaten, auf 1 bis 8 GPUs, stundenweise oder mit Vertragsbindung.

Sie sind bereit?

Account erstellen und im Handumdrehen Dienste starten

Profitieren Sie von 200 € Guthaben für Ihr erstes Public Cloud Projekt

Dokumentation

  • Auswahl einer GPU für die Inferenz großer Sprachmodelle

    Bewerten Sie den für das Laden des Modells erforderlichen Speicher, die Kontextgröße, die numerische Präzision und das erwartete Anfragevolumen. Diese Eingrenzung hilft Ihnen dabei, die verfügbaren Ressourcen zu vergleichen, ohne Ihre Entscheidung allein auf die theoretische Leistung zu beschränken. Berücksichtigen Sie auch die Anforderungen in Bezug auf Daten, vorbereitende Verarbeitungen und die Lasterhöhungs-Kapazität Ihres Dienstes.
    Mehr erfahren
  • Ihre erste Public-Cloud-Instanz erstellen und starten

    Bereiten Sie Ihr Public Cloud-Projekt vor, wählen eine Region aus und entscheiden sich für eine Instanz, die für Ihre Last geeignet ist. Der Leitfaden beschreibt die wichtigsten Schritte zur Erstellung und zum Start, um den Zugriff auf die virtuelle Maschine zu überprüfen. Anschließend können Sie Ihre Softwareumgebung installieren, Ihre Daten gliedern und Ihre Berechnungskette mit einer bereits verfügbaren Cloud GPU-Ressource validieren.
    Mehr erfahren
  • Eine GPU-Anwendung auf Managed Kubernetes Service deployen

    Konfigurieren Sie eine GPU-beschleunigte Anwendung in einem Managed Kubernetes Service-Cluster. Der Leitfaden beschreibt die Einrichtung über Ihr Verwaltungsinterface sowie die Bereitstellung mit Helm. Dieser Ansatz hilft Ihnen bei der Vorbereitung der Container-Orchestrierung, der GPU-Ressourcenzuweisung und des Anwendungslebenszyklus vor dem Übergang in eine Betriebsumgebung.
    Mehr erfahren

Häufig gestellte Fragen zu GPU-Instanzen

Sind die GPUs der 2- und 4-GPU-Instanzen per NVLink verbunden?

Nein. Die RTX PRO 6000 Blackwell verfügt nicht über NVLink: Ihre GPUs kommunizieren über den PCIe-Bus. Diese Konfiguration eignet sich für die Bereitstellung mehrerer Modelle parallel, jeweils eines pro GPU, oder von Modellen, die auf ein paar GPUs verteilt sind. Für ein sehr großes Modell, das auf mehrere GPUs verteilt ist, wählen Sie die 8-GPU-B300-Instanz.

Welche NVIDIA RTX PRO Blackwell-Konfigurationen werden reservierbar sein?

Die Reservierungen betreffen ausschließlich die NVIDIA RTX PRO 6000 Blackwell-Konfigurationen mit 8 GPUs. Es sind zwei Laufzeiten vorgesehen: ein Jahr oder drei Jahre. Die Buchung wird erst mit dem Start dieser neuen Instanzen möglich sein.

Für welche Projekte sollte man die RTX PRO 6000 Blackwell wählen?

Für Inferenz, RAG, Agenten und das Fine-Tuning von Modellen mit bis zu etwa 40 Milliarden Parametern. Die 96 GB pro GPU nehmen das Modell und seinen Kontext auf einer einzigen Karte auf, ohne auf eine GPU der höheren Klasse umsteigen zu müssen.

Was ist der Unterschied zur L40S?

Die RTX PRO 6000 Blackwell bietet 96 GB GDDR7-Speicher pro GPU, doppelt so viel wie die 48 GB der L40S. Sie basiert auf der NVIDIA Blackwell-Architektur, die das FP4-Format unterstützt. Die L40S bleibt eine ausgezeichnete Wahl für kompaktere Modelle und multimodale GenAI.

Wann sollte man sich eher für eine H100, eine H200 oder eine B300 entscheiden?

Für das Training von Modellen im großen Umfang oder das Bereitstellen umfangreicherer Modelle bieten unsere H100-, H200- und B300-Instanzen HBM-Speicher mit sehr hoher Bandbreite. Die 8-GPU-B300-Instanz verbindet ihre GPUs zusätzlich über NVLink für die größten Modelle.

Welches Verfügbarkeitsniveau garantiert eine GPU-Instanz?

Das Service Level Agreement (SLA) garantiert 99,99 % monatliche Verfügbarkeit für GPU-Instanzen. Dieser Wert dient als Richtwert für die Planung der Kontinuität Ihres Dienstes und die Organisation der mit Ihrer Architektur verbundenen Komponenten.