AI-modellen finetunen op cloud-GPU

Als je team een LLM-finetuningproject plant, een RAG-pijplijn bouwt of experimenteert met een multimodaal model dat tekst en visuele inhoud combineert, is het struikelblok bijna altijd hetzelfde: iemand heeft je gevraagd om een serveraankoop van 100.000 tot 500.000 euro te rechtvaardigen voordat een enkele ontwikkelaar een regel trainingscode heeft geschreven of een applicatie heeft opgeleverd. Dat gesprek kan maanden duren, en terwijl je wacht tot de financiële afdeling het budget goedkeurt, hebben je concurrenten al opgeleverd.

Het alternatief is GPU as a Service. Je provisioneert een H100 of A100 wanneer je deze nodig hebt, voert je trainingsjob uit en betaalt alleen voor de uren die je daadwerkelijk gebruikt. Geen inkoopwachtrij, geen ongebruikte hardware, geen discussie over investeringsuitgaven. OVHcloud AI Solutions biedt de volledige stack: beheerde notebooks, serverloze trainingsjobs, inferentie-eindpunten en een catalogus met vooraf getrainde foundation-modellen met open gewichten — alles op soevereine EU-infrastructuur.

Deze gids legt uit waarom cloud-GPU-training economisch zinvol is voor de meeste generatieve AI-teams, hoe het OVHcloud-platform er in de praktijk uitziet en precies hoe je van een dataset naar een geïmplementeerd model-eindpunt gaat zonder een fysieke server aan te raken. Het weerspiegelt een van de duidelijkste trends in de infrastructuur voor generatieve AI van vandaag: betaal voor GPU-uren, niet voor GPU-hardware.

Stap 1 — Start een AI Notebook met GPU en je ML-framework

Log in op het OVHcloud Configuratiescherm, navigeer naar AI Notebooks en maak een nieuw notebook aan. Selecteer je GPU-flavor (H100 of V100S voor veeleisend werk, L4 voor lichtere experimenten), kies Jupyter of VS Code, en kies een vooraf gebouwde image die bij je stack past. Het notebook is binnen enkele minuten live met CUDA, het door jou gekozen framework en een terminal die klaar is voor gebruik.
Verbind je Object Storage-bucket als een datavolume bij het opstarten. Dit betekent dat je dataset beschikbaar is als een lokaal pad binnen het notebook zonder handmatig kopiëren, en je model-checkpoints kunnen tijdens de training direct naar de bucket worden geschreven — een eenvoudig, effectief patroon voor elk team, niet alleen voor gespecialiseerde ML-platformengineers.

Stap 2 — Zet je dataset klaar op Object Storage

Object Storage (S3-compatibel)* is de canonieke datalaag voor AI-trainingstaken. Het is S3-compatibel, dus je bestaande tooling (boto3, de AWS CLI, rclone) werkt zonder aanpassingen. Upload hier je trainingscorpus, getokeniseerde datasets en eventuele voorverwerkte artefacten voordat je een trainingstaak indient. Als je pipeline stappen voor data-augmentatie bevat, voer deze dan upstream uit en sla de resulterende dataset op naast het origineel voor reproduceerbaarheid en versiebeheer.

Een praktisch voordeel: er zijn geen egress-kosten tussen OVHcloud-services. Het verplaatsen van data van Object Storage naar een GPU-instantie voor training, het terugschrijven van checkpoints naar opslag tijdens de taak, of het ophalen van modelartefacten naar AI Deploy na de training — geen van deze overdrachten brengt verborgen kosten met zich mee. Itereren op je dataset, en op datakwaliteit in het algemeen, is goedkoop.

Stap 3 — Dien een trainingsjob in en kies de juiste GPU-variant

Verpak je trainingsscript als een Docker-image (of gebruik een vooraf gebouwde OVHcloud-image) en dien een taak in met de ovhai CLI:

ovhai job run --gpu 1 --flavor h100-1-gpu --volume my-bucket@GRA/dataset:/workspace/data:ro --volume my-bucket@GRA/output:/workspace/output:rw my-registry/my-training-image:latest

Kies je GPU-flavor op basis van VRAM-vereisten: een fine-tune van een 7B-model past doorgaans op een enkele H100 met 80 GB VRAM; grotere modellen of grotere batchgroottes vereisen mogelijk een H200, of een multi-GPU-aanvraag om de training te versnellen. De taak draait serverless, gemonitord via live logs in het Configuratiescherm of via de API. Wanneer deze eindigt, staan je modelartefacten in Object Storage.

Stap 4 — Serveer je model met AI Deploy of AI Endpoints

Maak voor een aangepast fine-tuned model een AI Deploy-app die verwijst naar je modelartefact in Object Storage. Configureer autoscaling op basis van het verzoekvolume en geheugendrempels, en schakel response caching in waar je verkeerspatroon dit toelaat om de inferentiekosten verder te verlagen — een eenvoudige techniek die goed samengaat met request batching voor doorvoergevoelige applicaties. Elke caching-laag die je toevoegt, vermindert tegelijkertijd de gemiddelde latentie en verbetert de kosten-prestatieverhouding. Je endpoint is binnen enkele minuten live en schaalt mee met het verkeer.

Sla voor standaardmodellen met open gewichten de implementatiestap volledig over en vraag AI Endpoints direct aan. De API is compatibel met het OpenAI-clientformaat, dus voor bestaande integraties is vaak alleen een wijziging van de basis-URL nodig.

De 7B fine-tune die in een paar uur op een enkele H100 draait

De overgrote meerderheid van generatieve AI-projecten traint niet vanaf nul. Zij verfijnen een bestaand, vooraf getraind foundation-LLM met open gewichten — Mistral 7B, Llama 3 8B, Falcon of een vergelijkbare taalmodelarchitectuur — op een domeinspecifieke dataset. Fine-tuning is op zichzelf een vorm van transfer learning: je begint met een model dat al vloeiend taalgebruik in brede zin genereert en specialiseert dit voor jouw taak met veel minder GPU-uren dan wanneer je een model vanaf nul traint. Met technieken zoals LoRA of QLoRA en kwantisatie om het geheugengebruik tijdens de training te verminderen, kan een 7B-model op een enkele H100 worden voltooid in 4 tot 12 uur, afhankelijk van de grootte van de dataset en het aantal epochs. De meeste ontwikkelaarsteams vinden deze techniek op het OVHcloud-platform veel toegankelijker dan het beheren van hun eigen trainingsarchitectuur.

Dit is het scenario waarin pay-as-you-go compute economisch het meest aantrekkelijk is. Je voert je fine-tuning-job uit, evalueert het resultaat, past de dataset of hyperparameters aan om overfitting op een klein domeinspecifiek corpus te voorkomen en voert het opnieuw uit. Elke iteratie kost een voorspelbaar aantal GPU-uren. Je kunt een dozijn experimenten uitvoeren voor minder dan de maandelijkse elektriciteitsrekening van een fysieke server, regelmatig de modelprestaties benchmarken en de modelcapaciteiten en de kwaliteit van de gegenereerde inhoud bij elke ronde verbeteren — en vervolgens het resultaat uitrollen zodra het aan je eisen voldoet.

Voor middelgrote modellen in het bereik van 13B tot 70B parameters zijn multi-GPU-jobs mogelijk op OVHcloud (tot 4 GPU's per job onder de huidige limieten). Plan voor 70B fine-tuning H100- of H200-instanties en leun op kwantisatie om VRAM-beperkingen te beheren en het geheugengebruik per laag te controleren.

Wanneer moet u met een Solutions Architect praten over grootschalige pre-training

Als uw project het vanaf nul pre-trainen van een model met tientallen of honderden miljarden parameters inhoudt, is dat een fundamenteel andere architecturale uitdaging en een ander type klantbetrokkenheid. Gedistribueerde training over vele GPU's, aangepaste netwerkstructuur, checkpointbeheer op petabyteschaal en orkestratie van langlopende taken zijn geen self-servicebeslissingen; ze vereisen gespecialiseerde tools en een referentiearchitectuur die is gebouwd voor uw specifieke situatie.

Voor grootschalige pre-training is de juiste eerste stap een gesprek met een OVHcloud AI Solutions Architect. Zij kunnen uw rekenbehoeften beoordelen, GPU-clusteropties en de juiste tool voor elke fase bespreken, en u helpen bij het ontwerpen van een trainingsarchitectuur die past bij uw schaal en uw beoogde prestatieverbetering. De link om dat gesprek aan te vragen staat in de sectie 'Aan de slag' hieronder.

Kostenvergelijking: on-premise H100-server vs OVHcloud pay-as-you-go

Aanschafkosten, elektriciteit, operationele kosten en afschrijving
De volledige kosten van een on-premise GPU-server omvatten meer dan alleen de catalogusprijs. Een typisch 8×H100 SXM-systeem kost bij aanschaf tussen de 150.000 en 250.000 euro. Voeg daar nog aan toe: upgrades van de stroominfrastructuur, koeling, rackruimte, een onderhoudscontract van drie jaar en het salaris van de engineer die verantwoordelijk is voor het draaiende houden ervan. Afgeschreven over 36 maanden komen de totale eigendomskosten aanzienlijk hoger uit dan alleen de catalogusprijs van de hardware.

Bij OVHcloud zijn er geen aanschafkosten. U betaalt alleen voor de GPU-uren die u verbruikt, per minuut gefactureerd, zonder verplichtingen en zonder kosten voor inactiviteit. Als uw project wordt geannuleerd, betaalt u niets meer dan wat u al heeft verbruikt.

Geen CLOUD Act-blootstelling voor trainingsdata

De Amerikaanse CLOUD Act staat Amerikaanse autoriteiten toe om bedrijven met het hoofdkantoor in de VS te dwingen gegevens te verstrekken die overal ter wereld zijn opgeslagen, inclusief gegevens die door Amerikaanse cloudproviders in Europese datacenters worden gehost. Als uw trainingscorpus persoonsgegevens, medische dossiers, juridische documenten, financiële transacties of enige andere gereguleerde categorie bevat, creëert training op infrastructuur die onderworpen is aan de Amerikaanse wetgeving een nalevingsrisico dat moeilijk volledig te beperken is door alleen contractuele maatregelen.

OVHcloud is een Europees bedrijf zonder Amerikaanse moedermaatschappij. Er is geen structurele CLOUD Act-afhankelijkheid. Uw trainingsdata blijft binnen de EU-jurisdictie onder EU-wetgeving. Voor teams in gereguleerde sectoren — gezondheidszorg, financiële dienstverlening, legal tech, publieke sector — is dit geen theoretisch voordeel; het is een vereiste en in toenemende mate het belangrijkste criterium waar inkoopteams vooraf naar vragen.

EU AI Act-laag, AVG, HDS en ISO 27701

OVHcloud-infrastructuur is ISO 27001, ISO 27017, ISO 27018 en ISO 27701 gecertificeerd. De HDS-certificering is relevant voor teams die modellen trainen op gezondheidsgegevens in Frankrijk. Voor de AVG worden trainingsgegevens die op OVHcloud worden verwerkt, opgeslagen en verwerkt binnen de EU onder EU-wetgeving, wat Data Protection Impact Assessments aanzienlijk vereenvoudigt en helpt bij het waarborgen van voortdurende naleving.

Een verduidelijking die ertoe doet: OVHcloud levert de soevereine infrastructuurlaag. Naleving van de EU AI Act op modelniveau — modelkaarten, bias-detectie, auditlogs, transparantieverplichtingen — blijft uw verantwoordelijkheid als ontwikkelaar van het AI-systeem. Soevereine infrastructuur ondersteunt uw nalevingsverplichtingen; het vervult ze niet automatisch.

Aan de analistenkant erkende GigaOM Radar OVHcloud voor interconnectiviteit en soevereine beschikbaarheid, en IDC benoemde OVHcloud tot Major Player in European Public Cloud IaaS.