Wat is High Performance Computing (HPC)?
High Performance Computing (HPC) verwijst naar het inzetten van supercomputers en computerclusters om complexe rekenproblemen op hoge snelheid op te lossen. Deze technologie maakt gebruik van de kracht van meerdere parallel werkende processors om enorme datasets te verwerken. Vaak presteren deze processors meer dan een miljoen keer sneller dan conventionele desktop- of serversystemen.
Deze systemen kunnen biljarden berekeningen per seconde uitvoeren. Dit gaat de mogelijkheden van een gewone desktopcomputer of een standaardwerkstation ver te boven. Deze systemen worden vaak gebruikt om grote problemen in de wetenschap, de techniek en het bedrijfsleven aan te pakken. Denk aan numerieke stromingsleer, datawarehousing, verwerken van transacties en het bouwen en testen van virtuele prototypen.
Waarom is HPC belangrijk?
Dit type systeem is om verschillende redenen van cruciaal belang. In de eerste plaats maakt het een fenomenaal snelle verwerking van enorme hoeveelheden informatie en complexe berekeningen mogelijk. Dit is vandaag de dag essentieel, want alles in onze wereld draait om informatie. Deze hoge snelheid is essentieel voor alles wat realtime verwerkt hoort te worden, zoals het volgen van stormen die aan het ontstaan zijn, het testen van nieuwe producten of trendanalyses van aandelen.
Het is ook belangrijk voor de voortgang van wetenschappelijk onderzoek, bij artificiële intelligentie en bij deep learning. Deze systemen zijn van groot belang geweest bij het versnellen van de wetenschappelijke en technische vooruitgang in de VS en hebben bijgedragen aan vernieuwingen in klimaatmodellering, geavanceerde productietechnieken en nationale veiligheid.
Het is belangrijk gebleken voor allerlei sectoren, waaronder gezondheidszorg, luchtvaart en productie, om complexe workloads te managen en gegevens vrijwel realtime te verwerken. Over het algemeen kunnen HPC-ondersteunde simulaties de noodzaak voor fysieke tests reduceren of zelfs elimineren, waardoor tijd en middelen worden bespaard.
Hoe werkt HPC?
HPC-systemen bestaan gewoonlijk uit honderden of duizenden compute-servers, ook wel nodes genoemd, die in een cluster met elkaar verbonden zijn. Dit wordt parallelle verwerking genoemd, waarbij meerdere taken gelijktijdig op de nodes worden uitgevoerd.
Om maximale prestaties te behalen, moet elk onderdeel van het systeem, inclusief de opslag- en netwerkcomponenten, gelijke tred houden met de andere onderdelen. De opslagcomponent moet bijvoorbeeld in staat zijn om met dezelfde snelheid informatie van en naar de compute-servers te sturen en op te halen als waarmee deze verwerkt wordt. Als één component de rest niet kan bijhouden, dan gaan de prestaties van de infrastructuur achteruit.
HPC in cloudcomputing
HPC in cloudcomputing brengt de rekenkracht en de schaalbaarheid van traditionele HPC samen met de flexibiliteit en on-demand aard van cloudservices.
In een cloudomgeving hebben gebruikers toegang tot grote hoeveelheden computerresources, zoals rekenkracht, geheugen en opslag, om deze voor complexe en resource-intensieve taken te gebruiken. Deze taken omvatten simulaties, wetenschappelijk onderzoek, data-analyse en andere rekenintensieve workloads die aanzienlijke computerresources vereisen.
HPC-workloads vereisen netwerken met lage latentie en veel bandbreedte voor een efficiënte communicatie tussen nodes. Cloudproviders bieden opties voor snelle verbindingen om deze communicatie te vergemakkelijken. Efficiënt gegevensverkeer is ook essentieel en cloudplatforms bieden tools en oplossingen om grote datasets veilig van en naar de cloud over te zetten.
De voordelen van het implementeren van op de cloud gebaseerde, high-performance systemen zijn onder andere schaalbaarheid, waardoor gebruikers hun resources voor berekeningen naargelang hun behoeften kunnen schalen, en kostenefficiëntie, omdat cloudmodellen gebruikers in staat stellen te betalen voor de resources die ze implementeren, waardoor ze niet hoeven te investeren in dure on-site infrastructuur en deze niet hoeven te onderhouden.
Wat is een HPC-cluster?
Een High Performance Computing-cluster is een groep onderling verbonden servers, ook wel nodes genoemd, die samenwerken om complexe rekentaken supersnel uit te voeren.
Deze clusters zijn ontworpen om bewerkingen op grote schaal uit te voeren en worden via een snelle verbinding met elkaar verbonden. Hierdoor kunnen ze efficiënt communiceren en informatie verwerken. De nodes binnen een cluster kunnen gespecialiseerd zijn om verschillende soorten taken uit te voeren. Ze omvatten meestal componenten zoals CPU-cores, geheugen en schijfruimte, vergelijkbaar met personal computers, maar in grotere aantallen, kwalitatief beter en krachtiger.
Login-nodes
Login-nodes fungeren als toegangsportaal voor gebruikers van het cluster. Ze zijn bedoeld voor taken zoals het voorbereiden van scripts om batchwerk in te dienen, het indienen en bewaken van jobs, het analyseren van resultaten en het overdragen van gegevens. Deze nodes zijn niet bedoeld voor het uitvoeren van rekentaken of het compileren van software, wat moet gebeuren op compute-nodes of indien nodig via een interactieve sessie.
Compute-nodes
Compute-nodes zijn de werkpaarden van een cluster. Ze voeren de meeste numerieke berekeningen uit. Ze hebben soms minimale persistente opslag, maar ze bezitten veel DRAM-geheugen om de rekenbelasting aan te kunnen. Deze nodes voeren de workload uit met behulp van lokale resources zoals CPU’s en, in sommige gevallen, GPU’s.
Grote geheugennodes
Grote geheugennodes zijn gespecialiseerde nodes binnen een cluster die veel meer geheugen hebben dan gewone compute-nodes. Ze zijn bedoeld om jobs met grotere geheugenvereisten aan te kunnen en ze zijn essentieel voor workloads die niet goed in de geheugenruimte van standaardnodes passen. Jobs die meer geheugen vereisen dan wat er beschikbaar is op standaardnodes, worden meestal uitgevoerd op deze grote geheugennodes.
GPU-nodes
GPU-nodes zijn uitgerust met Graphical Processing Units (GPU's) in aanvulling op CPU-cores. Deze nodes zijn geoptimaliseerd voor berekeningen die parallel kunnen worden uitgevoerd op een GPU. Dit kan bepaalde typen berekeningen aanzienlijk versnellen, vooral de berekeningen die bij de architectuur van GPU's passen.
Gereserveerde of gespecialiseerde nodes
Gereserveerde of gespecialiseerde nodes zijn nodes in een cluster die voor specifieke taken geconfigureerd zijn of die gereserveerd zijn voor bepaalde gebruikers of groepen. Deze nodes kunnen acceleratoren of andere gespecialiseerde hardware bevatten om aan specifieke computerbehoeften te voldoen of voor workloads die unieke resources nodig hebben die niet in de standaard compute-nodes aanwezig zijn.
HPC use cases
HPC-computing is maar voor bepaalde vereisten optimaal. Een van de grootste uitdagingen zijn de kosten die met deze systemen gepaard gaan. Hoewel HPC grote hoeveelheden informatie snel kan verwerken, is het mogelijk niet noodzakelijk voor taken die dergelijke snelheden of grote volumes niet vereisen. High performance computing is echter kritiek in veel omgevingen – zonder HPC zijn sommige taken simpelweg niet mogelijk.
Optimale use cases voor HPC
HPC is optimaal voor uiteenlopende behoeften in diverse sectoren en wetenschapsgebieden. Hier zijn enkele specifieke voorbeelden waarvoor het bijzonder geschikt is:
- Gezondheidszorg en levenswetenschappen: HPC wordt ingezet voor het in bijna realtime verwerken van gegevens voor diagnoses, klinische proeven of onmiddellijke medische interventies. Het wordt ook gebruikt voor het bestuderen van biomoleculen en eiwitten in menselijke cellen om nieuwe geneesmiddelen en medische therapieën te ontwikkelen. HPC speelt een belangrijke rol in het modelleren en simuleren van het menselijk brein.
- Lucht- en ruimtevaart: Hier zijn high-performance systemen ideaal voor het optimaliseren van de materialen die bij de fabricage worden gebruikt. Onderzoek op basis van deze berekeningen stelt bedrijven in staat om duurzamere onderdelen te maken, terwijl ze zo weinig mogelijk materialen gebruiken. Ter verbetering van de efficiency wordt het ook gebruikt voor het simuleren van assemblagelijnen en het begrijpen van processen.
- Energie en milieu: HPC wordt gebruikt voor klimaatonderzoek, waaronder modellering en het simuleren van klimaatpatronen. Het wordt ook gebruikt voor het ontwikkelen van duurzame landbouw en voor het analyseren van duurzaamheidsfactoren. HPC speelt een belangrijke rol in het stimuleren van onderzoek op het gebied van kernenergie, kernfusie, hernieuwbare energie en ruimteonderzoek.
- AI en machinelearning: HPC kan ook andere soorten berekeningen ondersteunen. Het kan bijvoorbeeld ingezet worden voor het uitvoeren van grootschalige AI-modellen op gebieden als kosmische theorie, astrofysica, fysica en het beheer van ongestructureerde sets.
Dit zijn slechts enkele voorbeelden. Andere voorbeelden zijn financiële services waarbij high performance computing wordt gebruikt voor het uitvoeren van analyses voor financiële risicobeoordeling en het voorspellen van markttrends. Daarnaast implementeren media- en entertainmentbedrijven HPC voor rendering, audio- en video-processing voor mediaproductie. Zelfs bij de overheid biedt high performance computing krachtige resultaten – zoals het analyseren van data uit een volkstelling, Internet of Things (IoT)-data en het uitvoeren van grootschalige infrastructuurprojecten.
Minder ideale use cases voor HPC
High performance computing is niet de ideale oplossing voor elk probleem. Hier volgen enkele voorbeelden van situaties waarin we alternatieve oplossingen aanbevelen die wellicht beter zijn:
Verwerking van gevoelige gegevens
Hoewel HPC grote hoeveelheden informatie snel kan verwerken, is het mogelijk niet de beste keuze voor het verwerken van gevoelige informatie. HPC-gegevensopslag die in gedeelde modus en batchmodus werkt, brengt uitdagingen met zich mee voor gevoelige informatie, zoals medische, financiële of vanwege privacy beschermde gegevens.
Hoewel er methoden zijn om beschermde informatie op deze systemen veilig te verwerken, vereisen deze vaak extra maatregelen en kunnen ze de lopende bewerkingen beïnvloeden.
Kleine workloads
HPC-systemen zijn ontworpen om grote hoeveelheden informatie en complexe berekeningen te verwerken. Voor kleine workloads is de tijd en moeite, die nodig zijn om clusters te leren gebruiken, mogelijk niet gerechtvaardigd.
De investering in het leren omgaan met Linux, shellscripting en andere vaardigheden voor het gebruik van HPC-clusters kan beter elders worden besteed als het volume aan werk laag is.
Kleine hoeveelheid seriële workloads die weinig geheugen vereisen
HPC is geen wondermiddel dat ervoor zorgt dat elke workload sneller werkt. Workflows die slechts op één core draaien (serieel) en geen grote hoeveelheden geheugen nodig hebben, zullen waarschijnlijk trager werken op high-performance computing dan op de meeste moderne desktops en notebooks.
Als u een laag volume seriële jobs uitvoert, zult u waarschijnlijk merken dat uw eigen computer deze taken sneller zou hebben voltooid.
Training en educatieve doeleinden
HPC-clusters van universiteiten worden gebruikt om grote rekenworkloads te verwerken en worden meestal niet gebruikt als trainingshulpmiddel of -faciliteit.
Hoewel er na overleg met de medewerkers uitzonderingen kunnen worden gemaakt voor training die specifiek betrekking heeft op high-performance computing, zijn deze systemen meestal niet bedoeld voor algemene training of educatieve doeleinden.
Niet-legitieme of niet-onderzoeksdoeleinden
HPC-clusters worden geleverd om legitieme researchworkloads door te rekenen. Onjuist gebruik van clusterresources, zoals het minen van cryptovaluta, het hosten van webservices, misbruik ervan maken voor opslag van persoonlijke bestanden, bestanden of software gebruiken waar een gebruiker geen recht op heeft of ander niet-legitiem gebruik zal waarschijnlijk leiden tot een onderzoek en actie.
Het delen van accounts is ook niet toegestaan. Alle gebruikers/partijen die worden betrapt op het delen van accounts zullen rekening moeten houden met een onderzoek en actie.
Innovaties in HPC
High performance computing heeft de afgelopen jaren een aantal belangrijke innovaties gekend. Oplossingen in de cloud komen steeds vaker voor en bieden schaalbare en kosteneffectieve resources voor intensieve rekentaken. Deze trend draagt bij aan de democratisering ervan, waardoor deze krachtige tools toegankelijker worden voor een breder scala aan gebruikers.
Exascale computing – met prestaties van één exaflop (een miljard keer een miljard berekeningen per seconde) – is de volgende stap in high performance computing.
Hoewel quantumcomputers zich nog in een vroeg ontwikkelingsstadium bevinden, belooft deze aanpak prestaties van een totaal andere grootteorde dan traditionele computers. Quantumcomputers zouden problemen kunnen oplossen die op dit moment onoplosbaar zijn voor traditionele computers. Dit opent weer nieuwe mogelijkheden voor HPC-toepassingen.
HPC in verschillende sectoren
Hoe ziet high performance computing er in de praktijk uit? In dit gedeelte bekijken we enkele praktische gevolgen voor verschillende bedrijfstakken.
Veeleisende sectoren
High performance computing speelt een belangrijke rol daar waar er behoefte is aan veel rekencapaciteit. Van gezondheid en levenswetenschappen tot fabricage, energie en weersvoorspellingen. Krachtige processors, servers en systemen worden ingezet om grotere datasets te verwerken, complexe berekeningen uit te voeren en gegevensintensieve taken efficiënter uit te voeren.
Fabrieken
Bij fabricage wordt het bij het oplossen van allerlei problemen gebruikt. Het helpt verouderde sectoren bij hun ontwikkeling en recentere productiesectoren, zoals additieve fabricage, kunnen ermee verbeteren. High performance computing heeft aangetoond dat het maakkosten kan besparen en productie kan verbeteren.
Media en entertainment
In de media- en entertainmentsector wordt het gebruikt om efficiënt content te maken en te leveren. Het is essentieel voor het genereren van uitstekende visuele effecten en computergegenereerde beelden (CGI). HPC-oplossingen moeten met bestaande tools en applicaties integreren en efficiency in alle stadia van media-workflows bewerkstelligen.
Energie
Hoewel specifieke zoekresultaten voor de energiesector niet gemakkelijk te vinden zijn, is het bekend dat HPC in deze sector veel wordt gebruikt voor taken als het modelleren en simuleren van energiereserves, het optimaliseren van de distributie van het elektriciteitsnet en het verbeteren van de energie-efficiëntie in productieprocessen.
Gezondheid en levenswetenschappen
HPC transformeert de sector van de gezondheidszorg en de levenswetenschappen, doordat professionals informatie bijna in realtime kunnen verwerken en inzichten kunnen genereren die de genezing van patiënten kunnen verbeteren. Het vormt de basis voor wetenschapsgebieden van zuiver onderzoek tot industriële toepassingen op medisch gebied. Hiermee kunnen onderzoekers snellere en complexere berekeningen, simulaties en analyses uitvoeren.
Weersvoorspelling
HPC is van cruciaal belang bij weersvoorspellingen, waar het wordt gebruikt om grote hoeveelheden meteorologische gegevens te verwerken. Deze informatie wordt gebruikt om complexe simulaties en modellen uit te voeren die weerpatronen en -gebeurtenissen voorspellen. De snelheid en rekenkracht van deze systemen maken het mogelijk om snel en nauwkeurig weersverwachtingen te maken. Dit levert waardevolle informatie op voor planning en besluitvorming in diverse sectoren, waaronder landbouw, energie en rampenbeheersing.
Aan de slag met uw HPC-traject
Om een HPC-traject te starten, beoordeelt u eerst uw huidige infrastructuur en definieert u duidelijk uw doelstellingen, vereisten, beperkingen en verwachte resultaten voor het HPC-project.
Hierbij wordt bekeken wat voor rekenkracht de organisatie precies nodig heeft en wat voor soorten workloads op het systeem zullen worden uitgevoerd. Zodra de doelen en eisen zijn vastgesteld, is de volgende stap om de juiste cloudprovider en tooling te selecteren, zodat dit aansluit op de high-performance computing behoeften van de organisatie. Let op schaalbare resources en speciaal op HPC-workloads toegesneden services.
Het is essentieel om het managementteam bij het besluitvormingsproces te betrekken, zodat het besluit afgestemd is op de strategische richting van de organisatie en de noodzakelijke investeringen zijn veiliggesteld. Daarnaast moeten organisaties best practices overwegen voor het uitvoeren van workloads, zoals het systeem niet overladen met teveel taken, efficiënt schijfruimte gebruiken en programma’s optimaliseren voor topprestaties.
Bekijk alle HPC-oplossingen
OVHcloud biedt High-Performance Computing (HPC)-oplossingen die snelle en efficiënte berekeningen mogelijk maken zonder kosten vooraf. Ons wereldwijde netwerk bestaat uit en 44 redundante PoP‘s in 140 landen. Dit garandeert lage latency en snelle levering van HPC-capaciteit wanneer klanten dit nodig hebben, zoals bij machinelearning en geavanceerde gegevensverwerking.
Het biedt een breed scala aan HPC-oplossingen, inclusief innovatieve hardware die wordt onderhouden door een innovatieteam voor dedicated servers en gespecialiseerde cloud GPU-servers voor intensief gebruik, zoals GPU voor AI.
De oplossingen van OVHcloud zijn ontworpen om aan diverse vereisten te voldoen, zoals video on demand, livestreaming, interactief gamen, nieuwsoortige simulaties uitvoeren, financiële modellen herevalueren of grootschalige datasets analyseren. OVHcloud biedt de flexibiliteit om HPC precies te gebruiken wanneer u het nodig heeft, zonder dat u de eigenaar bent van de infrastructuur.
OVHcloud en High Performance Computing (HPC)
Kies de beste dedicated server voor uw zakelijke applicaties
Bij OVHcloud kunt u op onze expertise in bare-metal technologie vertrouwen. Host uw website, implementeer uw high-resilience infrastructuur of verander uw machine voor uw projecten met maar enkele klikken.
Uw privé datacenter in de cloud
Geef uw digitale transformatie een boost met onze schaalbare Hosted Private Cloud-oplossingen. Onze producten zijn flexibel, innovatief en bieden een optimale beveiliging van uw gegevens — zodat u zich op uw bedrijf kunt richten.
Ontdek onze netwerkoplossingen
Uw applicaties en de componenten ervan moeten het hele jaar door, 24 uur per dag, 7 dagen per week bereikbaar zijn. Of het nu gaat om private, publieke of on-prem connectiviteit, onze oplossingen helpen u bij alles wat voor uw netwerk nodig is en onze privénetwerken zorgen voor veilige communicatie tussen uw servers en services. OVHcloud exploiteert ook haar eigen backbone. De netwerkbackbone van OVHcloud is ontworpen voor snelle en betrouwbare toegang tot uw applicaties, altijd en overal. U behoudt de volledige controle over uw gegevens. Geen uitzonderingen.