Produktbeskrivning

Utnyttja oöverträffad prestanda, skalbarhet och säkerhet för varje arbetsbelastning med NVIDIA H100 Tensor Core GPU. Med NVIDIA NVLink Switch System kan upp till 256 H100 GPU:er anslutas för att accelerera exascale-arbetsbelastningar. GPU:n innehåller också en dedikerad Transformer Engine för att lösa språkmodeller med biljoner parametrar. H100:s kombinerade tekniska innovationer kan snabba upp stora språkmodeller (LLM) med otroliga 30 gånger jämfört med den tidigare generationen för att leverera branschledande konversations-AI.

 

Egenskaper

Omvälvande AI-träning
H100 har fjärde generationens Tensor-kärnor och en Transformer Engine med FP8-precision som ger upp till 4X snabbare träning jämfört med den tidigare generationen för GPT-3 (175B)-modeller. Kombinationen av fjärde generationens NVLink, som ger 900 gigabyte per sekund (GB/s) GPU-till-GPU-sammankoppling, NDR Quantum-2 InfiniBand-nätverk, som accelererar kommunikationen för varje GPU över noder, PCIe Gen5 och NVIDIA Magnum IO-programvara ger effektiv skalbarhet från små företagssystem till massiva, enhetliga GPU-kluster. H100 GPU:er i datacenterskala ger enastående prestanda och gör nästa generations exascale HPC (High Performance Computing) och AI med biljonparametrar tillgängliga för alla forskare.

Inferens med djupinlärning i realtid
AI löser ett brett spektrum av affärsutmaningar med hjälp av ett lika brett spektrum av neurala nätverk. En bra AI-inferensaccelerator måste inte bara leverera högsta prestanda utan också mångsidigheten att accelerera dessa nätverk. H100 utökar NVIDIA:s marknadsledande ledarskap inom inferens med flera framsteg som accelererar inferens med upp till 30 gånger och ger den lägsta latensen. Fjärde generationens Tensor-kärnor snabbar upp alla precisioner, inklusive FP64, TF32, FP32, FP16, INT8 och nu FP8, för att minska minnesanvändningen och öka prestandan samtidigt som noggrannheten för LLM bibehålls.

Exascale högpresterande databehandling
NVIDIA:s datacenterplattform levererar konsekvent prestandavinster som överträffar Moores lag. Och H100:s nya banbrytande AI-funktioner förstärker ytterligare kraften i HPC+AI för att påskynda tiden till upptäckt för vetenskapsmän och forskare som arbetar med att lösa världens viktigaste utmaningar. H100 tredubblar FLOPS (floating point operations per second) för Tensor-kärnor med dubbel precision och levererar 60 teraflops FP64-beräkningar för HPC. AI-fusionerade HPC-applikationer kan också utnyttja H100:s TF32-precision för att uppnå en petaflops genomströmning för matris-multipliceringsoperationer med enkel precision, utan några kodändringar. H100 har också nya DPX-instruktioner som ger 7 gånger högre prestanda jämfört med A100 och 40 gånger högre hastighet jämfört med CPU:er på dynamiska programmeringsalgoritmer som Smith-Waterman för DNA-sekvensjustering och proteinjustering för förutsägelse av proteinstruktur.

Snabbare dataanalys
Dataanalys tar ofta den största delen av tiden i anspråk vid utveckling av AI-applikationer. Eftersom stora datamängder är utspridda över flera servrar, kan scale-out-lösningar med servrar med enbart CPU-råvara fastna på grund av brist på skalbar beräkningsprestanda. Accelererade servrar med H100 levererar beräkningskraften - tillsammans med 3 terabyte per sekund (TB/s) minnesbandbredd per GPU och skalbarhet med NVLink och NVSwitch - för att hantera dataanalys med hög prestanda och skala för att stödja massiva dataset. I kombination med NVIDIA Quantum-2 InfiniBand, Magnum IO-programvara, GPU-accelererad Spark 3.0 och NVIDIA RAPIDS har NVIDIAs datacenterplattform en unik möjlighet att accelerera dessa enorma arbetsbelastningar med oöverträffade nivåer av prestanda och effektivitet.

Utnyttjande som är redo för företag
IT-chefer vill maximera utnyttjandet (både topp och genomsnitt) av beräkningsresurserna i datacentret. De använder ofta dynamisk omkonfigurering av beräkningsresurser för att anpassa storleken på resurserna till de arbetsbelastningar som används. Andra generationens MIG-teknik (Multi-Instance GPU) i H100 maximerar utnyttjandet av varje GPU genom att på ett säkert sätt dela upp den i så många som sju separata instanser. Med stöd för konfidentiell databehandling kan H100 användas säkert, end-to-end och av flera hyresgäster, vilket gör den idealisk för molntjänstleverantörers (CSP) miljöer. Med H100 och MIG kan infrastrukturförvaltare standardisera sin GPU-accelererade infrastruktur och samtidigt ha flexibiliteten att tillhandahålla GPU-resurser med större granularitet för att säkert ge utvecklare rätt mängd accelererad beräkning och optimera användningen av alla sina GPU-resurser.

Inbyggd konfidentiell databehandling
Traditionella lösningar för konfidentiell databehandling är CPU-baserade, vilket är för begränsat för beräkningsintensiva arbetsbelastningar som AI och HPC. NVIDIA Confidential Computing är en inbyggd säkerhetsfunktion i NVIDIA Hopper-arkitekturen som gör H100 till världens första accelerator med funktioner för konfidentiell databehandling. Användare kan skydda sekretessen och integriteten för sina data och applikationer samtidigt som de får tillgång till den oöverträffade accelerationen hos H100 GPU:er. Det skapar en hårdvarubaserad betrodd exekveringsmiljö (TEE) som säkrar och isolerar hela arbetsbelastningen som körs på en enda H100 GPU, flera H100 GPU:er inom en nod eller enskilda MIG-instanser. GPU-accelererade applikationer kan köras oförändrade i TEE och behöver inte partitioneras. Användare kan kombinera kraften i NVIDIA-programvara för AI och HPC med säkerheten i en hårdvarurot av förtroende som erbjuds av NVIDIA:s konfidentiella databehandling.

 

Teknisk specifikation

Typ av enhet	GPU-beräkningsprocessor - fläktlös
Busstyp	PCI Express 5.0
Grafikmotor	NVIDIA H100 Tensor Core
Egenskaper	Multi-Instance GPU (MIG)-teknologi, 51 Tflops mex enkelprecisions-flytpunktsåtergivning

Storlek	80 GB
Teknik	HBM3
Bandbredd	2 Tbit/s

Operativsystem erfordras	Ubuntu 20.04, SUSE Linux Enterprise Server 15 SP3, Microsoft Windows Server 2022, Red Hat Enterprise Linux 9.0, SUSE Linux Enterprise Server 15 SP4

Bredd	26.7 cm
Djup	11.1 cm
Höjd	3.47 cm
Vikt	1.69 kg

Service och support	Begränsad garanti - 3 år

Designat för	HPE ProLiant DL380 Gen10 Plus, DL380A, DL385 Gen11