AI/KI Grafikkarten News

NVIDIA H100 NVL-Grafikprozessor mit 94 GB HBM3-Speicher – Exklusiv entwickelt für ChatGPT | GTC

Die NVIDIA H100 NVL GPU stellt eine leistungsstarke Grafikkarte dar, die speziell für anspruchsvolle Anwendungen im Bereich des maschinellen Lernens sowie der künstlichen Intelligenz entwickelt wurde. Diese Hochleistungs-Grafikverarbeitungseinheit wurde darauf ausgelegt, große Datenmengen effizient zu verarbeiten und dabei komplexe Berechnungen durchzuführen. Die NVIDIA Hopper GPU-basierte H100 NVL PCIe-Grafikkarte stellt in der Tat eine eindrucksvolle Grafikverarbeitungslösung dar. Sie verfügt über eine Dual-GPU NVLINK-Verbindung, die eine schnelle Kommunikation zwischen den GPUs ermöglicht, und 94 GB HBM3e-Speicher pro Chip, wodurch die Grafikkarte in der Lage ist, umfangreiche Datenmengen zügig zu verarbeiten.

Besonders bemerkenswert ist die Fähigkeit der GPU, bis zu 175 Milliarden ChatGPT-Parameter während des laufenden Betriebs zu verarbeiten. Diese beeindruckende Leistungsfähigkeit zeigt, dass die NVIDIA H100 NVL GPU hervorragend für rechenintensive Anwendungen wie künstliche Intelligenz und maschinelles Lernen geeignet ist und somit auch in anspruchsvollen Bereichen eingesetzt werden kann.

Im Vergleich zur H100 SXM5-Konfiguration weist die H100 PCIe-Konfiguration geringere Spezifikationen auf. Während die GH100 GPU 144 Streaming Multiprozessoren (SMs) aktivieren kann, sind in der H100 PCIe-Konfiguration lediglich 114 SMs aktiv. Im Gegensatz dazu verfügt die H100 SXM-Konfiguration über 132 SMs. Trotz dieser Reduzierung bleibt die H100 PCIe-Konfiguration dennoch leistungsfähig und bietet eine beeindruckende Rechenkapazität.

Die H100 PCIe-Konfiguration ist in der Lage, 3200 Floating-Point-8 (FP8) Operationen pro Sekunde, 1600 Tensor-16 (TF16) Operationen pro Sekunde sowie 48 TeraFLOPs (TFLOPs) Double-Precision Floating-Point (FP64) Operationen pro Sekunde auszuführen. Zusätzlich ist die GPU mit 456 Tensor- und Textureinheiten ausgestattet, die für die Bearbeitung komplexer Berechnungen im Bereich künstlicher Intelligenz und maschinellem Lernen eingesetzt werden können.

Obwohl die Anzahl der SMs im Vergleich zur GH100 GPU und der H100 SXM-Konfiguration geringer ist, ist die H100 PCIe-Konfiguration dennoch in der Lage, anspruchsvolle Berechnungen in verschiedenen Anwendungsfeldern wie Wissenschaft, künstliche Intelligenz und maschinelles Lernen durchzuführen. Sie stellt eine gute Wahl für Anwendungen dar, die weniger SMs erfordern oder aufgrund von Platzbeschränkungen auf eine PCIe-Konfiguration angewiesen sind.

Die NVIDIA H100 NVL GPU wurde speziell für die Bedürfnisse von ChatGPT entwickelt, einem von OpenAI entwickelten großen Sprachmodell-Trainingsalgorithmus. ChatGPT ist darauf ausgelegt, menschenähnliche Unterhaltungen basierend auf Texteingaben zu führen und benötigt enorm viel Rechenleistung, um effizient und schnell zu funktionieren. Durch den Einsatz der NVIDIA H100 NVL GPU kann ChatGPT umfangreiche Datenmengen in Echtzeit verarbeiten und schneller reagieren, was zu einer verbesserten Leistung und einem optimierten Benutzererlebnis beiträgt.

Die H100 PCIe stellt eine Ausführung der NVIDIA A100 GPU dar, die als PCIe-Karte konzipiert ist. Im Vergleich zur leistungsstärkeren SXM5-Version weist die H100 PCIe eine geringere Spitzenrechenleistung auf und operiert daher mit niedrigeren Taktfrequenzen. Diese Karte besitzt eine maximale thermische Designleistung (TDP) von 350 Watt, während die SXM5-Version eine doppelte TDP von 700 Watt aufzeigt. Trotzdem behält die H100 PCIe ihre Speicherkapazität von 80 GB bei, die über eine 5120-Bit-Busschnittstelle verfügt.

Der Speicher der H100 PCIe wird durch HBM2e-Speicher realisiert, der eine Bandbreite von über 2 TB/s ermöglicht. HBM2e (High Bandwidth Memory 2e) ist eine weiterentwickelte Version des HBM2-Speichers und bietet höhere Datenübertragungsraten sowie eine bessere Energieeffizienz. Die H100 PCIe eignet sich insbesondere für Anwendungen, die weniger Rechenleistung benötigen als solche, die auf der SXM5-Version basieren. Dennoch kann sie große Datensätze verarbeiten, da sie über eine umfangreiche Speicherkapazität und eine hohe Speicherbandbreite verfügt.

Die H100 PCIe kann in Servern und Workstations verwendet werden, die auf künstliche Intelligenz, maschinelles Lernen, Deep Learning oder HPC-Anwendungen spezialisiert sind. Insgesamt ist die H100 PCIe eine leistungsfähige GPU-Variante, die eine große Speicherkapazität und eine hohe Speicherbandbreite bietet, während sie gleichzeitig eine geringere TDP als die SXM5-Version aufweist.

Quelle: NVIDIA

Kommentar

Lade neue Kommentare

Derfnam

Urgestein

7,517 Kommentare 2,029 Likes

Ist das sicher mit der Quelle? Das liest sich schon sehr kritisch und objektiv, die Zweifel an dem Produkt sind ja enorm und das kommt auch so rüber.

Antwort Gefällt mir

d
diemelbecker

Mitglied

29 Kommentare 1 Likes

Cool, der 12V-Stecker ist an der Rückseite:D
Dort schaffen sie das also.

Antwort Gefällt mir

c
cunhell

Urgestein

543 Kommentare 498 Likes

Naja, so wie es für mich aussieht passen die Karten in Standard-2HE-Server. Da hast Du oben keinen Platz. Da muss man die Anschlüsse hinten anbringen. Form follows Function halt. Nicht wie bei den PCs Function follows Form ;-)

Cunhell

Antwort Gefällt mir

Gregor Kacknoob

Urgestein

523 Kommentare 442 Likes

Function follows RGB *hust*

Antwort Gefällt mir

a
anfreund

Mitglied

30 Kommentare 4 Likes

Bei den Zahlen und Einheiten im Artikel hat wohl der Fehlerteufel zugeschlagen. Da fehlt glg. Tera als Vorsilbe. Sonst wäre es ein ziemlich lahmes Ding. Und 5120 Bit als Speicherbandbreite?

Antwort Gefällt mir

RawMangoJuli

Veteran

253 Kommentare 146 Likes

Die 5120Bit sind schon richtig ... 5x 1024Bit

Antwort Gefällt mir

D
Deridex

Urgestein

2,203 Kommentare 843 Likes

@Derfnam
Ich glaube du hast das Sarkasmus Schild vergessen ;)

Antwort Gefällt mir

LurkingInShadows

Urgestein

1,331 Kommentare 544 Likes

Das ist so riesig, das kann er nimmer in den Post klatschen^^

Antwort Gefällt mir

Derfnam

Urgestein

7,517 Kommentare 2,029 Likes

Zu subtil? Plus: auf imaginären Werbebannern hält leider nix.

Antwort Gefällt mir

G
Gamer

Veteran

147 Kommentare 37 Likes

Und direkt der nächste Fail von Nvidia. Lernen die das nie?

Antwort Gefällt mir

a
anfreund

Mitglied

30 Kommentare 4 Likes

Warum? Wo liegt das Problem bei dieser Karte? Bissel teuer, ja...

Antwort Gefällt mir

LurkingInShadows

Urgestein

1,331 Kommentare 544 Likes

gamers problem ist (wieder mal) dass es nicht von AMD ist.

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Samir Bashir

Werbung

Werbung