NVIDIA vs. AMD und Workstation vs. Consumer: Wer hat die Nase bei den KI-Grafikkarten-Benchmarks vorn?

1 - Einführung und Testsystem 2 - AI Computer Vision - Bildgenerierung 3 - MobileNet V3 4 - ResNet-50 5 - Inception V4 6 - DeepLab V3 7 - YOLO V3 8 - Real-ESRGAN 9 - Overall Score FP32, FP16 & Integer

Heute machen wir einmal etwas komplett Anderes, denn es geht einmal nicht ums Gaming, das wird mittlerweile langsam langweilig, sondern um das neue Goldene Kalb, nämlich die KI. NVIDIAs gestern verkündetes Rekorergebnis von 26,04 Mrd. Dollar Umsatz stellt ein Plus von 262 Prozent dar, so dass es einfach mal Zeit für einen Test war. Ich teste insgesamt 12 Grafikkarten, jeweils 6 von AMD und 6 von NVIDIA. Das Besondere daran ist die Auswahl, denn es treten von jedem Hersteller die aktuell drei schnellsten Workstation- und Consumer-Karten gegeneinander an, bei NVIDIA zudem mit und ohne Nutzung der Tensor-Kerne

Der von mir heute genutzte UL Procyon AI Computer Vision Benchmark bietet dafür genau die detaillierten Einblicke in die Leistung von AI-Inferenz-Engines auf dieser Hardware in einer Windows-Umgebung, die wir benötigen. Dieser Benchmark umfasst mehrere AI-Inferenz-Engines von verschiedenen Anbietern und bewertet die Performance von On-Device-Inferenzoperationen.

AI-Workloads und Aufgaben

Die AI-Workloads umfassen gängige maschinelle Bildverarbeitungsaufgaben wie Bildklassifizierung, Bildsegmentierung, Objekterkennung und Super-Resolution. Diese Aufgaben werden mit einer Reihe populärer, hochmoderner neuronaler Netzwerke ausgeführt, die auf der CPU, GPU oder einem speziellen AI-Beschleuniger des Geräts laufen, um die Hardwareleistung zu vergleichen. Zur Messung der AI-Inferenzleistung werden verschiedene SDKs genutzt, darunter:

• Microsoft® Windows ML
• Qualcomm® SNPE
• Intel® OpenVINO™
• NVIDIA® TensorRT™
• Apple® Core ML™

Der Benchmark verwendet verschiedene neuronale Netzwerk-Modelle, darunter:

• MobileNet V3: Für visuelle Erkennung auf mobilen Geräten optimiert.
• Inception V4: Ein genaues Modell für Bildklassifizierungsaufgaben.
• YOLO V3: Zur Objekterkennung und Lokalisierung von Objekten in Bildern.
• DeepLab V3: Für die semantische Bildsegmentierung.
• Real-ESRGAN: Für Super-Resolution, um Bilder auf höhere Auflösung hochzuskalieren.
• ResNet 50: Bietet eine neuartige Methode zur Hinzufügung von mehr Schichten in neuronalen Netzwerken.

Der Benchmark umfasst sowohl float- (FP32, FP16) als auch integer-optimierte Versionen jedes Modells, die nacheinander auf allen kompatiblen Hardwarekomponenten des Geräts ausgeführt werden. Aber genau zu diesen ganzen Einzelbenchmarks habe ich dann auf der jeweiligen Seite noch eine genaue Erklärung, weil ich nicht voraussetzen kann, dass jeder weiß, was ich da genau teste. Aber ich bin mir sicher, dass das Thema (a) interessant und (b) auch zukunftsorientiert ist, so dass sich (c) die Leser auch dafür interessieren werden.

Die Ergebnisse liefern detaillierte Einblicke in die AI-Inferenzleistung, einschließlich der Vergleichbarkeit von float- und integer-optimierten Modellen sowie der Leistungsmessung über die GPU und spezialisierte AI-Beschleuniger. Der Benchmark wurde primär für Ingenieurteams und professionelle Nutzer entwickelt, die unabhängige, standardisierte Werkzeuge zur Bewertung der allgemeinen AI-Leistung von Inferenz-Engine-Implementierungen und dedizierter Hardware benötigen. Er ist ideal für Hardwarehersteller, Unternehmen und die Presse, um fundierte Entscheidungen zu treffen und die Qualität der AI-Inferenz zu überprüfen. Und bei Presse fühlte ich mich einfach angesprochen.

In der Welt der künstlichen Intelligenz und des maschinellen Lernens spielen die Datentypen FP32, FP16 und Integer eine entscheidende Rolle bei der Leistung und Effizienz von Berechnungen auf GPUs. Jeder dieser Datentypen hat spezifische Vor- und Nachteile, die je nach Anwendungsfall und Hardwarearchitektur variieren können. Auch deshalb weise ich alle Ergebnisse getrennt aus und habe die ganzen Karten auch für jeden Datentyp einzeln gebencht. Mit durchaus interessanten Ergebnissen übrigens.

FP32 (32-bit Floating Point)

Vorteile:

• Präzision: FP32 bietet eine hohe Genauigkeit und ist daher ideal für Anwendungen, die eine hohe numerische Präzision erfordern, wie z.B. wissenschaftliche Berechnungen und komplexe Modelle.
• Kompatibilität: Viele bestehende neuronale Netzwerke und Frameworks sind für FP32 optimiert und liefern hier die besten Ergebnisse.

Nachteile:

• Leistungsaufnahme: Die Berechnungen in FP32 sind rechenintensiver und benötigen mehr Energie und Speicher, was zu höherem Stromverbrauch und geringerer Effizienz führt.
• Geschwindigkeit: FP32-Berechnungen sind langsamer im Vergleich zu FP16 und Integer, was die Verarbeitungsgeschwindigkeit reduziert.

FP16 (16-bit Floating Point)

Vorteile:

• Leistungsfähigkeit: FP16-Berechnungen sind schneller und benötigen weniger Energie als FP32, was die Effizienz und Durchsatzrate erhöht.
• Speicherbedarf: Der Speicherbedarf ist geringer, was bedeutet, dass mehr Daten gleichzeitig verarbeitet und gespeichert werden können.

Nachteile:

• Genauigkeit: Die geringere Genauigkeit von FP16 kann zu Rundungsfehlern führen, die bei bestimmten Anwendungen problematisch sein können.
• Anpassungsaufwand: Es kann zusätzliche Anstrengungen erfordern, bestehende Modelle und Algorithmen auf FP16 zu optimieren und anzupassen.

Integer (INT8 und INT16)

Vorteile:

• Effizienz: Integer-Berechnungen sind extrem effizient und verbrauchen deutlich weniger Energie als FP32 und FP16, was sie ideal für mobile und eingebettete Systeme macht.
• Geschwindigkeit: Sie sind schneller als FP-Berechnungen, was die Inferenzgeschwindigkeit erhöht und die Latenz reduziert.

Nachteile:

• Genauigkeit: Integer-Formate bieten die geringste Präzision, was zu größeren Fehlern und Ungenauigkeiten führen kann, insbesondere bei komplexen Modellen.
• Komplexität: Die Quantisierung von Modellen, um sie für Integer-Berechnungen geeignet zu machen, kann komplex und zeitaufwendig sein.

Architekturen und deren Optimierung

Verschiedene GPU-Architekturen sind unterschiedlich gut für diese Datentypen optimiert:

• NVIDIA GPUs: Diese bieten spezielle Tensor-Kerne, die für FP16- und INT8-Berechnungen optimiert sind, wodurch sie besonders effizient in der AI-Berechnung sind.
• AMD GPUs: AMD setzt ebenfalls auf eine verbesserte Unterstützung für FP16 und arbeitet daran, die Effizienz bei niedrigerer Präzision zu verbessern.
• Intel GPUs: Mit der OpenVINO-Architektur optimiert Intel für eine breite Unterstützung verschiedener Datentypen, einschließlich INT8, um eine hohe Leistung bei geringerem Stromverbrauch zu ermöglichen.

Unterm Strich heißt das, dass die Wahl des Datentyps und der entsprechenden Architektur von den spezifischen Anforderungen der Anwendung abhängt. Für hohe Genauigkeit und Kompatibilität eignet sich FP32, während FP16 und Integer für Effizienz und Geschwindigkeit in Inferenz-Anwendungen bevorzugt werden.

Testsystem