Stability AI zeigt KI-Benchmark zwischen Gaudi 2 und H100- und A100-GPU-Beschleuniger: Intel schägt NVIDIA!

Dass KI mittlerweile für die Technik ein bedeutender Bestandteil geworden ist, ist wohl für viele klar. Allerdings stellt sich die Frage, welches Unternehmen nimmt in Sachen KI die Führung ein? In Bezug auf die GPU ist das besonders spannend und deswegen hat Stability AI mit Stable Diffusion einen Vergleich zwischen Intels Gaudi 2 und NVIDIA H100- bzw. A100-GPU-Beschleuniger unternommen.

Vorab erst einmal, was ist Stable Diffusion? Dabei handelt es sich um einen KI-Generator, der Text zu realistischen Bildern verarbeiten kann. Dafür zeichnet das Unternehmen Stability AI verantwortlich. Sie bieten mit Stable Diffusion 3 eine Parameterzahl von 800M bis 8B Parametern. Für die Analyse nutzte man die 2B-Parameter-Version. Der Benchmark wird auf 2 Knoten getestet, also 16 Beschleunigern und zeigt ein interessantes Ergebnis.

Dabei verarbeitete das Gaudi 2-System 927 Trainingsbilder pro Sekunde und hat somit eine 1,5x größere Leistung erzielt als NVIDIAs H100-80GB. Zudem konnte man eine Stapelgröße von 32 pro Beschleuniger in den 96 GB High Bandwidth Memory (HBM2E) von Gaudi 2 einbauen, um die Trainingsrate weiter auf 1.254 Bilder pro Sekunde zu erhöhen.

Danach ging es weiter mit 32 Knoten, was eine Menge von 256 Beschleunigern entspricht. Hier konnte der Gaudi2 auch eine deutliche Performance zeigen. Dabei generierte man 12,654 Bilder in der Sekunde und konnte damit etwas mehr als 3x mehr Bilder generieren als den A100-80GB.

Auch ein zweites Modell wurde zum Testen verwendet. Hierbei handelt es sich um Stable Beluga 2.5 70B und ist eine abgestimmte Version von LLaMA 2 70B, die auf dem Modell Stable Beluga 2 aufbaut. Das Unternehmen hat diesen Trainingsbenchmark auf 256 Gaudi 2 Beschleunigern durchgeführt. Bei der Ausführung des PyTorch-Codes ohne zusätzliche Optimierungen war der durchschnittliche Gesamtdurchsatz 116.777 Token pro Sekunde. Beim 70B-Sprachmodell auf Gaudi 2 wurden bei einem Interferenztest  673 Token/Sekunde pro Beschleuniger erzeugt, wobei eine Eingabe-Tokengröße von 128 und eine Ausgabe-Tokengröße von 2048 verwendet wurde. Im Vergleich zu TensorRT-LLM scheint Gaudi 2 28 % schneller zu sein als die 525 Token pro Sekunde auf dem A100.

Laut Stable Diffussion rechnet man damit, dass Gaudi 2 durch weitere Optimierungen die A100-Chips übertreffen wird, denn aktuell hat der A100-Chip eine 40 % bessere Leistung, um  Bilder zu generieren, vor allem aufgrund der TensorRT-Optimierung. Allerdings ist es nur eine Frage der Zeit, wie lange das so sein wird.

On inference tests with the Stable Diffusion 3 8B parameter model the Gaudi 2 chips offer inference speed similar to Nvidia A100 chips using base PyTorch. However, with TensorRT optimization, the A100 chips produce images 40% faster than Gaudi 2. We anticipate that with further optimization, Gaudi 2 will soon outperform A100s on this model. In earlier tests on our SDXL model with base PyTorch, Gaudi 2 generates a 1024×1024 image in 30 steps in 3.2 seconds, versus 3.6 seconds for PyTorch on A100s and 2.7 seconds for a generation with TensorRT on an A100. 

Quelle: Stability AI