GPUs Latest news

AMD brings the GPU performance a bit closer to the 1KW mark with the Instinct MI300X GPU.

So far, NVIDIA’s H100 GPU has been the most energy-intensive chip for data centers since its launch, as it had a maximum rated power of 700 W. However, this situation will change with the introduction of the Instinct MI300X, which will have even higher power consumption s0ll. The AMD Instinct MI300X GPU is listed in the presentation footnotes with a power consumption of 750 W.

Source: AMD

In comparison, the Instinct MI250X GPUs based on the CDNA 2 GPU architecture consumed between 500 and 560 watts. This means that power requirements have increased by 34 to 50 percent in just one generation This increase in power requirements is to be expected due to the design of the chip itself and the performance offered. Diw AMD Instinct MI300X offers an impressive 8x performance increase in AI workloads compared to its predecessors. At the same time, the chip is 5 times more efficient, which means it can deliver the same performance while consuming significantly less power. These improvements were likely achieved through technological advances in chip architecture, the use of better materials, and power consumption optimization. AMD has focused on improving the performance and efficiency of its GPU accelerators to meet the increasing demands in AI workloads. Says.

Source: AMD

The AMD Instinct MI300X GPU is a high-performance graphics processing unit that is expected to have 304 CDNA 3 processing units. In comparison, its predecessor MI250X only had 220 compute units. This 38% increase in the number of processing units means that the MI300X will offer a significant performance boost. Another impressive feature of the MI300X is the HBM3 memory with a capacity of 192 GB. In comparison, the MI250X had 128 GB of HBM2e memory.

The capacity of the HBM3 memory has been increased by 50%, which is a significant improvement. Since HBM3 is a newer memory technology, much faster transfer speeds are also expected. A major advantage of the Instinct MI300X GPU is the enormous 192 GB of VRAM. This allows it to run large language models with fewer GPUs than the competition. For example, the MI300X can handle up to 540 billion LLM parameters with fewer GPUs than competing products that use 80 GB H100 chips.

Source: AMD

Increasing performance requirements in terms of GPUs and HPC accelerators are an ongoing development. As these components become more powerful, the demand for computing power is continuously increasing. The aforementioned Gigabyte server roadmap indicates that CPUs, GPUs and APUs are approaching the 1000 watt limit. AMD in particular has invested in various chip and packaging technologies to significantly reduce power consumption.

Although AMD is known as the company with the most power-hungry chip, they have still developed technologies to reduce power requirements. At the ISSCC (International Solid-State Circuits Conference) in 2023, Dr. Lisa Su, CEO of AMD, commented on energy efficiency in zettascale computing. She explained that without new designs, a nuclear reactor would be required to meet the power needs for such a system. This underscores the increasing challenge companies face to meet rising power demands. To address this need, AMD is expected to launch the MI300X GPUs. These GPUs will also be available in more conservative, lower-power variants, particularly in the PCIe form factor. Although the exact details have not been announced yet, it is likely that these variants will be available by 2024.

Source: WccfTech

Kommentar

Lade neue Kommentare

Derfnam

Urgestein

7,517 Kommentare 2,029 Likes

Der Verbrauch wird erhöht, weil die Architektur effizienter ist?

Antwort Gefällt mir

Igor Wallossek

1

10,138 Kommentare 18,672 Likes

Im Verhältnis zur Rechenleistung 🙈

Antwort 1 Like

grimm

Urgestein

3,074 Kommentare 2,025 Likes

Oh Boy! Das muss dieser Fortschritt sein, von dem alle reden...

Antwort 3 Likes

G
GenFox

Mitglied

32 Kommentare 12 Likes

Seit wann wird die GPU-Leistung in kW angegeben?

Antwort Gefällt mir

grimm

Urgestein

3,074 Kommentare 2,025 Likes

"+38% Rechenleistung" >>> "+34-50% Energiebedarf"
So stehts im Artikel. Der Artikel thematisiert nicht ausschließlich die Leistungssteigerung, sondern setzt diesen in Zusammenhang mit dem gesteigerten Energiebedarf.

Antwort Gefällt mir

Derfnam

Urgestein

7,517 Kommentare 2,029 Likes

Über eine gestiegene Leistung bei gesunkenem Verbrauch kann man schwerlich meckern. Aber das hier?

Antwort Gefällt mir

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes

Scheint mir eine Medienkompetenzübung zu sein ^^

Mit LN2 schafft man bestimmt auch die 2,5kW. Rolling Coal war gestern ;)

Antwort Gefällt mir

T
Tombal

Veteran

106 Kommentare 24 Likes

Das ist wie früher mit den Glühlampen, deren Helligkeit man auch nicht in Lumen angegeben hat, sondern gesagt hat: "schraub doch mal ´ne 100 W Birne rein". Das begreift auch der tumbe Otto-Normalverbraucher besser, der ja auch seine HiFi-Anlage nach dem gleichen Kriterium ausgewählt hat: "Mein Receiver hat 4 X 1000W PMPO".

Antwort Gefällt mir

Annatasta(tur)

Veteran

353 Kommentare 128 Likes

Ein bisschen Luft nach oben is ja noch, bis man bei den 3600 W für Hausstrom angekommen ist. Und es gibt ja auch noch Herdsteckdosen, die man sich unter seinen Schreibtisch anschliessen lassen kann. Also alles (noch) nicht so schlimm, wenn man sich mal ne schnelle Karte für´s Gaming leisten möchte.;):p

Antwort Gefällt mir

O
Oberst

Veteran

332 Kommentare 129 Likes

Entweder wurde der Artikel geändert, oder du hast nicht richtig gelesen. Aktuell steht da "Diese Steigerung von 38% in der Anzahl der Recheneinheiten". Also wurde die Anzahl der Compute Units um 38% erhöht. Was da nicht steht: Ist die Anzahl Shader pro CU gleich geblieben, oder vielleicht erhöht worden?
Was noch drin steht:
"MI300X bietet eine beeindruckende 8-fache Leistungssteigerung bei KI-Workloads im Vergleich zu seinen Vorgängern"
Von 38% mehr Leistung ist da also nicht ansatzweise die Rede, sondern von bis zu (wichtig: Hersteller geben immer "bis zu" an, klingt besser) 800% mehr Leistung.
Und 800% mehr Leistung bei 50% mehr Verbrauch bringt auch eine nicht unerhebliche Effizienzsteigerung mit sich, wie der Artikel ja auch behauptet.
So ganz nebenbei würde ein tatsächlicher Faktor 8 bei FP16 bedeuten, dass AMD fast 60% vor NVidia's H100 wäre. Der wäre nur noch bei FP8 grob 20% vorne. Das wäre schon sehr verwunderlich und eine bittere Pille für NVidia. Aber wo der Faktor 8 erreicht wird, ist aktuell ja noch nicht klar. Insofern kann das auch nur ein unangenehmer Rempler für NVidia werden und nicht ein blaues Auge.

AMD scheint im Data Center Bereich jedenfalls fest entschlossen Richtung Wachstum zu laufen. Wenn man mal schaut, wie schnell man von MI100 über MI250X jetzt zu MI300X gegangen ist. Da muss NVidia wohl auch mal den Takt erhöhen, wenn sie nicht bald überholt werden wollen.

Antwort 2 Likes

Klicke zum Ausklappem
G
GenFox

Mitglied

32 Kommentare 12 Likes

Es gibt einen Unterschied zwischen Rechenleistung (Leistungssteigerung) und Energiebedarf. Letzteres kann man in Watt (W oder hier kW) angeben, bei der Rechenleistung ergibt das keinen Sinn.

Aus dem Satz ("MI300X bietet eine beeindruckende 8-fache Leistungssteigerung bei KI-Workloads im Vergleich zu seinen Vorgängern") ließe sich sonst nur folgern, dass das Vorgängermodell 1000W/8=125 Watt bei gleicher Rechenleistung benötigt hat. Ist natürlich quatsch, weil (Rechen-)Leistung ungleich Energiebedarf.

Einfach noch mal die Überschrift lesen "AMD bringt die GPU-Leistung mit der Instinct MI300X GPU etwas näher an die 1KW-Marke"

Antwort Gefällt mir

8j0ern

Urgestein

2,456 Kommentare 768 Likes

@ Oberst
Ich wäre da bei dir.
Welche Rechnleistungs Einheit spielt vorerst mal keine Rolle. Immerhin wird FP16 gennant.
Evt. auch um der Konkurrenz keine Möglichkeit zu geben, selbst noch was zu tricksen. ;)

Antwort Gefällt mir

e
eastcoast_pete

Urgestein

1,435 Kommentare 793 Likes

GPU wie in Grafikkarte? Hat die MI300x überhaupt Anschlüsse dafür? Das Ding ist doch als KI Beschleuniger gedacht und eingesetzt. Und die haben meistens überhaupt keinen Display Port Anschluss (oder HDMI, oder sonstige Video-Outs). Ansonsten wäre es schon die Karte für Leute mit extremen Ansprüchen und noch extremeren Bankkonto. Die MI300 sind nämlich richtig teuer (das Gegenstück von NVIDIA auch).

Antwort Gefällt mir

C
ChaosKopp

Urgestein

515 Kommentare 534 Likes

[...]
Ich finde die Formulierung der Überschrift auch etwas ungewöhnlich, aber die deutsche Sprache ist bisweilen eine Herausforderung.

8fache Leistung ist ungleich 8facher Leistungssteigerung. 800 % mehr Leistung ist in meinem Sprachempfinden auch falsch, wenn es 700 % mehr Leistung sind, also 800 % der Performance.

Antwort Gefällt mir

owl really?

Mitglied

10 Kommentare 1 Likes

danke für den artikel. ich denke, dass es der zeit nicht anders geht, überhaupt an leistung zu gewinnen.
kleiner witz/ off topic...das ist ein schneller computer, der zu viel strom kostet. :-/
nichts für ungut.

View image at the forums

Antwort 1 Like

8j0ern

Urgestein

2,456 Kommentare 768 Likes

Ja, die MI300X ist eine reine CDNA3 Karte für AI Arbeitslasten.
Die MI300A ist ein eigenständiges System, mit CPU, GPU und HMB3 auf einer Platine: (APU)

Genau das Bild verdeutlich es nochmal, jede GPU benötigt ein extra Mainboard und RAM und CPU.

Mit der MI300A kann man jede Karte im Server eine eigene Aufgabe geben ohne das die Server CPU belastet wird, welche dann für hohe Datentransferraten genutzt werden können.
.

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Igor Wallossek

Editor-in-chief and name-giver of igor'sLAB as the content successor of Tom's Hardware Germany, whose license was returned in June 2019 in order to better meet the qualitative demands of web content and challenges of new media such as YouTube with its own channel.

Computer nerd since 1983, audio freak since 1979 and pretty much open to anything with a plug or battery for over 50 years.

Follow Igor:
YouTube Facebook Instagram Twitter

Werbung

Werbung