AMD Instinct MI300A: Up to 4 times the performance and twice the efficiency

7. December 2023 06:00

The time has finally come: AMD has delivered on its long-awaited promise and the Exascale-class APU, the Instinct MI300A, is finally going into series production. Series production will begin this quarter and the APU is expected to be available in 2024 as the world’s fastest HPC solution. It has been a long time coming and people have been eager to experience the power of this new technology.

The AMD Instinct MI300A APU combines different architectures and interconnect technologies such as Zen 4, CDNA 3 and the latest generation of the Infinity architecture. The MI300A APUs offer a number of highlights.

Up to 61 TFLOPS FP64 computation

Up to 122 TFLOPS FP32 calculation

Up to 128 GB HBM3 memory

Up to 5.3 TB/s storage bandwidth

146 billion transistors

The MI300A is very similar to the MI300X, but with the difference that it uses memory- and Zen-4-optimized cores. Now let’s look at the details of this exascale performance for next-generation HPC and AI data centers.

An active chip has removed two CDNA 3 GCDs and replaced them with three Zen 4 CCDs, each of which has its own cache pools and core IPs. There are now a total of 24 cores and 48 threads on the chip, divided into 8 cores and 16 threads per CCD. In addition, there is a separate cache pool per CCD with a size of 32 MB and an L2 cache of 24 MB (1 MB per core). It should be noted that the CDNA 3 GCDs also had a separate L2 cache.

AMD has activated a total of 228 compute units on the GPU side, which are based on the CDNA 3 architecture. This corresponds to 14,592 cores, which means that there are 38 compute units per GPU chiplet. Here are some of the outstanding features of the AMD Instinct MI300 Accelerators summarized:

First integrated CPU GPU package

Target exascale supercomputer market

AMD MI300A (integrated CPU GPU)

146 billion transistors

Up to 24 Zen 4-cores

CDNA 3 GPU architecture 228 compute units (14,592 cores)

Up to 128 GB HBM3 memory

Up to 8 chiplets 8 memory stacks (5nm 6nm process)

AMD has again compared the MI300A with the H100, but this time in HPC-specific workloads. In terms of performance figures, the Instinct MI300A APU in OpenFOAM was able to achieve up to a 4-fold increase in performance. This is mainly due to the unified memory layout, GPU performance and overall available memory capacity and bandwidth. Compared to NVIDIA’s Grace Hopper superchips, the system also offers up to 2x performance per watt.

It has been confirmed that the Instinct MI300A APUs are now shipping and will also be used to power the upcoming El Capitan supercomputer. This is expected to offer up to 2 exaflops of computing power. It is worth noting that AMD is the only company to break the 1 exaflop barrier so far with the Frontier supercomputer and also has the most efficient system in the world.

Source: AMD

15 Antworten

Zeige alle Kommentare an

Kommentar

Lade neue Kommentare

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#1 Dec 07, 2023

Die (ganz) große MI300 APU ist schon ein tolles Teil. Das hier verursacht aber Stirnrinzeln: "MI300A APUs nun ausgeliefert werden und auch für die Energieversorgung des kommenden El-Capitan-Supercomputers verwendet werden". Das wäre in der Tat was noch nie da gewesenes: ein Computer Chip, der Energie produziert statt verbraucht. Schnell den Genies der Koalition in Berlin mitteilen, daß das Energieversorgungsproblem gelöst ist: nur viele MI 300 aufstellen, und die Energie Versorgung Deutschlands ist gesichert 😁
Wär doch schön wenn's so einfach ginge.

Antwort Gefällt mir

Igor Wallossek

11,307 Kommentare 21,447 Likes

#2 Dec 07, 2023

Steuerung der...

Antwort 2 Likes

Nulight

Veteran

286 Kommentare 190 Likes

#3 Dec 07, 2023

So ein All in One Chip ist schon interessant.
Zumal vielleicht die Abwärme etwas gespreizt werden könnte.
Ram 64GB und GPU 64GB Speicher als HBM in direkter Nachbarschaft Die CPU und GPU.
Das ganze sollte doch wirklich traumhafte Latenzen und IPC Leistung zaubern.

Nur der einzige Haken : Alles muss aufgerüstet werden und so ein Chip würde dann ja mit glück 3000€ aufwärts kosten.
(Massenproduktion für den Endkundenmarkt bereits eingerechnet)

Aber nur noch ein Großer Kühlkörper, das spart eine Menge Anschlüsse in der WaKü XD.

Antwort Gefällt mir

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#4 Dec 07, 2023

Die zwei Worte, die der Satz brauchte, machen einen großen Unterschied 😄.
Davon abgesehen (und ob es die Genies in der Regierung wirklich gibt 😁) , ist die MI 300 APU schon sehr beeindruckend.
@Nulight : selbst in Großserie wird das weit über € 3000 kosten - leider. Eine etwas kleinere und deutlich billigere Variante wär aber auch interessant, und ich wäre ein möglicher Käufer.

Antwort Gefällt mir

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#5 Dec 07, 2023

Jetzt spiel ich mal "armchair general" zum Thema APU: Ich habe mir schon öfter einen Mini/Midi PC im Format und den ungefähren Spezifikationen einer aufgebohrten und modernisierten Xbox Series X gewünscht, also mit 8 Zen 4 Kernen (3D VCache wäre sehr schön), auch um die 52 (gerne mehr) RDNA CUs, aber bitte mit RDNA3 (+), derselben NPU wie die 8000er Hawks, das ganze mit den 16 GB GDDR6 wie die Konsolen für die GPU, plus 16 - 32 GB DDR5 für die CPU, schnelle SSD, plus mindestens einen NVMe Anschluss für eine weitere SSD (ähnlich der PS5) und 2-3 USB-C (4) plus 3-4 USB-A Anschlüsse. Die APU gekühlt mit Vapor Chamber und leisen Lüftern. Wenn (wenn!) der Preis stimmen würde, gäbe es dafür mindestens einen Käufer - mich. Und ich glaube da wäre ich bei weitem nicht der einzige.
Allerdings werden weder Microsoft noch SONY je sowas rausbringen, und auch AMD wird wenig geneigt sein, eine derartige APU herzustellen, da die ihrem CPU und GPU Geschäft viel Wasser abgraben würde.

Antwort Gefällt mir

Guest

#6 Dec 07, 2023

Wenigstens ein bisserl was..
Die verzetteln sich. Einige Sparten abdrehen. Mit dem neuen auf All In gehen.
Das Konzept alles auf einem Teil würde ganz neue simple Rechner bringen.
Ein so ein Einschub um 900 Euro.
4 davon mit max 4 x 120 Watt im Gehäuse. Mit der Leistung.
Und sofort bist du Marktführer bei Millionen Unternehmen.
Aber. Man haut wieder auf die $ Keule und gibt somit direkt an Nivea-Intel weiter, die
derzeit unter der Bettdecke zu einander finden. Dazu ein mehr als komisches Welt -bild,
bei dem dir schlecht wird. offtopic(( ein römischer Senator würde sagen: " Unter den Germanen sind derzeit
30% Leibeigen aus freien Stücken, 20 % relativieren und der Rest ist planlos.. Ahm.. Gibts was in der Mitte?
Vor 80 Jahren der Schrecken der Welt heute mit Fahrradweg und Sandloch für den bunten Vogel Strauss, um
ja weg zu gucken-- sagt man was ja der is je ein.. sorry Technik is immer im Context der Welt und die geht aus den Angeln.
Derzeit leichte Truppenbewegungen nach Guyana rein.. das große FSB Taktik-spiel 2012 geht voll auf..
Und unsere Experten für Wehr rechnen damit, dass-man-frau in 20 Jahren soweit sei, womit?
Der Panther 51 wurde vor 11 Monaten vorgestellt.
Das ist hitec und i fuck you day and night ruski.. Nein.. man evaluiert in Zeitlupe.
egal]]] ( die hocken immer noch im T72 der 1991 von der Bushmaster 25mm im Bradley abgeknallt wurde..
was meinst wie die motiviert wären wenn.. 100% sicher tot..egal... weiter wurschteln..]]]

AMD ist dabei sich selbst zu zerlegen. Des wird nix. Oder zu wenig zu teuer zu spät.
Die leben in einer Traumwelt die das Marketing 2018 gezeichnet hat.
5 Jahre. sind das Kommunisten dort?
Meine Töchter bekommen zu Weihnachten Sturmgewehre. Sig556. leicht und stimmig.

2023 WEIHNACHTEN. egal. peace. :) oder FULDAGAP 3.0 nur die is im Rheinland :)

Antwort Gefällt mir

Klicke zum Ausklappem

Oberst

Veteran

355 Kommentare 149 Likes

#7 Dec 07, 2023

Das lese ich auch des öfteren. Hier mal ein paar Anmerkungen:
1. du willst praktisch eine APU aus 7800X3D und 7800XT. Das ergibt zusammen grob 370W, die du dann mit einem Kühler für die 3D Chiplets tauglich abführen musst. Der wird nicht klein
2. So ein großes Package kostet natürlich auch ordentlich in der Produktion, wird also auch nicht billig
3. Will der Kunde auch nur eine minimale Abweichung, kann er das nicht haben oder AMD müsste extrem viele Varianten bauen (unübersichtlich und aufwändig)
4. Die Vorteile sind dann eine etwas höhere Energieeffizienz, die aber nur wenige Kunden honorieren werden (das das Konzept eben zu unflexibel und zu teuer in der Herstellung ist)
Vielleicht ändert sich das in Zukunft mal, aber aktuell sind die Vorteile gegenüber klassischen PCs mit getrennter CPU und GPU zu gering und die Nachteile zu gewichtig.

Antwort Gefällt mir

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#8 Dec 07, 2023

Eine XBOX Series X APU die auch 8 Zen Kerne und 52 RDNA2(+) CUs hat, kommt mit um die 200 W hin. Müsste da eine Version davon mit Zen 4 Kernen und ähnlicher Anzahl Kerne aber RDNA3 unbedingt so viel mehr Strom verbrauchen? Zumal momentan die 5 (4) nm Fertigung bei TSMC nicht mehr so viel teurer pro Wafer ist als die 7 nm vor 3 Jahren war, d.h. die Strukturen können Energie effizienter sein. Und mir ist klar, daß sowohl SONY als auch MS ihre Konsolen mit relativ kleiner Profitmarge verkaufen, da das Geld bei Konsolen mit den Spielen verdient wird (eigene und Lizenzgebühren). Die Series X kostet um die € 500, ist da knapp das doppelte davon so daneben? Und ja, Economy of Scale hieße dann auch daß es maximal zwei verschiedene Versionen geben würde. Aber die wären viel Computer fürs Geld, und wären auch einigermaßen Zukunftssicher. Aber, im Moment alles nur Theorie; wobei man ja damit anfängt.

Antwort 1 Like

8j0ern

Urgestein

3,169 Kommentare 1,010 Likes

#9 Dec 08, 2023

😯

View image at the forums

Microsoft lässt Nvidia im Regen stehen - AMD kann feiern

Microsoft beschert dem Chip-Anbieter AMD jetzt lukrative Aufträge. Die Redmonder kündigten an, größere Mengen des Instinct MI300X kaufen zu wollen. Auch andere stehen bereits in den Startlöchern. Für Nvidia bedeutet dies einen durchaus spürbaren Schlag.

View image at the forums

winfuture.de

Antwort 1 Like

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#10 Dec 09, 2023

Was in diesem Fall mit den MI300 auch noch interessant ist: wo lässt AMD denn das Packaging ihrer Instinct Beschleuniger machen? Denn das ist im Moment auch der große Engpass für Nvidias Hopper und Grace Hopper. TSMC (von denen auch das Packaging gemacht wird) kommt nämlich damit nicht hinterher, und daher kann Nvidia gar nicht mehr H und GH Beschleuniger ausliefern als sie momentan tun. Wundere mich jetzt, ob AMD hier wirklich keine solchen Probleme mit ihren Instinct APUs hat. Wenn dem so ist, werden AMD auch schon deshalb eine ganze Menge an Instincts verkaufen können, und die Meldung über Microsofts Bestellungen bei AMD die @8j0ern reingestellt hat zeigt ja schon, wie das jetzt losgeht.

Antwort 1 Like

Oberst

Veteran

355 Kommentare 149 Likes

#11 Dec 11, 2023

Die APUs in den Konsolen sind aber Monolithen, das spart natürlich Kosten und Strom. Und die rechnen sich auch nur, weil AMD da garantierte Abnahmemengen von Millionen Chips im Quartal über mehrere Jahre hat und damit die Entwicklungskosten sehr breit verteilen kann.
Im PC Bereich ginge das nur so lange, bis die Nachfolge-Gen da ist. Dann verkauft sich die alte Gen nur noch über den Preis. Man müsste also die Entwicklungskosten über eine sehr viel kürzere Zeit herein holen, also einen höheren Preis ansetzen.

Knapp das doppelte, also knapp 1000€ für so eine APU? Für den Preis gibt's halt auch eine 7800XT, den 7800X3D, ein passendes Board und Ram. Man hat also als Kunde keinen Kosten-Vorteil, aber kann eben nicht Aufrüsten, wie man will (weder CPU, noch GPU, noch Ram!). Und dann 2 Varianten? Mit 16GB Ram und 32GB Ram? Oder auch unterschiedliche CPU/GPU? Dann dafür mit gleichem Ram? Oder die kleine Variante mit 16GB Ram, die große mit 32GB? 16GB finde ich heutzutage klar zu wenig (ist ja VRAM und CPU-Ram kombiniert), selbst 32GB Ram wären für meinen Geschmack knapp. 32GB/64GB wird preislich dann schwierig... Du siehst schon, das wäre auch für AMD eher schwierig, die richtigen Varianten zu wählen, weil es da viele Möglichkeiten gibt.
Wie gesagt, da gibt's sicherlich Kunden, die das mitgehen würden. Aber viel zu wenige, als dass sich das für AMD rechnen würde.

Was vielleicht Wind in das Thema bringen könnte, ist CAMM2, so könnte man vielleicht den Ram aufrüstbar gestalten. Und mit 2 CAMMs könnte man vielleicht sogar 256Bit SI anbieten, um die GPU mit ausreichend Bandbreite zu versorgen. Aber aktuell gibt es da noch zu viele Kompromisse und damit zu wenig Kunden. Mit CAMM2 könnte man sich vielleicht eine High End Notebook Lösung auch für den Desktop vorstellen. Aber das Ding ist dann immer noch teurer als ähnlich schnelle Desktop Komponenten, dafür halt sparsamer und kompakter.
Das wäre dann aber auch wieder ein Monolith. Das passt ja auch zu deinen Anforderungen (nur 2 Varianten). MCM wäre da overkill und vom Packaging her zu teuer.

Microsoft hatte auch von den MI250X schon größere Mengen für Azure AI abgenommen. MS will halt den Kunden beide Möglichkeiten (NVidia und AMD) bieten und AMD wird vermutlich deutlich billiger als NVidia sein. Und AMD hat vermutlich auch entsprechende Kapazitäten bei TSMC bestellt, weil sie ja auch El Capitan aufbauen müssen. Alleine für den braucht AMD zwischen 55k und 60k Chips (der soll ca. 40 MW haben, bei grob 700W pro Chip kommt man auf etwa 57k Chips).

Antwort 1 Like

Klicke zum Ausklappem

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#12 Dec 11, 2023

Ohne den "armchair general" Ansatz allzu viel weiter zu treiben, nur ein Kommentar zum Thema Chiplets. Die sind um einiges ökonomischer als Monolithen wenn die Transistoren Zahl etwas größer wird; bei einer APU mit einigermaßen großer GPU würde das ja auf jeden Fall zutreffen. Auch Nvidia wird ja zumindest bei einigen Modellen ihrer nächsten Generation (Rubin) auf Chiplets/Kacheln wechseln, und AMD stellt ihre Karten, größere CPUs und jetzt auch den Instinct Beschleuniger auf Chiplet Basis her. Ich gucke mal nach einer guten Referenz dafür und stelle den Link hierzu gerne rein.
Abschließend: das Gedankenexperiment war bzw ist ja auch nur das; so eine PC/x86 - x64 Alternative zum Mac Studio wär eben etwas wirklich neues, und aus meiner Sicht ein Mini-PC auf Steroiden. Mir gefallen die Kraftzwerge eben, auch wenn sie eher in Midi statt Mini Größe daherkommen würden (bei entsprechend größerer Leistung, natürlich).

Antwort Gefällt mir

8j0ern

Urgestein

3,169 Kommentare 1,010 Likes

#13 Dec 11, 2023

Ich habe mir das Event angeschaut, als sie die MI300X vorgestellt haben.
Da hat Lisa Su selbst, die Plattform mit 8x MI300X präsentiert, eine ist schon Ordentlich, aber gleich 8 Stück in einem System ?!?

Antwort 2 Likes

eastcoast_pete

Urgestein

2,032 Kommentare 1,290 Likes

#14 Dec 11, 2023

Hier eine Referenz die Chiplets vs Monolith Design recht gut diskutiert, und durchaus Licht und Schatten bei beiden erwähnt. Der Trend geht auch zu einem hybriden Design, je nachdem, welche Parameter wichtiger sind: https://semiengineering.com/the-good-and-bad-of-chiplets/

Antwort Gefällt mir

Oberst

Veteran

355 Kommentare 149 Likes

#15 Dec 12, 2023

Warten wir mal CAMM2 ab. Wie gesagt, ich könnte mir vorstellen, dass damit die Mini-PCs zusätzlichen Wind bekommen und AMD wirklich mal eine Mid-Range GPU in so ein Paket packt. Aktuell scheitert das halt immer an der Speicherbandbreite (oder man kann nicht aufrüsten). Aber wenn man für Gaming Notebooks eine CPU vom Schlage eines 7800X3D und eine 7800XT kombinieren und mit ausreichend schnellem und aufrüstbarem Ram versorgen kann, warum nicht? Vor allem beim Ram ist die Flexibilität oft sehr gewünscht, CPU und GPU kann man im Notebook ja nur selten aufrüsten. Und das Problem könnte CAMM2 durchaus lösen oder zumindest abmildern. Ist dann nur die Frage, wie es mit den Kosten aussieht. Aber das muss die Zeit zeigen.

Antwort Gefällt mir

Alle Kommentare lesen unter igor´sLAB Community →

Danke für die Spende

Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.