AMD Instinct MI300A: Bis zu 4-fache Leistung und doppelte Effizienz

[Redaktion]

Es ist endlich soweit: AMD hat sein lang erwartetes Versprechen eingelöst und die APU der Exascale-Klasse, der Instinct MI300A, geht in endlich Serie. In diesem Quartal beginnt die Serienproduktion und die APU wird voraussichtlich 2024 als die schnellste HPC-Lösung weltweit verfügbar sein. Man hat lange darauf gewartet und konnte es kaum erwarten, die Leistungsfähigkeit dieser neuen Technologie zu erleben. Die AMD Instinct MI300A APU vereint unterschiedliche Architekturen und Verbindungstechnologien wie Zen 4, CDNA 3 und die neueste Generation der Infinity-Architektur. Die MI300A APUs bieten eine Reihe von Highlights. Bis zu 61 TFLOPS FP64-Berechnung Bis zu 122 TFLOPS FP32-Berechnung Bis zu […] (read full article...)

 

[eastcoast_pete]

Die (ganz) große MI300 APU ist schon ein tolles Teil. Das hier verursacht aber Stirnrinzeln: "MI300A APUs nun ausgeliefert werden und auch für die Energieversorgung des kommenden El-Capitan-Supercomputers verwendet werden". Das wäre in der Tat was noch nie da gewesenes: ein Computer Chip, der Energie produziert statt verbraucht. Schnell den Genies der Koalition in Berlin mitteilen, daß das Energieversorgungsproblem gelöst ist: nur viele MI 300 aufstellen, und die Energie Versorgung Deutschlands ist gesichert
Wär doch schön wenn's so einfach ginge.

 

[Igor Wallossek]

Steuerung der...

 

[Nulight]

So ein All in One Chip ist schon interessant.
Zumal vielleicht die Abwärme etwas gespreizt werden könnte.
Ram 64GB und GPU 64GB Speicher als HBM in direkter Nachbarschaft Die CPU und GPU.
Das ganze sollte doch wirklich traumhafte Latenzen und IPC Leistung zaubern.

Nur der einzige Haken : Alles muss aufgerüstet werden und so ein Chip würde dann ja mit glück 3000€ aufwärts kosten.
(Massenproduktion für den Endkundenmarkt bereits eingerechnet)

Aber nur noch ein Großer Kühlkörper, das spart eine Menge Anschlüsse in der WaKü XD.

 

[eastcoast_pete]

Steuerung der...

Die zwei Worte, die der Satz brauchte, machen einen großen Unterschied .
Davon abgesehen (und ob es die Genies in der Regierung wirklich gibt ) , ist die MI 300 APU schon sehr beeindruckend.
@Nulight : selbst in Großserie wird das weit über € 3000 kosten - leider. Eine etwas kleinere und deutlich billigere Variante wär aber auch interessant, und ich wäre ein möglicher Käufer.

 

[eastcoast_pete]

Jetzt spiel ich mal "armchair general" zum Thema APU: Ich habe mir schon öfter einen Mini/Midi PC im Format und den ungefähren Spezifikationen einer aufgebohrten und modernisierten Xbox Series X gewünscht, also mit 8 Zen 4 Kernen (3D VCache wäre sehr schön), auch um die 52 (gerne mehr) RDNA CUs, aber bitte mit RDNA3 (+), derselben NPU wie die 8000er Hawks, das ganze mit den 16 GB GDDR6 wie die Konsolen für die GPU, plus 16 - 32 GB DDR5 für die CPU, schnelle SSD, plus mindestens einen NVMe Anschluss für eine weitere SSD (ähnlich der PS5) und 2-3 USB-C (4) plus 3-4 USB-A Anschlüsse. Die APU gekühlt mit Vapor Chamber und leisen Lüftern. Wenn (wenn!) der Preis stimmen würde, gäbe es dafür mindestens einen Käufer - mich. Und ich glaube da wäre ich bei weitem nicht der einzige.
Allerdings werden weder Microsoft noch SONY je sowas rausbringen, und auch AMD wird wenig geneigt sein, eine derartige APU herzustellen, da die ihrem CPU und GPU Geschäft viel Wasser abgraben würde.

 

[Gelöschtes Mitglied 24708]

Wenigstens ein bisserl was..
Die verzetteln sich. Einige Sparten abdrehen. Mit dem neuen auf All In gehen.
Das Konzept alles auf einem Teil würde ganz neue simple Rechner bringen.
Ein so ein Einschub um 900 Euro.
4 davon mit max 4 x 120 Watt im Gehäuse. Mit der Leistung.
Und sofort bist du Marktführer bei Millionen Unternehmen.
Aber. Man haut wieder auf die $ Keule und gibt somit direkt an Nivea-Intel weiter, die
derzeit unter der Bettdecke zu einander finden. Dazu ein mehr als komisches Welt -bild,
bei dem dir schlecht wird. offtopic(( ein römischer Senator würde sagen: " Unter den Germanen sind derzeit
30% Leibeigen aus freien Stücken, 20 % relativieren und der Rest ist planlos.. Ahm.. Gibts was in der Mitte?
Vor 80 Jahren der Schrecken der Welt heute mit Fahrradweg und Sandloch für den bunten Vogel Strauss, um
ja weg zu gucken-- sagt man was ja der is je ein.. sorry Technik is immer im Context der Welt und die geht aus den Angeln.
Derzeit leichte Truppenbewegungen nach Guyana rein.. das große FSB Taktik-spiel 2012 geht voll auf..
Und unsere Experten für Wehr rechnen damit, dass-man-frau in 20 Jahren soweit sei, womit?
Der Panther 51 wurde vor 11 Monaten vorgestellt.
Das ist hitec und i fuck you day and night ruski.. Nein.. man evaluiert in Zeitlupe.
egal]]] ( die hocken immer noch im T72 der 1991 von der Bushmaster 25mm im Bradley abgeknallt wurde..
was meinst wie die motiviert wären wenn.. 100% sicher tot..egal... weiter wurschteln..]]]

AMD ist dabei sich selbst zu zerlegen. Des wird nix. Oder zu wenig zu teuer zu spät.
Die leben in einer Traumwelt die das Marketing 2018 gezeichnet hat.
5 Jahre. sind das Kommunisten dort?
Meine Töchter bekommen zu Weihnachten Sturmgewehre. Sig556. leicht und stimmig.

2023 WEIHNACHTEN. egal. peace. oder FULDAGAP 3.0 nur die is im Rheinland

 

[Oberst]

Jetzt spiel ich mal "armchair general" zum Thema APU: Ich habe mir schon öfter einen Mini/Midi PC im Format und den ungefähren Spezifikationen einer aufgebohrten und modernisierten Xbox Series X gewünscht, also mit 8 Zen 4 Kernen (3D VCache wäre sehr schön), auch um die 52 (gerne mehr) RDNA CUs, aber bitte mit RDNA3 (+), derselben NPU wie die 8000er Hawks, das ganze mit den 16 GB GDDR6 wie die Konsolen für die GPU, plus 16 - 32 GB DDR5 für die CPU, schnelle SSD, plus mindestens einen NVMe Anschluss für eine weitere SSD (ähnlich der PS5) und 2-3 USB-C (4) plus 3-4 USB-A Anschlüsse. [...]

Das lese ich auch des öfteren. Hier mal ein paar Anmerkungen:
1. du willst praktisch eine APU aus 7800X3D und 7800XT. Das ergibt zusammen grob 370W, die du dann mit einem Kühler für die 3D Chiplets tauglich abführen musst. Der wird nicht klein
2. So ein großes Package kostet natürlich auch ordentlich in der Produktion, wird also auch nicht billig
3. Will der Kunde auch nur eine minimale Abweichung, kann er das nicht haben oder AMD müsste extrem viele Varianten bauen (unübersichtlich und aufwändig)
4. Die Vorteile sind dann eine etwas höhere Energieeffizienz, die aber nur wenige Kunden honorieren werden (das das Konzept eben zu unflexibel und zu teuer in der Herstellung ist)
Vielleicht ändert sich das in Zukunft mal, aber aktuell sind die Vorteile gegenüber klassischen PCs mit getrennter CPU und GPU zu gering und die Nachteile zu gewichtig.

 

[eastcoast_pete]

Das lese ich auch des öfteren. Hier mal ein paar Anmerkungen:
1. du willst praktisch eine APU aus 7800X3D und 7800XT. Das ergibt zusammen grob 370W, die du dann mit einem Kühler für die 3D Chiplets tauglich abführen musst. Der wird nicht klein
2. So ein großes Package kostet natürlich auch ordentlich in der Produktion, wird also auch nicht billig
3. Will der Kunde auch nur eine minimale Abweichung, kann er das nicht haben oder AMD müsste extrem viele Varianten bauen (unübersichtlich und aufwändig)
4. Die Vorteile sind dann eine etwas höhere Energieeffizienz, die aber nur wenige Kunden honorieren werden (das das Konzept eben zu unflexibel und zu teuer in der Herstellung ist)
Vielleicht ändert sich das in Zukunft mal, aber aktuell sind die Vorteile gegenüber klassischen PCs mit getrennter CPU und GPU zu gering und die Nachteile zu gewichtig.

Eine XBOX Series X APU die auch 8 Zen Kerne und 52 RDNA2(+) CUs hat, kommt mit um die 200 W hin. Müsste da eine Version davon mit Zen 4 Kernen und ähnlicher Anzahl Kerne aber RDNA3 unbedingt so viel mehr Strom verbrauchen? Zumal momentan die 5 (4) nm Fertigung bei TSMC nicht mehr so viel teurer pro Wafer ist als die 7 nm vor 3 Jahren war, d.h. die Strukturen können Energie effizienter sein. Und mir ist klar, daß sowohl SONY als auch MS ihre Konsolen mit relativ kleiner Profitmarge verkaufen, da das Geld bei Konsolen mit den Spielen verdient wird (eigene und Lizenzgebühren). Die Series X kostet um die € 500, ist da knapp das doppelte davon so daneben? Und ja, Economy of Scale hieße dann auch daß es maximal zwei verschiedene Versionen geben würde. Aber die wären viel Computer fürs Geld, und wären auch einigermaßen Zukunftssicher. Aber, im Moment alles nur Theorie; wobei man ja damit anfängt.

 

[8j0ern]

Steuerung der...

Microsoft lässt Nvidia im Regen stehen - AMD kann feiern

Microsoft beschert dem Chip-Anbieter AMD jetzt lukrative Aufträge. Die Redmonder kündigten an, größere Mengen des Instinct MI300X kaufen zu wollen. Auch andere stehen bereits in den Startlöchern. Für Nvidia bedeutet dies einen durchaus spürbaren Schlag.

winfuture.de

 

[eastcoast_pete]

Was in diesem Fall mit den MI300 auch noch interessant ist: wo lässt AMD denn das Packaging ihrer Instinct Beschleuniger machen? Denn das ist im Moment auch der große Engpass für Nvidias Hopper und Grace Hopper. TSMC (von denen auch das Packaging gemacht wird) kommt nämlich damit nicht hinterher, und daher kann Nvidia gar nicht mehr H und GH Beschleuniger ausliefern als sie momentan tun. Wundere mich jetzt, ob AMD hier wirklich keine solchen Probleme mit ihren Instinct APUs hat. Wenn dem so ist, werden AMD auch schon deshalb eine ganze Menge an Instincts verkaufen können, und die Meldung über Microsofts Bestellungen bei AMD die @8j0ern reingestellt hat zeigt ja schon, wie das jetzt losgeht.

 

[Oberst]

Eine XBOX Series X APU die auch 8 Zen Kerne und 52 RDNA2(+) CUs hat, kommt mit um die 200 W hin. Müsste da eine Version davon mit Zen 4 Kernen und ähnlicher Anzahl Kerne aber RDNA3 unbedingt so viel mehr Strom verbrauchen? Zumal momentan die 5 (4) nm Fertigung bei TSMC nicht mehr so viel teurer pro Wafer ist als die 7 nm vor 3 Jahren war, d.h. die Strukturen können Energie effizienter sein. Und mir ist klar, daß sowohl SONY als auch MS ihre Konsolen mit relativ kleiner Profitmarge verkaufen, da das Geld bei Konsolen mit den Spielen verdient wird (eigene und Lizenzgebühren). Die Series X kostet um die € 500, ist da knapp das doppelte davon so daneben? Und ja, Economy of Scale hieße dann auch daß es maximal zwei verschiedene Versionen geben würde. Aber die wären viel Computer fürs Geld, und wären auch einigermaßen Zukunftssicher. Aber, im Moment alles nur Theorie; wobei man ja damit anfängt.

Die APUs in den Konsolen sind aber Monolithen, das spart natürlich Kosten und Strom. Und die rechnen sich auch nur, weil AMD da garantierte Abnahmemengen von Millionen Chips im Quartal über mehrere Jahre hat und damit die Entwicklungskosten sehr breit verteilen kann.
Im PC Bereich ginge das nur so lange, bis die Nachfolge-Gen da ist. Dann verkauft sich die alte Gen nur noch über den Preis. Man müsste also die Entwicklungskosten über eine sehr viel kürzere Zeit herein holen, also einen höheren Preis ansetzen.

Knapp das doppelte, also knapp 1000€ für so eine APU? Für den Preis gibt's halt auch eine 7800XT, den 7800X3D, ein passendes Board und Ram. Man hat also als Kunde keinen Kosten-Vorteil, aber kann eben nicht Aufrüsten, wie man will (weder CPU, noch GPU, noch Ram!). Und dann 2 Varianten? Mit 16GB Ram und 32GB Ram? Oder auch unterschiedliche CPU/GPU? Dann dafür mit gleichem Ram? Oder die kleine Variante mit 16GB Ram, die große mit 32GB? 16GB finde ich heutzutage klar zu wenig (ist ja VRAM und CPU-Ram kombiniert), selbst 32GB Ram wären für meinen Geschmack knapp. 32GB/64GB wird preislich dann schwierig... Du siehst schon, das wäre auch für AMD eher schwierig, die richtigen Varianten zu wählen, weil es da viele Möglichkeiten gibt.
Wie gesagt, da gibt's sicherlich Kunden, die das mitgehen würden. Aber viel zu wenige, als dass sich das für AMD rechnen würde.

Was vielleicht Wind in das Thema bringen könnte, ist CAMM2, so könnte man vielleicht den Ram aufrüstbar gestalten. Und mit 2 CAMMs könnte man vielleicht sogar 256Bit SI anbieten, um die GPU mit ausreichend Bandbreite zu versorgen. Aber aktuell gibt es da noch zu viele Kompromisse und damit zu wenig Kunden. Mit CAMM2 könnte man sich vielleicht eine High End Notebook Lösung auch für den Desktop vorstellen. Aber das Ding ist dann immer noch teurer als ähnlich schnelle Desktop Komponenten, dafür halt sparsamer und kompakter.
Das wäre dann aber auch wieder ein Monolith. Das passt ja auch zu deinen Anforderungen (nur 2 Varianten). MCM wäre da overkill und vom Packaging her zu teuer.

Wenn dem so ist, werden AMD auch schon deshalb eine ganze Menge an Instincts verkaufen können, und die Meldung über Microsofts Bestellungen bei AMD die @8j0ern reingestellt hat zeigt ja schon, wie das jetzt losgeht.

Microsoft hatte auch von den MI250X schon größere Mengen für Azure AI abgenommen. MS will halt den Kunden beide Möglichkeiten (NVidia und AMD) bieten und AMD wird vermutlich deutlich billiger als NVidia sein. Und AMD hat vermutlich auch entsprechende Kapazitäten bei TSMC bestellt, weil sie ja auch El Capitan aufbauen müssen. Alleine für den braucht AMD zwischen 55k und 60k Chips (der soll ca. 40 MW haben, bei grob 700W pro Chip kommt man auf etwa 57k Chips).

 

[eastcoast_pete]

Die APUs in den Konsolen sind aber Monolithen, das spart natürlich Kosten und Strom. Und die rechnen sich auch nur, weil AMD da garantierte Abnahmemengen von Millionen Chips im Quartal über mehrere Jahre hat und damit die Entwicklungskosten sehr breit verteilen kann.
Im PC Bereich ginge das nur so lange, bis die Nachfolge-Gen da ist. Dann verkauft sich die alte Gen nur noch über den Preis. Man müsste also die Entwicklungskosten über eine sehr viel kürzere Zeit herein holen, also einen höheren Preis ansetzen.

Knapp das doppelte, also knapp 1000€ für so eine APU? Für den Preis gibt's halt auch eine 7800XT, den 7800X3D, ein passendes Board und Ram. Man hat also als Kunde keinen Kosten-Vorteil, aber kann eben nicht Aufrüsten, wie man will (weder CPU, noch GPU, noch Ram!). Und dann 2 Varianten? Mit 16GB Ram und 32GB Ram? Oder auch unterschiedliche CPU/GPU? Dann dafür mit gleichem Ram? Oder die kleine Variante mit 16GB Ram, die große mit 32GB? 16GB finde ich heutzutage klar zu wenig (ist ja VRAM und CPU-Ram kombiniert), selbst 32GB Ram wären für meinen Geschmack knapp. 32GB/64GB wird preislich dann schwierig... Du siehst schon, das wäre auch für AMD eher schwierig, die richtigen Varianten zu wählen, weil es da viele Möglichkeiten gibt.
Wie gesagt, da gibt's sicherlich Kunden, die das mitgehen würden. Aber viel zu wenige, als dass sich das für AMD rechnen würde.

Was vielleicht Wind in das Thema bringen könnte, ist CAMM2, so könnte man vielleicht den Ram aufrüstbar gestalten. Und mit 2 CAMMs könnte man vielleicht sogar 256Bit SI anbieten, um die GPU mit ausreichend Bandbreite zu versorgen. Aber aktuell gibt es da noch zu viele Kompromisse und damit zu wenig Kunden. Mit CAMM2 könnte man sich vielleicht eine High End Notebook Lösung auch für den Desktop vorstellen. Aber das Ding ist dann immer noch teurer als ähnlich schnelle Desktop Komponenten, dafür halt sparsamer und kompakter.
Das wäre dann aber auch wieder ein Monolith. Das passt ja auch zu deinen Anforderungen (nur 2 Varianten). MCM wäre da overkill und vom Packaging her zu teuer.


Microsoft hatte auch von den MI250X schon größere Mengen für Azure AI abgenommen. MS will halt den Kunden beide Möglichkeiten (NVidia und AMD) bieten und AMD wird vermutlich deutlich billiger als NVidia sein. Und AMD hat vermutlich auch entsprechende Kapazitäten bei TSMC bestellt, weil sie ja auch El Capitan aufbauen müssen. Alleine für den braucht AMD zwischen 55k und 60k Chips (der soll ca. 40 MW haben, bei grob 700W pro Chip kommt man auf etwa 57k Chips).

Ohne den "armchair general" Ansatz allzu viel weiter zu treiben, nur ein Kommentar zum Thema Chiplets. Die sind um einiges ökonomischer als Monolithen wenn die Transistoren Zahl etwas größer wird; bei einer APU mit einigermaßen großer GPU würde das ja auf jeden Fall zutreffen. Auch Nvidia wird ja zumindest bei einigen Modellen ihrer nächsten Generation (Rubin) auf Chiplets/Kacheln wechseln, und AMD stellt ihre Karten, größere CPUs und jetzt auch den Instinct Beschleuniger auf Chiplet Basis her. Ich gucke mal nach einer guten Referenz dafür und stelle den Link hierzu gerne rein.
Abschließend: das Gedankenexperiment war bzw ist ja auch nur das; so eine PC/x86 - x64 Alternative zum Mac Studio wär eben etwas wirklich neues, und aus meiner Sicht ein Mini-PC auf Steroiden. Mir gefallen die Kraftzwerge eben, auch wenn sie eher in Midi statt Mini Größe daherkommen würden (bei entsprechend größerer Leistung, natürlich).

 

[8j0ern]

Ich habe mir das Event angeschaut, als sie die MI300X vorgestellt haben.
Da hat Lisa Su selbst, die Plattform mit 8x MI300X präsentiert, eine ist schon Ordentlich, aber gleich 8 Stück in einem System ?!?

 

[eastcoast_pete]

Hier eine Referenz die Chiplets vs Monolith Design recht gut diskutiert, und durchaus Licht und Schatten bei beiden erwähnt. Der Trend geht auch zu einem hybriden Design, je nachdem, welche Parameter wichtiger sind: https://semiengineering.com/the-good-and-bad-of-chiplets/

 

[Oberst]

Abschließend: das Gedankenexperiment war bzw ist ja auch nur das; so eine PC/x86 - x64 Alternative zum Mac Studio wär eben etwas wirklich neues, und aus meiner Sicht ein Mini-PC auf Steroiden. Mir gefallen die Kraftzwerge eben, auch wenn sie eher in Midi statt Mini Größe daherkommen würden (bei entsprechend größerer Leistung, natürlich).

Warten wir mal CAMM2 ab. Wie gesagt, ich könnte mir vorstellen, dass damit die Mini-PCs zusätzlichen Wind bekommen und AMD wirklich mal eine Mid-Range GPU in so ein Paket packt. Aktuell scheitert das halt immer an der Speicherbandbreite (oder man kann nicht aufrüsten). Aber wenn man für Gaming Notebooks eine CPU vom Schlage eines 7800X3D und eine 7800XT kombinieren und mit ausreichend schnellem und aufrüstbarem Ram versorgen kann, warum nicht? Vor allem beim Ram ist die Flexibilität oft sehr gewünscht, CPU und GPU kann man im Notebook ja nur selten aufrüsten. Und das Problem könnte CAMM2 durchaus lösen oder zumindest abmildern. Ist dann nur die Frage, wie es mit den Kosten aussieht. Aber das muss die Zeit zeigen.