Artificial Intelligence Latest news

TensorWave plans world’s largest AMD GPU cluster with gigawatt capacity by 2025

TensorWave, a cloud service provider focused on AMD’s AI technology, has announced that it is developing GPU clusters based on AMD’s Instinct MI300X, MI325X and MI350X accelerators. The aim is to provide a scalable computing infrastructure with an energy requirement of up to one gigawatt.

Source: TensorWave

The planned clusters are based on AMD’s Instinct accelerators, which are optimized for AI workloads. The MI300X and MI325X models, as well as the upcoming MI350X generation, use advanced architectures to efficiently process applications such as machine learning and neural networks. A key aspect of the development is the use of the newly introduced Ultra Ethernet standard, which the company claims will improve data transmission within AI systems.

Ultra Ethernet is intended to offer an alternative to existing interconnect solutions by enabling higher bandwidths and lower latencies. This could be crucial in order to fully exploit the computing power of large clusters. The exact implementation of the standard and further technical details have not yet been published. TensorWave is deliberately leveraging AMD’s AI portfolio, which is currently trying to build a stronger position in a market segment dominated by NVIDIA. The company is pursuing the goal of making AI technologies accessible for broader application scenarios by relying on AMD’s products. TensorWave sees itself as a partner that supports the expansion of AMD’s market share in the AI sector.

The decision in favor of AMD is based on the potential of the Instinct series to offer a cost-effective alternative to existing solutions. While NVIDIA continues to control the majority of the AI hardware market, AMD offers a competing option with its Instinct accelerators, which are specifically designed for highly scalable systems. TensorWave could therefore play a key role in the adoption and proliferation of these technologies. The implementation of a GPU cluster with an energy requirement of up to one gigawatt poses considerable technical and infrastructural challenges. In addition to the hardware, issues of energy supply, cooling and data security must also be addressed. The market dynamics are also influenced by NVIDIA’s dominant position, which poses a challenge for AMD and partners such as TensorWave.

Whether and how TensorWave can realize its plans remains to be seen. There is currently no concrete information on the timetable or the planned completion of the clusters. However, industry observers see the decision to rely on AMD’s AI hardware as a possible step towards diversifying the market, which could also motivate other providers to further develop their technologies in the long term. With the planned implementation, TensorWave is positioning itself as a provider that wants to offer specialized solutions for demanding computing requirements. How successful this strategy will be depends on the extent to which AMD continues to optimize its products and how the demand for alternatives to existing AI solutions develops.

Source: TensorWaves vie LinkedIn

Kommentar

Lade neue Kommentare

LurkingInShadows

Urgestein

1,411 Kommentare 605 Likes

Da gilt 1 GW = 1.000 MW

in .de gibts scheinbar 2 Wasserkraftwerke die das stemmen könnten.

Antwort 1 Like

Klicke zum Ausklappem
T
TheSmart

Veteran

470 Kommentare 234 Likes

Das hört sich vlt erstmal nach viel an.. aber für den KI-Zug werden ganze Atomkraftwerke reaktiviert in den USA.
Irgendwo habe ich mal gelesen die ChatGPT -Datenzentren in etwa so viel verbrauchen wie eine ganze Kleinstadt^^

Antwort Gefällt mir

e
eastcoast_pete

Urgestein

2,037 Kommentare 1,291 Likes

Neben der sehr erheblichen Mengen an Strom, die hier angeblich verbraucht werden sollen, bleibt auch noch die Frage, woher die zig Milliarden für die Instincts kommen sollen, die dann 1000 MW verbrauchen. Laut AMD (October 2024) zieht ein Instinct MI 325X bis zu 1000 Wh oder 1 kWh. Also würde ein Verbrauch von 1000000 kWh so Pi mal Daumen ungefähr 1 Millionen Instincts bedeuten (etwas weniger, da auch Energie für Kühlung usw veranschlagt werden muss). Selbst zum absoluten Freundschaftspreis wäre das mehr als der gesamte Jahresumsatz von AMD.
Also, geht es hier um eine Machbarkeitsstudie, mit der dann Investoren angelockt werden sollen, oder will jemand AMDs Aktienpreis nach oben treiben? Hmm...

Antwort Gefällt mir

z
zass

Mitglied

19 Kommentare 2 Likes

Völlig falsche Größenordnung:

500 TWh entspricht dem Verbrauch Deutschland in einem Jahr:

Da werden sich die Verbraucher in Zukunft auf die Strompreise freuen.

Antwort Gefällt mir

Klicke zum Ausklappem
HerrRossi

Urgestein

6,909 Kommentare 2,298 Likes

In Deutschland wird wohl niemand so ein KI-Rechenzentrum bauen.

Antwort Gefällt mir

O
Oberst

Veteran

355 Kommentare 149 Likes

MI350 wird wohl nicht 2025 kommen. Daher ist das wohl eher eine Vision, wie es mal in ein paar Jahren aussehen soll.

Und du hast vergessen, dass man mit den GPUs alleine nicht weit kommt. Man braucht noch CPUs, Boards, Netzteile, Netzwerke und Kühlung. Alleine die Kühlung wird vermutlich 1/3 des Gesamtverbrauches ausmachen und in den Dimensionen ist die Netzwerk Hardware auch ein nicht unerheblicher Verbraucher. Letztendlich wäre der Verbrauch der Rechner (Board, CPU, GPU, Ram und Netzteil) wohl eher bei 500MW, was immer noch irrsinnig viel ist (ElCapitan braucht 40MW, nutzt aber auch die effizienten MI300A APUs).
Aber nehmen wir mal folgendes an: 4 MI325 pro Server, ein Epyc, Board und Ram. Das macht grob 4,4kW (4kW für die 4 MIs, 300W für den Epyc, 100W für Board und Ram). Dazu dann noch das Netzteil, bist du grob bei 4,9kW. Man bräuchte also grob 100k solcher Server. Das hat schon was von Größenwahn...

Du hast Recht, das soll wohl eher dazu dienen, Investoren anzulocken. Und das wird sicherlich auch nicht ein einzelnes Rechenzentrum werden, sondern mehrere kleinere. Aber dass es eine Firma gibt, die so was bauen will, kann ich mir gut vorstellen. Gerade auch vor dem Hintergrund, dass zukünftig in KI das Inferencing immer wichtiger werden wird und man damit auch bei KI Abfragen viel Leistung brauchen wird (und gerade beim Inferencing ist AMD schon gut Konkurrenzfähig). Die Firma und potentielle Investoren sehen halt die dicken Dollar-Bündel winken. Ob es dann tatsächlich so kommen wird, entscheiden aber die Kunden.

Antwort Gefällt mir

Klicke zum Ausklappem
Corro Dedd

Urgestein

1,896 Kommentare 736 Likes

Schon Wahnsinn, wie viel Energie dafür verballert wird (oder werden soll).

Antwort 1 Like

HerrRossi

Urgestein

6,909 Kommentare 2,298 Likes

Ja, es ist schon fragwürdig, ob die Hilfestellung durch AI so einen Energieeinsatz rechtfertigen. Ganz ähnlich zum Energieverbrauch für Krypto"währungen".

Antwort 1 Like

e
eastcoast_pete

Urgestein

2,037 Kommentare 1,291 Likes

Ich werde mal OpenAI usw fragen, ob KI den ganzen Stromverbrauch dafür wert ist 😁.

Antwort 4 Likes

e
eastcoast_pete

Urgestein

2,037 Kommentare 1,291 Likes

Ich hab mal Perplexity gefragt, und hier die Antwort:
"The energy consumption of artificial intelligence (AI) is significant, with AI models requiring substantial computational power and energy, particularly during training phases2;3. This has raised concerns about environmental impacts and increased carbon emissions3;5. However, AI also offers potential benefits in energy efficiency. It can optimize energy use in various sectors, such as improving grid management, predicting energy demand, and enhancing renewable energy integration1;4. While the energy demands of AI are high, its capacity to drive efficiencies and support the transition to a low-carbon economy suggests that it can be a smart expenditure if managed sustainably4;5."
Verbatim, außer den Semikolons zwischen den Referenzen, die ich eingefügt habe, damit man sehen kann, daß es zB nicht "14" statt 1 und 4 sein soll. Referenz 5 ist zB diese hier: https://www.weforum.org/stories/202...ergy-demand-today-tomorrow-and-in-the-future/

Wenigstens hat die KI hinter Perplexity nicht fabuliert oder einfach gelogen.

Antwort 2 Likes

z
zass

Mitglied

19 Kommentare 2 Likes

Dann frag den Kasten doch mal wieviel Energie KI sparen kann und wie viel KI mit wie viel Energie man dafür braucht.
Das ist aber eine coole Anwendung der man froh sein muss wenn die nicht lügt.

Antwort Gefällt mir

HerrRossi

Urgestein

6,909 Kommentare 2,298 Likes

ChatGPT erfindet aber gerne mal Sachen, wenn es die Antwort nicht weiß. Ist das schon "lügen"?

Antwort 2 Likes

Corro Dedd

Urgestein

1,896 Kommentare 736 Likes

Nein, das ist künstliche Fantasie :p

Antwort 2 Likes

e
eastcoast_pete

Urgestein

2,037 Kommentare 1,291 Likes

Das Problem beim Fabulieren kommt (aus meiner Sicht) auch daher, daß die KI ihre Antworten nicht selbst nachprüft. Zum Lügen kommt es IMHO dann, wenn Referenzen für angebliche Fakten entweder verfälscht oder ganz erfunden werden. Jetzt kann ich bei einer KI nicht absichtliche Täuschung beweisen, aber solange sie nicht einfach sagen kann "das weiß ich nicht" wenn sie keine Antwort findet würde ich eine erfundene Antwort schon als gelogen bezeichnen.

Antwort Gefällt mir

T
TheSmart

Veteran

470 Kommentare 234 Likes

Naja um dieses phantasieren der KI´s zu stoppen hat OpenAi kürzlich eine neue KI vorgestellt, die nicht wie üblich mit Statistiken arbeitet, sondern so eine Art echtes nachdenken bietet.
Dafür braucht sie aber aktuell auch noch bis zu einer Minute "Nachdenkzeit" um dann eine Antwort auswerfen zu können.

Antwort Gefällt mir

z
zass

Mitglied

19 Kommentare 2 Likes

Gibt es Beispiele was dieses Ding kann?

Antwort Gefällt mir

LurkingInShadows

Urgestein

1,411 Kommentare 605 Likes
8j0ern

Urgestein

3,169 Kommentare 1,012 Likes

Naja, PCI-E 6.0 und CXL 3.1 gibt es bald im FPGA: https://de.investing.com/news/compa...ung-fur-cxl-31-und-pcie-gen6-vor-93CH-2775259

Warum sollte sich das nicht Skalieren lassen ?

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Samir Bashir

Werbung

Werbung