CPU Latest news

Performance boost for AI: Llamafile 0.7 brings 10x faster LLM execution on AMD Ryzen AVX-512

With a groundbreaking update, Llamafile catapults the performance of AMD Ryzen CPUs with AVX-512 to a new level. The result: up to ten times faster execution of complex LLM models on local systems.

By utilizing the AVX-512 instruction set, specifically designed for AI and machine learning applications, Llamafile 0.7 enables developers and data scientists to achieve unprecedented efficiency gains. While Intel has discontinued support for AVX-512 in its consumer CPUs, AMD Ryzen CPUs continue to rely on this cutting-edge technology. This makes them the ideal choice for those who want to take full advantage of the performance of Llamafile 0.7 and other AVX-512-optimized applications.

Benchmarks from Phoronix impressively demonstrate the performance advantages of AMD Ryzen CPUs with AVX-512, with the Zen 4 “Ryzen” CPU achieving ten times faster query evaluation compared to previous versions of Llamafile.

A milestone for LLM development, Llamafile is an open-source tool that simplifies the execution of LLM models on different hardware platforms. The tool was developed by Mozilla Ocho and is still under development, but already has a large community of enthusiastic users. The new update 0.7 represents another milestone in the development of Llamafile and paves the way for a broader use of LLMs in research and development.

With the support of AVX-512, Llamafile is future-proof and ready for the challenges of the next generation of LLMs. The combination of Llamafile and AMD Ryzen CPUs with AVX-512 provides developers and data scientists with a powerful tool to push the boundaries of what is possible.

Source: Phoronix

Kommentar

Lade neue Kommentare

Onkel-Föhn

Mitglied

77 Kommentare 34 Likes

Und AVX 512 wurde doch bei den INTEL 14000´er gestrichen, wenn ich mich recht entsinne ?

Antwort Gefällt mir

hansmuff

Mitglied

42 Kommentare 26 Likes

Doch vorher schon; Alder Lake S war die 12. Generation und da wurde AVX-512 abgesägt; es gab wohl anfangs chips mit AVX-512, das war aber laut Intel ein Fehler... wenn ich mich richtig erinnere.

Aber die Ironie paßt schon! :)

Antwort 1 Like

D
Denniss

Urgestein

1,516 Kommentare 548 Likes

die dicken Kerne können es sehr wohl aber da es die kleinen nicht könnten hat man das per firmware unterbunden.
Wer AVX-512 braucht soll sich gefälligst nen Xenon kaufen.

Antwort Gefällt mir

Alkbert

Urgestein

931 Kommentare 707 Likes

Also ich würde mir dann eher einen Xeon kaufen - keinen Xenon, heute hat doch jeder LED, abgesehen von medizinischen Endokopiefunzeln. Davon unabhängig ist die Anwendungsbreite für AVX 512 schon eher begrenzt und mein Ur-Alt 10980Xe würde dann auch schon ordentlich runtertakten, weil das richtig Strom frisst und ordentlich Hitze produziert, beispielsweise beim Rendern von X265 oder H264 je nach Software.

Antwort Gefällt mir

D
Denniss

Urgestein

1,516 Kommentare 548 Likes

Hatte wohl gerade die Autodoktoren auf dem zweiten Bildschirm, daher der Abdrift in die Autowelt.

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Samir Bashir

Werbung

Werbung