Leistungssprung für KI: Llamafile 0.7 bringt 10x schnellere LLM-Ausführung auf AMD Ryzen AVX-512

[Redaktion]

Mit einem bahnbrechenden Update katapultiert Llamafile die Leistung von AMD Ryzen CPUs mit AVX-512 auf ein neues Level. Das Ergebnis: eine bis zu zehnmal schnellere Ausführung von komplexen LLM-Modellen auf lokalen Systemen. Durch die Nutzung des AVX-512-Befehlssatzes, der speziell für KI- und Machine-Learning-Anwendungen entwickelt wurde, ermöglicht Llamafile 0.7 Entwicklern und Data Scientists eine beispiellose Effizienzsteigerung. Während Intel die Unterstützung für AVX-512 in seinen Consumer-CPUs eingestellt hat, setzen AMD Ryzen CPUs weiterhin auf diese zukunftsweisende Technologie. Dies macht sie zur idealen Wahl für alle, die die volle Leistung von Llamafile 0.7 und anderen AVX-512-optimierten Anwendungen nutzen möchten. Benchmarks von Phoronix belegen […] (read full article...)

 

[Onkel-Föhn]

Und AVX 512 wurde doch bei den INTEL 14000´er gestrichen, wenn ich mich recht entsinne ?

 

[hansmuff]

Und AVX 512 wurde doch bei den INTEL 14000´er gestrichen, wenn ich mich recht entsinne ?

Doch vorher schon; Alder Lake S war die 12. Generation und da wurde AVX-512 abgesägt; es gab wohl anfangs chips mit AVX-512, das war aber laut Intel ein Fehler... wenn ich mich richtig erinnere.

Aber die Ironie paßt schon!

 

[Denniss]

die dicken Kerne können es sehr wohl aber da es die kleinen nicht könnten hat man das per firmware unterbunden.
Wer AVX-512 braucht soll sich gefälligst nen Xenon kaufen.

 

[Alkbert]

Wer AVX-512 braucht soll sich gefälligst nen Xenon kaufen.

Also ich würde mir dann eher einen Xeon kaufen - keinen Xenon, heute hat doch jeder LED, abgesehen von medizinischen Endokopiefunzeln. Davon unabhängig ist die Anwendungsbreite für AVX 512 schon eher begrenzt und mein Ur-Alt 10980Xe würde dann auch schon ordentlich runtertakten, weil das richtig Strom frisst und ordentlich Hitze produziert, beispielsweise beim Rendern von X265 oder H264 je nach Software.

 

[Denniss]

Hatte wohl gerade die Autodoktoren auf dem zweiten Bildschirm, daher der Abdrift in die Autowelt.