Googles Gemma wird für NVIDIA GPUs optimiert

Kürzlich wurde Googles neues KI-Modell Gemma vorgestellt. Soweit, so spannend. Dabei gab NIVIDIA allerdings bekannt, dass man in Zusammenarbeit mit Google dessen KI-Modell auf NVIDIA GPUs optimiert hat. Und das wird spannend.

Mit Google Gemma wurde ein neues KI-Modell präsentiert, bei dem es sich um ein hochmodernes, leichtgewichtiges offenes Sprachmodell handelt, wobei es Modelle mit 2 und  7 Milliarden Parameter umfasst, die überall ausgeführt werden können. Das ist etwas, was die Kosten senkt und die innovative Arbeit für domänenspezifische Anwendungsfälle beschleunigt.

Die Entwickler-Teams beider Unternehmen haben eng zusammengearbeitet, um Gemma, das auf derselben Forschung und Technologie basiert, wie Googles Gemini-Modelle, mit Hilfe von NVIDIA2 TensorRT-LLM-Technologie weiter zu beschleunigen. Dabei handelt es sich um eine Open-Source-Bibliothek für Sprachmodelle, wenn sie auf NVIDIA-Grafikprozessoren im Rechenzentrum, in der Cloud und auf PCs mit NVIDIA RTX-Grafikprozessoren ausgeführt werden. Dadurch haben Entwickler die Möglichkeit, die über 100 Millionen installierten RTX-GPUs zu nutzen, die weltweit in starken KI-PCs verbaut sind.

Gemma wird auch zusätzlich auf cloudbasierte NVIDIA-Grafikprozessoren nutzbar sein. Das wird auch die A3-Instanzen der Google Cloud, die auf dem H100 Tensor Core-Grafikprozessor basieren, mit inkludieren. Dort wird aber Google auch dieses Jahr noch auch auf NVIDIAs H200 Tensor Core-Grafikprozessoren setzen – mit 141 GB HBM3e-Speicher bei 4,8 Terabyte pro Sekunde.  Unternehmensentwickler haben dann die Möglichkeit, das umfangreiche Ökosystem von NVIDIA zu nutzen. Dazu zählt auch einschließlich NVIDIA AI Enterprise mit dem NeMo-Framework und TensorRT-LLM, um Gemma fein abzustimmen und das optimierte Modell in ihrer Produktionsanwendung einzusetzen.

Bald wird auch Gemma auf NVIDIAs „Chat with RTX“-Demo unterstützt. Die Demo ist eine NVIDIA Tech-Demo, die mit Retrieval-Augmented Generation und TensorRT-LLM Software generative KI-Fähigkeiten auf lokalen, RTX-betriebenen Windows-PCs funktioniert. Dort ist es möglich, seinen eigenen Chatbot mit seinen Daten zu personalisieren. Wer das mal testen will, findet die Dowbloads auch bei NVIDIA auf der Homepage.

Quelle: NVIDIA