Basics GPUs Graphics Reviews

The “secret” behind NVIDIA’s sophisticated telemetry: the role of Buckets, Speedo and Continuous Virtual Binning (CVB)

I had already written a very similar article almost a year ago about the binning of the GeForce RTX 4070 and the difference between MSRP and OC cards. However, the theoretical part on the second page was somewhat neglected, very wrongly in my opinion. The launch of the super cards is coming up soon and the question is always being asked as to how NVIDIA will manage to use the energy supplied much more efficiently. Of course, I can’t and don’t want to publish a white paper here or completely overwhelm the reader with technical frippery, but if you break everything down to a normal level, I think it’s actually quite exciting to read.

Binning as pre-selection and the role of “Speedo”

Of course, I have to take this opportunity to explain the most important terms to you. First of all, however, let’s stay fairly general. Binning refers to the sorting of GPUs in a model series into different quality classes (“buckets”) within a certain from-to range. For example, we know bin 0 (worse) and bin 1 (better). The individual GPUs from such a “bucket” can therefore also deviate from each other and from each other, but only within the specified tolerances (so-called “GPU lottery” at the customer). What was previously recognized as partially defective ends up one weight class lower in a slimmed-down GPU with the same initial chips and is also sorted into buckets again. However, the unusable remainder is then waste.

When you buy a graphics card, it may be a product with different advertised clock speeds, but they all have the same design and the same manufacturing process. However, the GPUs are separated from each other due to process variation (quality variations). However, they all have something in common: a maximum performance specification called TGP (also known as Total GPU Power). This also allows me to spoil the “virtual binning”, which I will discuss in a moment.

After the buckets comes the next step up. Here, the first pre-selection is generally used to put together various other (refined) “buckets” with almost identical clock rates. As is well known, the AIC and the end customer always attach the greatest importance to the ratio of performance to required energy, so that NVIDIA offers the customers exactly those “buckets” that only include chips that also offer the same performance with a similar TGP. This can be more economical or thirstier, but within the bucket, all GPUs are at least more or less equally fast. The only difference between the “buckets” is the different power consumption.

Depending on the quality level, these buckets can then be operated at very different voltages. The power specification is the maximum virtual performance of such a bucket. In the end, the actual implementation consists solely of operating slower chips at a higher voltage and faster chips at a lower voltage in order to achieve the best performance for a given performance environment. The clock speed of the chip (slow vs. fast) is controlled by a variable called “Speedo”, which is burned into the GPU during the so-called ATE flow as part of the FT (Final Test) phase.

Right now I have to explain a few things. ATE stands for “Automated Test Equipment”. These are systems that automatically test electronic components or printed circuit boards for functionality and quality (to increase production efficiency and reduce the error rate). The “Final Test Phase” is the last test phase in a production or development process, where all previously identified errors are rectified and the product is tested for functionality, performance and quality.

“Speedo” is a term used in the semiconductor industry for circuits that monitor the process, voltage and temperature (PVT) variations in integrated circuits. Such specialized Speedo circuits allow GPUs to dynamically adjust their performance and power consumption by taking into account the chips’ response to changes in process, voltage and temperature. These adjustments can be achieved, for example, by changing the clock frequency and supply voltage. I will come to this on the next page.

It is important to note that the term “Speedo” is not standardized and can have different meanings in different companies. However, a general explanation can be given as to how this term is usually used:

  • Measurement of performance and quality:
    Speedo systems are used to measure the performance and quality of semiconductor devices. This usually involves evaluating the speed at which a chip can function and determining its maximum performance.
  • Process variations:
    In semiconductor manufacturing, there are natural variations in the manufacturing process. These variations can affect the performance of individual chips. A Speedo system helps to identify and quantify these variations.
  • Binning process:
    After chips are manufactured and tested, they are often classified through a process called “binning”. Here, chips are categorized according to their performance and other parameters. Speedo measurements are an essential part of this process as they determine how well a chip performs and which performance category it falls into.
  • Optimization and design feedback:
    Speedo data can also be used to optimize the manufacturing process and improve future chip designs. By understanding how different design decisions affect chip performance, engineers can develop better designs for future generations.
  • Temperature and voltage dependence:
    In addition to measuring performance, Speedo systems often take into account how a chip’s performance depends on factors such as temperature and supply voltage. This is important for determining the operating conditions and reliability of the chip.

Speedo systems are therefore an important and even indispensable part of the semiconductor industry, as they enable a detailed and precise evaluation of the performance of semiconductor devices, which is essential for quality assurance and product categorization. We’ll see just how important right after we turn the page.

Kommentar

Lade neue Kommentare

L
Legalev

Mitglied

46 Kommentare 50 Likes

Sehr interessanter Artikel.
Liest sich sehr Aufwendig, dass alles zu Testen.

Wie lange dauert den so ein Vorgang in etwa bis entschieden ist, welche Kategorie die GPU gerecht wird bitte?

Antwort 2 Likes

Igor Wallossek

1

10,202 Kommentare 18,831 Likes

Ds geht recht fix. :)

Antwort Gefällt mir

Martin Gut

Urgestein

7,785 Kommentare 3,577 Likes

Interessant. Mich erstaunt etwas, dass bei so genau getesteten Chips von den Herstellern immer noch eine Reserve von 0.08 bis 0.10 Volt einprogrammiert ist, die man dann mit Untervolten weg schnippseln kann. Wenn die Spannung von Anfang an ein bisschen tiefer eingestellt wäre, wären die Karten doch deutlich sparsamer. Da will man vermutlich einfach keine Risiken eingehen dass mal ein Chip nicht stabil läuft. Da gibt lieber etwas mehr Spannung und nimmt den höheren Verbrauch in Kauf.

Antwort 2 Likes

s
stch

Mitglied

20 Kommentare 7 Likes

In der Massenproduktion reden wir typischerweise über Taktzeiten im Bereich von einigen Sekunden.

Antwort Gefällt mir

s
stch

Mitglied

20 Kommentare 7 Likes

Ökonomisch nachvollziehbar. Feldrückläufer sind sauteuer, Mehrverbrauch beim Kunden bzw. etwas weniger Leistung kostet den Hersteller nichts.

Antwort Gefällt mir

grimm

Urgestein

3,084 Kommentare 2,040 Likes

Speedo ist ja nicht so meins - einen guten Rutsch euch allen!

View image at the forums

Antwort 1 Like

Igor Wallossek

1

10,202 Kommentare 18,831 Likes

Maturing und Elektromigration. Was heute noch geht, kann übermorgen schon instabil sein. Da plant man lieber Reserven für 2 Jahre mit ein. :D

Antwort Gefällt mir

G
Guest

Super Lesestoff!
( ich hab das Whitepaper von Nvidia gelesen.. ggg... Transkriptionslexicon und tech uni Leipzig und MIT old 2019-22.. mit dabei.. molto caffee)1300 Seiten..
Neuer Arbeits-Leicht-Rechner im Testbetrieb.
Die new ada A 4500.. ( 2900 Euro für 192er Schnittstelle is halt.schon halbheftig.dafür bekommt man den vollen Ram der 4090ger bei fix 180-200 Watt..)
Was Nvidia einfach kann, wenn sie wollen, ist das Leistungs Paket mit Energieverbrauch zu verknüpfen.
Und immer der gezielte Kontext der zu erwartenden Anwendung. da gehen die relativ konservativ vor, wenn man Quellcodices liest, oder die Ki macht, da
geht das über ganze Generationen hoch. Und den Vorteil haben die. Und die Alchemy der neuen Lithographen, die man behütet. Da sollen nur relativ
wenige Menschen alles wissen, und dann hat man noch die singuläre Denk-techrichtung von Nvidia, die sich net so weit spreaden wie AMD.
In Formel 1 würde man sagen, der Vatikan ( Ferrari) hat genug Spielgeld, Red Bull noch mehr und MC Laren wird 2024 Weltenmeister, weil sie voll in gehen.
Könnte AMD machen, wenn sie wüssten was sie lassen. Dazu kommt der Hype um KI.. die uns nette neue Waffen, Bomber, Digitalen warfare, Robotik und
so weiter bringt, New BANK POWER.. das Geld wird so schnell und komplex wie nie. Medizin ( nur für die die GELD haben) ( der ELYSIUM Effekt unserer
Gesellschaft zeichnet sich ab. Autokrate Geld Demokratien..) Und ein bisserl Viel ÜBERWACHUNG.. und der neue DIGITALE STÄNDESTAAT.**
In dem Bereich verkauft NVIDIA derzeit 39% strigend seiner HX-100 200 und 300+..

Da bleibt für Hollywood nur noch 15% und GAMEN unter 8%.. Das der Blick ins Jahr nach 24 um 2030.
** das sozial roolo ashole 3.0 wird ausgerollt.. da gibt es keine Menschen mehr. Nur noch digitale Leichen mit Heiligenschein.
Gut..
das MSI bootet ( 400 Euro für das AM5--weil ich als ASUS mensch ASUS mis traue.Heizen wir ein?.) der 16 Core wacht auf.. Ram. Pyn ist da.. yes.. ( rein Linux first..
die Eingeweide liegen Rum.. GEKÜHLT mit oufpassen GROSSER VENTILLATOR ( 3 Noktua hängen dran..) es ist alles schwarz. lol.. und WAKÜ.. lang steht Rom net mehr.. ( Kraken) ( schwarz) ( beQ Big Rock lauert..)(

kreativ schwarz oder st Gotthard dunkelweiss :) peace :)

GUTES GUTES RÜBER KOMMEN IN EIN GESUNDES NEUES JAHR ! und nur das gute Zeug in Maßen trinken. :)

Antwort Gefällt mir

Klicke zum Ausklappem
G
Guest

OpenAI und Axel Springer kooperieren.. !

zum Ersten mal gehen Dünnschiss und Klopapier einen gemeinsamen Weg.
angeblich gibt es 20 Millionen Abonnenten..
Ich werd das nie verstehen. 20 Millionen Hirntote lesen ihren eigen Stuhl..
es kann nur beseer werden 2024 :)

Antwort 1 Like

D
Daves085

Neuling

8 Kommentare 13 Likes

Gibt es eigentlich ein Grundlagenartikel wie MikroChips überhaupt unterschiedlich gut sein können?
Wie kann ich mir das vorstellen als Technik Laie? Schaltung ist doch Schaltung? Ich verstehe dass es in den Chips mal defekte Bereiche geben kann , die deaktiviert werden, aber warum führt dass dann dazu dass ich den Chips mit höheren Voltzahlen betreiben muss?

Antwort 1 Like

Pfannenwender

Veteran

302 Kommentare 195 Likes

Soweit zu dem, was ich verstanden habe. :unsure:

Dir auch nen Guten. 👍

Antwort 1 Like

Igor Wallossek

1

10,202 Kommentare 18,831 Likes

Waferqualität, Lithografie... Da reichen schon klitzekleinste Abweichungen und Unschärfen. Außerdem nehmen nach außen hin die guten Chips ab, der Edelstoff kommt fast immer direkt aus der Mitte :)

Antwort Gefällt mir

G
Guest

Und deswegen heißt die rtx 4090 D.. DIESEL ? soory..
( diese diplomatische Verrenkung hat was von Habsburger und Wallenstein und so weiter.. chschinna)

Frage : hat SCHWERKRAFT einen Einfluss auf den Lithographen? ich würde das ja in der Raumstation bauen.
Dazu ein Extra Zuschlag von Nvidia..oder?

Antwort Gefällt mir

G
Guest

offtopic info :
AM5 INFO : 16 core + pyn a 4500 2 m2 2 ssd

Board : MSI MPG X670E Carbon WIFI ( 430 euro..26.11.23)

gut:

-Kein Spulen fiepen mit dedizierter GraKa und ohne is auch nix ( also Audisection leise)
-6 SATA-Ports ohne Lane Sharing mit den 4 M2-Ports.. bisserl verbaut
-PCI-E Gen 5 Unterstützung

schlecht :

-Bootverhalten & Neustarts dauern nach Einstellungen ewig. Teils Soft-Resets erforderlich. Für häufige Bios-EinstellungenOC nicht geeignet. Mach ich eher eh nicht.
Das Board wird mit DDR 6000 betrieben und hier gibt es leider noch das typische Problem mit den Bootzeiten, sobald man Expo nutzt und Max Speed von den Rams fordert
-MSI Center & Apps hängen sich häufig auf oder starten nicht. ( schauen was man nicht br)
- Beleuchtungsklimbim is ma wurscht ( abgezwickt)

- Bootzeiten, Bios, Neustart : das dauert nach dem ersten kalten Einstellen viel länger.
-kann die 5 Minuten erreichen ( sobald OS treiber etz gehen wir auf unter 45 sec..)
- bei Soft-Reset startet das Board aber ohne Probleme und bootet in Windows. supa!
-MSI-Center Software ist mir eh sch egal..nur was nötig. und weiter

CPU : Ryzen 9 7950x CPU

zu dem ist net viel zu sagen. ich find den lauwarm ( wenn man vom gen2- Threadripper kommt)

Kühlung : erstmals macht der Inschdallatuer WAKÜ. die KRAKE. Das Gedärm hat im Cosair500
Platz... Bis jetzt sind Temps ( Cpu ist auf Test temp gestellt- 30% unter Vmax) mittel.
45 bis 68..72 Grad ( cb 2023 hier schon bei 30.000+)

Ram : übliche 2 x Corsair DDR5 6000er Riegel. 64gbt..vorerst.
Keine Kollision mit letzer Agesa.. ( ich hab da nette Sammlung)

- PCI: der 1 Slot ist echt etwas bescheuert unterm CPU Feld und tiefer..wegen des der M2-slots

- M2: da ich lieber lauwarm habe sind die Samsung 990P die Grenze ( interesssante temps
beim Starten der Corrona Render Engine ..)

- Nivea Pyn A 4500. Ereignislos normal. Der Stecker hat nix zum tun.
- Das neue SEASONIC 1000 er reicht ( es konnte seit Nov aus stinken..)
- 8 Noctua 14er grau drehen mit 480 bis 800.. Das reicht.
_ die Pyn wird nach der Probezeit zersägt und der fitzelPropeller wird ausgebaut und verbrannt.
Noctua. lol ( i lern in dem Alter net mehr um)

--- Des ganze im Cosair 500 drin. 2 weiter normal ssd 4 tbt Datas.. Platzt rdeicht noch.
------------------------------------------------

2h22 speciale ( einige Migrationen aus dem W11 sind im 10er implantiert.. dazu gehört
das aus operieren aller unnötigen Teile. Ein Script.weil wenn die UNREAL-5-4-1 zum ersten mal
drauf gesp wird windooof 2 Stunden Zeit hat alles zu versauen--dazu gibt es einen sog
Scratch- Windosen-10-Container wo datt alles landet = nachher sichten und löschen..etz)
----------------------------------------------
Jetzt nach 2 Stunden is der fertig.
bootet nromal schnell. keine blue Sc. keine Verkutzer.
Ur5
maya
c4d2023
zbrush
3dCoat ( ich empfehle das bad sister of z-brush)
Arnold
Redhift
Corrona ( Bier)
1200 PLugins
audiokrempel

10 bit Monitor Nachbesserung ( nein gerader 4k LG oder BenQ )

mach mal 3ds max mit gebogen Samsung.. zum speiben gehen..::)
----------------------------------------
1 Stund sinnlos Test C4d r2023 Corrona CPU + GPU = 2 gbt datei.
Auslastung CPU 94 % +- GPU 86%-90% ( ich hab gerne etwas Spatzi = wir fackeln später ab)

TEMPS PPO ist immer noch auf sachte. Untervolten kannst beim 16er vergessen = Throtteling wh.
Raum : 19 Grad. normale Luftfeuchte. ( Gösserbier Bock in der Flasche..kalt)
Prügelt die 180 Watt an. also Normal. Temps net über 78 Grad. ( also Wakü richtig herum?)
GPU geht mit dem Minipropeller voll und wird hier sehr heiß ( Corrona mag das)
2te M2 kann sau heiss werden.. bis data in load ende--dann normal.
RESUME : stabil. im Temps Fenster.
---------------------------------geht.

Und nun der zweite : I9 13900 K.. 250 watt und ..) Adobe Bomber.. Asus brett Biege Kit..etz

Lg Peace :) und nun nur noch faul und relax

Antwort Gefällt mir

Klicke zum Ausklappem
LurkingInShadows

Urgestein

1,350 Kommentare 551 Likes

Wie Igor schon schrieb, es gibt IMMER leichte Abweichungen. Wenn dann an einer Stelle zB der Leitungsdurchmesser nicht ganz passt muss man das ausgleichen, nacharbeiten geht ja nicht bei 5 nm.

Antwort Gefällt mir

e
eastcoast_pete

Urgestein

1,480 Kommentare 835 Likes

Der höhere Verbrauch wird allerdings auch vom Kunden bezahlt, während eine schlechter gebinnte GPU, die es mit 100 mV weniger nicht mehr packt, hier Nvidia (oder, bei Navi, AMD) Geld kosten würde.

Antwort Gefällt mir

e
eastcoast_pete

Urgestein

1,480 Kommentare 835 Likes

@Igor Wallossek : Danke, sehr interessant!
Und jetzt etwas, das uU auch mein Unwissen zeigt: Allgemein bin ich im Moment auch von den "KI" Fähigkeiten gerade im Bereich Power Management noch enttäuscht. Eine Steuerung, die die individuellen Eigenschaften der GPU (oder auch APU) lernen kann, sollte damit doch eine noch bessere Feinabstimmung mit entsprechend niedrigerem Verbrauch ermöglichen, oder liege ich da ganz daneben? In der Hinsicht war auch Intels "KI optimierter Thread Director" für Meteor Lake ja auch eher schwach; die ganze "KI" dafür wurde und wird ja bei Intel im Werk gemacht und fließt dann in die Firmware ein, und eben nicht direkt live von der NPU im SoC. Eine wirklich per-Chip individuelle Optimierung wäre (IMHO) wirklich ein großer Schritt nach vorne. Und sowas könnte dann lernen, welche Anwendungen man wann und wie zusammen benutzt, und somit (bei CPUs) Kerne tief schlafen legen und wecken, und bei GPUs und CPUs Taktfrequenz und Spannung noch feiner und antizipatorisch
einstellen. Alles für bessere Effizienz und (!) Schwupdizität.

Frage: Wie ändert sich denn der Stromverbrauch je nach Situation bei Spielen wie Cyperpunk? Gibt's da Artikel zum Nachlesen darüber? (Und ich weiß, ich frag manchmal komische Sachen 😁). Wenn eine KI hier in die Steuerung mit reinkommt, könnte sie auch hier mit Verbrauch und Leistung schneller und feiner anpassen und optimieren.

Antwort Gefällt mir

Klicke zum Ausklappem
LurkingInShadows

Urgestein

1,350 Kommentare 551 Likes

und das interessiert welche Firma? Gerne auch Nennungen weltweit.....

Antwort 1 Like

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Igor Wallossek

Editor-in-chief and name-giver of igor'sLAB as the content successor of Tom's Hardware Germany, whose license was returned in June 2019 in order to better meet the qualitative demands of web content and challenges of new media such as YouTube with its own channel.

Computer nerd since 1983, audio freak since 1979 and pretty much open to anything with a plug or battery for over 50 years.

Follow Igor:
YouTube Facebook Instagram Twitter

Werbung

Werbung