Funkt für DLSS die Karte eigentlich die ganze Zeit nach Hause oder wie funktioniert das?
Nein, das ist nicht nötig. Die Modelle (korrekter: DAS Modell seit DLSS 2.0) werden vorher von NVidia auf hochauflösenden Bildern trainiert und mit den Treibern ausgeliefert. Auf der Graka läuft dann das trainierte Modell und versucht ein passendes Bild anhand des KI-Modells zu erzeugen.
Neue Befehlssätze sind halt nunmal Hardwareabhängig. zB. MMX2 lief auch auf keiner CPU der Generation vor Einführung.
Wie gesagt: Ich hätte gerne einen Beleg für neue Befehlssätze in den CPUs. AFAIK wurde da NICHTS angekündigt.
Das ist ja gerade mein Problem mit dieser Abhängigkeit! Wenn es einen neuen Befehlssatz gibt, dann ist es nachvollziehbar. Wieso sollte der Befehlssatz, also das Rückgrat von SAM nicht angekündigt werden, wenn SAM angekündigt wird? Das ist nicht logisch.
@Grestorn: Erst ein paar Deiner Zitate, Antwort darunter
Selbst das nicht. Es wird nichts runtergeladen. Was für DLSS benötigt wird - wenn da überhaupt noch etwas von "großen Rechnern" berechnet wird, was ich eigentlich seit DLSS 2 nicht mehr glaube - ist in d
Ja. Aber ich glaube das nicht. Aus dem einfachen Grund, dass für die Funktion von DLSS in einem Spiel keine bestimmte Treiberversion vorausgesetzt wird.
Das war vermutlich mal der Plan, aber es hat sich anders entwickelt mit DLSS 2
Das bezweifle ich inzwischen. Da ich mir auch nicht vorstellen kann, wie das gehen soll. Ein Spiel ist viel zu dynamisch um da irgendwas vorzurendern.
Da man nie etwas davon gehört hat, dass DLSS schlechter funktioniert, wenn man keinen GameReady Treiber hat, glaube ich das nicht.
Meine Meinung: Die Folien sind allesamt zu einem Zeitpunkt entstanden, wo man das noch so geplant hatte, also DLSS1.
DLSS 2 funktioniert anders. Und zwar komplett autark. Der Algorithmus muss nicht für ein Spiel konkre trainiert werden, sondern er rechnet alleine auf Basis der Daten des Spiels selbst und verrechnet aufeinanderfolgende Frames um alle Details zu erfassen, die eigentlich zu fein wären für die Auflösung.
AI bzw. neuronales Netz wird schon zum Einsatz kommen, aber eben ein statisches, bzw. autark lernendes.
Dadurch ist es auch zunehmend einfacher für Spiele DLSS 2 zu integrieren.
Das hier ist keine Glaubensfrage!
Ich zitiere für Dich von NVidia:
Bewegungsvektoren sagen uns, in welche Richtung sich Objekte in der Szene von Frame zu Frame bewegen. Diese Vektoren können wir auf die letzte hochauflösende Frame-Ausgabe des Netzwerks anwenden, um zu schätzen, wie der nächste Frame aussehen wird.
Quelle:
https://www.nvidia.com/de-de/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendering/
Unter "DLSS 2.0 – so funktioniert es"
Dort kannst Du nachlesen, wie es funktioniert:
1. NVidia trainiert ein KI-Model auf seinem Supercomputer anhand von extrem hochauflösenden Bildern
2. Das Modell wird in die Treiber gesteckt und ausgeliefert
3. Deine Grafikkarte nimmt das Modell und Bewegungsvektoren, um zu erraten, wie das Bild aussehen soll. Siehe auch Zitat oben: "um zu schätzen, wie der nächste Frame aussehen wird"
KI funktioniert *immer* so: Es wird ein vorher antrainiertes Modell auf gewisse Daten angewendet, um etwas passend zum Modell zu "erraten".
Verändert man das Modell, so verändert sich die Ausgabe.
Es werden LOKAL keine hochauflösenden Bilder generiert! Das ist falsch. (Hatte glaube ich hier irgendwer auch geschrieben...) Das ist die Aufgabe des Supercomputers.
Wenn unsere popeligen PCs die Frames in 16k berechnen könnten, bräuchte man kein DLSS. Nur der Supercomputer nimmt die extrem hochauflösenden Bilder und trainiert damit das Neuronale Netz. Einzig das, was dabei heruaskommt, ist das, was ausgeliefert wird. Nicht die hochauflösenden Bilder, die zum Training verwendet wurden, nicht "das nächste Frame", sondern nur das Modell, welches, unter Berücksichtigung des letzten Frames und der temporalen unterschiede (Bewegungsvektoren) dann sagt, was dabei herauskommt.
Das Modell wird jedoch von NVidia erstellt, stetig aktualisiert und ausgeliefert (als Treiber-Update, oder so). Die Grafikkarte wendet das Modell an.
Das Modell kann nicht von der Grafikkarte erstellt werden. Dafür sind die Grafikkarten viel zu schwach.
Somit bleibe ich bei meiner Aussage: Es wird (mit Hilfe eines gut trainierten KI-Models) geraten, was angezeigt wird.
NVidia stimmt mir hierbei zu. Und wenn der Hersteller es selbst so bezeichnet auf seiner eigenen Webseite, die diese Technologie erklärt, dann bin ich mir auch recht sicher, dass es stimmt. Zumal es zu dem passt, was ich über neuronale Netze und KI unabhängig von Nvidia und DLSS weiß.
Und ich finde es sportlich, wenn man sagt, dass man dem Hersteller nicht glaubt wie eine eigene Technologie funktioniert. Vor allem, wenn das, was der Hersteller selbst sagt, weniger positiv ist.
Umgekehrt (für gute PR machen manche fast alles), wäre es noch nachvollziehbar. Seine eigene Technologie auf "schätzen" zu reduzieren, ist jedoch nichts, was ein Hersteller freiwillig macht, wenn es denn etwas anderes wäre.
Bitte schau Dir die NVidia-Seite zu DLSS (Link sehe oben) an. Achte dabei genau, ob gerade vom Trainieren des Netzwerks berichtet wird, oder davon, wie es auf dem PC dann später läuft.
Hinweis: Beim Trainieren sind immer die hochauflösenden Bilder und die Vergleiche genannt.
Wie in diesem Abschnitt:
Beim Trainieren des KI-Netzwerks wird dann das Ausgabebild mit einem sehr hochwertigen, nativen um mit 16 K gerenderten Referenzbild verglichen. Der Unterschied wird wieder dem Netzwerk kommuniziert, sodass es mit den Ergebnissen weiter lernen und sich verbessern kann.
Und wenn die Algorithmen dann feststellen, dass das Netzwerk ein "hinreichend gutes" Bild errät aus den niedrigeren Auflösungen, ist das Training abgeschlossen. Die hochauflösenden 16k Bilder benötigt man dann nicht mehr.
Bei solchen KI-Modellen ist jedoch immer Vorsicht geboten:
- Wir Menschen wissen oftmals nicht mehr, was das Netzwerk überhaupt macht und an welchen Details es sich trainiert hat. Es kann also auch überraschend falsche Ergebnisse liefern, selbst wenn es in 99% aller Fälle (oder in 100% aller getesteten Fälle) genau das macht, was man erwartet.
- Sobald das Netz auf unbekannte Daten stößt, versagt es. Es ist genau da gut, wo es trainiert wurde.
Das gilt auch abseits von DLSS. Es gibt auch generierte Störmuster, die diese KI-Modelle absichtlich scheitern lassen. So kann man durch einen kleinen Aufkleber mit dem "richtigen" Muser Kamerasysteme in Autos dazu bringen, dass sie Geschwindigkeitsvektoren invertieren.
Das führt dann dazu, dass ein vorausfahrender Bus plötzlich als entgegenkommend gewertet wird und eine Notbremsung vom System eingeleitet wird.
Ist bereits bewiesen und nichts neues. AFAIK hatte Heise darüber auch einen Artikel.
Gefunden:
https://www.heise.de/hintergrund/Pixelmuster-irritieren-die-KI-autonomer-Fahrzeuge-4852995.html
KI-Systeme liefern keine präzisen und exakt vorhersagbaren Berechnungen. Da existieren extrem komplizierte automatisch erstellte Vorhersagemodelle, die anhand von "irgendetwas" ein Muster zu erkennen meinen. Und das "irgendetwas" ist eben nicht ein komplettes Bild, so wie wir Menschen das sehen: Die Bilddaten werden oftmals (für einen Menschen) bis zur Unkenntlichkeit gefiltert, auf Kanten reduziert, etc. Es kann sogar sein, dass ein System sich "ausversehen" auf Bildrauschen hin trainiert. Es gibt auch "übertrainierte" Systeme, da man nicht bemerkt hat, dass z.B. in den Trainingsdaten gewisse Eigenarten (also im Grunde Fehler) waren, die durch das Netz dann erkannt und als relevant für die Erkennung eingestuft wurden.
Das ist ein irre kompliziertes Gebiet.
Kurz:
DLSS läuft zwar auf der Graka, doch es basiert auf einem Modell, welches von NVidia auf deren Supercomputer trainiert wird / wurde und mit dem Treiber ausgeliefert wird. Dieses KI-Modell versucht eine Art Mustererkennung durchzuführen und nach seinem Algorithmus anhand der (niedrig aufgelösten) Bildinhalte und Bewegungsvektoren das nächste hochauflösende Bild zu erraten.
Das funktioniert offensichtlich in Computerspielen oftmals ganz gut. "Geschultes Raten" bleibt es trotzdem. Und so sieht es auch NVidia.