NVIDIA DLSS 3.5 angekündigt: Revolutionäre Ray Reconstruction Technologie für alle GeForce RTX-Karten

Im Rahmen der diesjährigen Gamescom 2023 hat NVIDIA eine Reihe bevorstehender Aktualisierungen vorgestellt, die sich an die GeForce Gaming-Community richten. Ein Highlight unter diesen Ankündigungen ist die Einführung von DLSS 3.5 Ray Reconstruction, einer Funktion, die ab der kommenden Herbstsaison für alle GPUs der GeForce RTX-Serie verfügbar sein wird, beginnend mit der RTX 20-Serie. DLSS 3.5 präsentiert ein neues Element namens “Ray Reconstruction Technology”, das entwickelt wurde, um die visuelle Qualität von raytracing-basierten Komponenten in Gaming-Szenarien zu verbessern.

Während herkömmliche Rasterisierung jedes einzelne Pixel für jede Frame akribisch berechnet, stößt die Echtzeit-Raytracing-Technik auf Leistungseinschränkungen, die sie daran hindern, diesen Ansatz zu verfolgen. Stattdessen werden während der Darstellung nur eine begrenzte Anzahl von Strahlen über ein grobes Gitter geworfen, was zu intermittierenden “schwarzen” Lücken in den Ray-Ausgaben führt. Um dem entgegenzuwirken, kommt ein Rauschunterdrückungsmechanismus (“Denoiser”) zum Einsatz, der verschiedene Algorithmen ausführt, um diese Lücken effektiv zu füllen.

Mit der Einführung von DLSS 3.5 präsentiert NVIDIA einen optimierten Rauschunterdrückungsmechanismus, der nahtlos mit der DLSS 2 Upscaling-Technologie zusammenarbeitet. Diese Zusammenarbeit führt zu verbesserten Bildqualitätsergebnissen, die gleichzeitig präziser sind. Diese besondere Funktion nutzt die Tensor Cores (im Gegensatz zu den RT Cores) und ist daher mit allen GeForce RTX Grafikkarten kompatibel, die von der Turing-Architektur an aufwärts reichen.

Das Bild unten veranschaulicht den herkömmlichen Ansatz zur Darstellung von Echtzeit-Effekten (RT). Es ist wichtig zu beachten, dass in diesem Szenario die DLSS 2-Upscaling-Funktion aktiviert ist. Zunächst wird das Bild in niedrigerer Auflösung zusammengesetzt und anschließend auf seine ursprünglichen Dimensionen hochskaliert.

In einem ersten Schritt erzeugt die Engine geometrische Formen und Materialeigenschaften, ohne Schattierungseffekte anzuwenden. Diese Informationen dienen als Grundlage für den Aufbau der BVH (Bounding Volume Hierarchy) Beschleunigungsstruktur, die im Kontext des Raytracings eingesetzt wird, um bei der Bestimmung der Wechselwirkungen von Strahlen mit der geometrischen Anordnung der virtuellen Umgebung zu helfen. Im Anschluss daran werden eine Reihe von Strahlen projiziert und ihre Pfade sorgfältig verfolgt, um Schnittpunkte, potenzielle Reflexionen und möglicherweise mehrere Wechselwirkungen zu berechnen.

Diese Ergebnisse werden anschließend vom Denoiser verarbeitet, einer Komponente, die individuelle Pixeldaten in ein kohärentes Bild umwandelt und das Erscheinungsbild von raytracing-basierten Phänomenen wie Reflexionen, Schatten, Beleuchtung oder Umgebungsverdeckung simuliert. Bei Aktivierung des Upscalings erzeugt der Denoiser Ausgaben in einer reduzierten Rendering-Auflösung, nicht in der endgültigen nativen Ausgabeauflösung. Der Denoiser ist sich der endgültigen Auflösung nicht bewusst. Die Komplexität wird weiter erhöht durch eine zusätzliche Herausforderung, da der Upscaling-Prozess keine Kenntnisse über Strahlen hat; er erhält lediglich die pixelbasierte Ausgabe vom Denoiser, ohne die ursprünglichen Raytracing-Daten an dieser Stelle beizubehalten.

Das zentrale Problem in Bezug auf Rauschunterdrücker liegt darin, dass sie auf vorausgegangene Bildsequenzen angewiesen sind, um ausreichend Pixeldaten für das finale Bild zu sammeln. Als Resultat entsteht die Ausgabe von raytracing-basierten (RT) Inhalten aus der Kombination mehrerer vorheriger Bildsequenzen. Die oben bereitgestellte visuelle Darstellung verdeutlicht Situationen, in denen solche Herausforderungen offensichtlich werden. Um dies genauer zu erläutern, kann man sich das Szenario eines sich bewegenden Autospiegels vorstellen, der Informationen aus mehreren Bildsequenzen sammelt und somit unerwünschte visuelle Artefakte wie Geisterbilder erzeugt. Zudem bestehen Bedenken hinsichtlich subtiler Beleuchtungseffekte und Reflexionen, die aufgrund dieser Methode verzerrt oder diffus erscheinen können.

Die Innovation von NVIDIA in DLSS 3.5 konzentriert sich auf die Integration der Denoising- und Upscaling-Phasen in einen vereinheitlichten Prozess. Dieser vereinheitlichte Prozess nutzt einen breiteren Datensatz, um die Qualität des Ausgabeimages zu verbessern. Die Ergebnisse der Verarbeitung in niedrigeren Auflösungen werden mit den Ergebnissen der Rasterisierung, der Raytracing-Verfahren und der Bewegungsvektoren zusammengeführt. Diese kombinierten Komponenten werden dann direkt in ein Bild mit höherer Auflösung integriert, wie zum Beispiel ein 4K-Bild. Ähnlich wie bei DLSS 2 greift der DLSS 3.5-Algorithmus ebenfalls auf Erkenntnisse aus vorherigen Bildsequenzen durch zeitliches Feedback zurück. Nach Abschluss des Upscalings wird ein zusätzlicher Zyklus für die DLSS 3 Frame Generation-Funktion durchgeführt, sofern zutreffend.

Hier werden von NVIDIA geteilte Erkenntnisse präsentiert, die zeigen, wie DLSS 3.5 Ray Reconstruction, die RT-Genauigkeit im Vergleich zu herkömmlichen Rauschunterdrückungstechniken zu erhöhen.

Ray Reconstruction hat nur vernachlässigbare Auswirkungen auf die Leistung. Bei den auf einer RTX 40-Series-GPU von NVIDIA durchgeführten Bildratenvergleichen bietet DLSS 3.5 RR geringfügig höhere Bildraten als DLSS 3 FG. NVIDIA hat deutlich gemacht, dass DLSS 3.5 keine Funktion zur Leistungssteigerung ist, sondern der Fokus auf der Bildqualität liegt. Je nach Szene wird die Leistung praktisch identisch, leicht besser oder leicht schlechter sein. Theoretisch ist es möglich, dass Spieleentwickler die Anzahl der Strahlen reduzieren, wenn DLSS 3.5 aktiviert ist. Dadurch könnte die Auswirkung auf die RT-Leistung verringert und die Bildraten verbessert werden – immer noch mit verbesserter Bildqualität. Es gibt jedoch keine explizite Unterstützung dafür. Dies ist ausschließlich eine Funktion für Spieleentwickler und fällt nicht in den Rahmen der DLSS 3.5-Implementierung von NVIDIA.

DLSS 3.5 wird nicht nur in Spielen zur Verfügung stehen, sondern auch im professionellen D5-Renderer von NVIDIA. Dort wird es die Möglichkeit bieten, Echtzeitvorschauen mit beeindruckender Detailgenauigkeit zu erzeugen.

Im Herbst wird DLSS 3.5 durch ein Treiberupdate auf sämtlichen GeForce RTX GPUs verfügbar sein. Das DLSS 3.5 bringt nun drei distinkte Unterkategorien mit sich: Super Resolution (SR), die Kernbildvergrößerungstechnologie; Frame Generation (FG), die mit DLSS 3 eingeführt wurde und mithilfe von KI die Bildraten verdoppelt, indem alternative Frames generiert werden; und nun die neuartige Funktion Ray Reconstruction (RR). DLSS 3.5 RR wird auf allen RTX GPUs funktionieren, da alle Generationen Tensor Cores beinhalten. Bei älteren RTX-20-“Turing”- und RTX-30-“Ampere”-Karten wird DLSS 3.5 genauso auf den neuesten RTX-40-“Ada”-Karten funktionieren, jedoch wird FG nicht verfügbar sein. Spiele, die Ray Reconstruction unterstützen, werden eine zusätzliche Option “Ray Reconstruction aktivieren” bieten, ähnlich der vorhandenen Option “Frame Generation aktivieren”. Wir haben von NVIDIA die Bestätigung erhalten, dass DLAA in Kombination mit Ray Reconstruction unterstützt wird. Demnach ist es nicht notwendig, den Upscaler ständig zu verwenden.

Obwohl die Bezeichnungen möglicherweise Verwirrung stiften können, ist es ermutigend zu sehen, dass NVIDIA kontinuierlich an der Weiterentwicklung ihrer Technologie arbeitet. Bisher gibt es noch keine großen Neuigkeiten bezüglich AMDs FSR 3; möglicherweise werden entsprechende Ankündigungen auf der Gamescom gemacht. Aus einer technischen Perspektive könnte man Ray Reconstruction eher als “DLSS 2.5” einordnen, da es nichts mit DLSS 3 Frame Generation zu tun hat und stark mit DLSS 2 Upscaling verknüpft ist. Es scheint, als ob NVIDIA nun alle ähnlichen Technologien unter dem etablierten Markennamen “DLSS” herausbringt und diese weiterhin nach den jeweiligen Features gliedert. Als Beispiel wird “DLSS 3 Frame Generation” nur auf der GeForce 40 unterstützt – diese Ankündigung ändert daran nichts. Die neue “DLSS 3 Ray Reconstruction” funktioniert jedoch auf der GeForce 20 und neuer, ähnlich wie “DLSS 2 Upscaling” ebenfalls auf der GeForce 20 funktioniert.

Quelle: NVIDIA