GPUs Latest news Software

NVIDIA DLSS 3.5 announced: Revolutionary ray reconstruction technology for all GeForce RTX cards

As part of this year’s Gamescom 2023, NVIDIA has unveiled a number of upcoming updates aimed at the GeForce gaming community. A highlight among these announcements is the introduction of DLSS 3.5 Ray Reconstruction, a feature that will be available for all GeForce RTX series GPUs starting with the RTX 20 series in the upcoming fall season. DLSS 3.5 introduces a new element called “Ray Reconstruction Technology” designed to improve the visual quality of raytracing-based components in gaming scenarios.

While traditional rasterization meticulously calculates every pixel for every frame, real-time ray tracing encounters performance limitations that prevent it from taking this approach. Instead, only a limited number of rays are cast over a coarse grid during rendering, resulting in intermittent “black” gaps in the ray outputs. To counteract this, a noise reduction mechanism (“denoiser”) is used that runs various algorithms to effectively fill these gaps.

With the introduction of DLSS 3.5, NVIDIA introduces an optimized noise reduction mechanism that works seamlessly with DLSS 2 upscaling technology. This collaboration results in improved image quality results that are also more accurate. This particular feature leverages the Tensor Cores (as opposed to the RT Cores) and is therefore compatible with all GeForce RTX graphics cards ranging from the Turing architecture on up.

The image below illustrates the traditional approach to rendering real-time (RT) effects. It is important to note that in this scenario, DLSS 2 upscaling is enabled. First, the image is composited at a lower resolution and then upscaled to its original dimensions.

In the first step, the engine generates geometric shapes and material properties without applying shading effects. This information serves as the basis for building the BVH (Bounding Volume Hierarchy) acceleration structure, which is used in the context of ray tracing to help determine how rays interact with the geometric layout of the virtual environment. Subsequently, a series of rays are projected and their paths are carefully traced to calculate intersections, potential reflections, and possibly multiple interactions.

These results are then processed by the denoiser, a component that converts individual pixel data into a coherent image and simulates the appearance of raytracing-based phenomena such as reflections, shadows, illumination, or ambient occlusion. When upscaling is enabled, the denoiser produces output at a reduced rendering resolution, not the final native output resolution. The denoiser is not aware of the final resolution. The complexity is further increased by an additional challenge in that the upscaling process has no knowledge of rays; it only receives the pixel-based output from the denoiser without retaining the original ray tracing data at this point.

The central problem regarding denoisers is that they rely on preceding image sequences to collect sufficient pixel data for the final image. As a result, the output of raytracing-based (RT) content comes from the combination of multiple previous image sequences. The visual representation provided above illustrates situations where such challenges become apparent. To explain this in more detail, one can imagine the scenario of a moving car mirror that gathers information from multiple image sequences, creating undesirable visual artifacts such as ghosting. There are also concerns about subtle lighting effects and reflections that may appear distorted or diffuse due to this method.

NVIDIA’s innovation in DLSS 3.5 focuses on integrating the denoising and upscaling phases into a unified process. This unified process uses a broader data set to improve the quality of the output image. The results of lower resolution processing are merged with the results of rasterization, ray tracing, and motion vectors. These combined components are then integrated directly into a higher resolution image, such as a 4K image. Similar to DLSS 2, the DLSS 3.5 algorithm also draws on insights from previous image sequences through temporal feedback. After upscaling is complete, an additional cycle is performed for the DLSS 3 frame generation function, if applicable.

Presented here are findings shared by NVIDIA that show how DLSS 3.5 Ray Reconstruction, increase RT accuracy compared to traditional noise reduction techniques.

Source: NVIDIA

Ray Reconstruction has negligible impact on performance. In frame rate comparisons performed on an RTX 40-series GPU from NVIDIA, DLSS 3.5 RR offers slightly higher frame rates than DLSS 3 FG. NVIDIA has made it clear that DLSS 3.5 is not a performance enhancement feature, but the focus is on image quality. Depending on the scene, performance will be virtually identical, slightly better, or slightly worse. Theoretically, it is possible that game developers will reduce the number of beams when DLSS 3.5 is enabled. This could reduce the impact on RT performance and improve frame rates – still with improved image quality. However, there is no explicit support for this. This is exclusively a feature for game developers and does not fall within the scope of NVIDIA’s DLSS 3.5 implementation.

Source: NVIDIA

DLSS 3.5 will not only be available in games, but also in NVIDIA’s professional D5 renderer. There it will provide the ability to create real-time previews with impressive detail.

In the fall, DLSS 3.5 will be available on all GeForce RTX GPUs through a driver update. DLSS 3.5 now brings three distinct subcategories: Super Resolution (SR), the core frame magnification technology; Frame Generation (FG), introduced with DLSS 3, which uses AI to double frame rates by generating alternate frames; and now the novel Ray Reconstruction (RR) feature. DLSS 3.5 RR will work on all RTX GPUs, as all generations include Tensor Cores. For older RTX-20 “Turing” and RTX-30 “Ampere” cards, DLSS 3.5 will work the same on the latest RTX-40 “Ada” cards, but FG will not be available. Games that support Ray Reconstruction will have an additional “Enable Ray Reconstruction” option, similar to the existing “Enable Frame Generation” option. We have received confirmation from NVIDIA that DLAA is supported in combination with Ray Reconstruction. According to this, it is not necessary to use the upscaler all the time.

Although the designations may cause confusion, it is encouraging to see that NVIDIA is continuously working on the development of their technology. So far, there hasn’t been much news regarding AMD’s FSR 3; announcements to that effect may be made at Gamescom. From a technical perspective, Ray Reconstruction could rather be categorized as “DLSS 2.5”, as it has nothing to do with DLSS 3 frame generation and is strongly linked to DLSS 2 upscaling. It seems NVIDIA is now releasing all similar technologies under the established “DLSS” brand name and continuing to group them by their respective features. As an example, “DLSS 3 Frame Generation” is only supported on the GeForce 40 – this announcement doesn’t change that. However, the new “DLSS 3 Ray Reconstruction” works on the GeForce 20 and newer, similar to how “DLSS 2 Upscaling” also works on the GeForce 20.

Source: NVIDIA

Kommentar

Lade neue Kommentare

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes
S
Staarfury

Veteran

257 Kommentare 206 Likes

Und nur um die Verschwörungstheoretiker zu ärgern wird's auch noch für die älteren Generationen freigeschaltet ;)

Antwort 3 Likes

ipat66

Urgestein

1,347 Kommentare 1,345 Likes

Manche könnten,falls sie den Text genau lesen,verstehen,warum DLSS 3 nicht auf den
älteren Generationen laufen kann … :D

Antwort 1 Like

arcDaniel

Urgestein

1,519 Kommentare 789 Likes

Ich finde hier ist eh mit der Kommunikation viel falsch gelaufen.

Eigentlich können alle RTX Karten DLSS3 nur das Feature Frame Genration von DLSS3 wir nur von den RTX4000 Karten unterstützt.

Sie hätten Frame Genration gar nicht mit DLSS3 bewerben sollen sondern als Separates Feature, dann wäre vieles klarer gewesen.

Antwort 3 Likes

S
Staarfury

Veteran

257 Kommentare 206 Likes

Da stimme ich dir grundsätzlich schon zu.

Das Problem dabei ist halt einfach dass DLSS 3 ohne Frame Generation nichts anderes als DLSS 2.x.y ist. (Oder wüsstest du sonst noch was neues?)

Ich verstehe wieso man den Versionssprung von DLSS 2 auf 3 macht (FG ist eine signifikante Neuerung, ob man sie mag oder nicht).
Aber wenn das der einzige Unterschied ist, dann muss man sich auch nicht wundern, wenn die User denken "DLSS3 = RTX 40 exklusiv".

Antwort Gefällt mir

P
Phelan

Veteran

190 Kommentare 172 Likes

bei dem Cyberpunk Bild hat der DLLS 3,5 als einziges ein andern Bildeindruck , oben die hellen Lichter an der Röhre.
Damit wäre es klar am schlechtesten. 2.0 und 3.0 das Orginal gut treffen.

Auch die Wände haben bei 3.5 so ein lila Farbstich ?!

Allgemein kommen bei dem 4 Cyberpunk Bildenr alle DSSL Varianten nicht gut weg. Matschige Flächen, und absaufende Konturen.
Ja gut halt die FSP sind viel höher ...

Das Bücherregal (D5 Renderer) sieht absichtlich mieß gestellt aus ... irgendwie VGA Auflösung zu FHD, was wollen die damit zeigen ?!

Antwort Gefällt mir

S
Supie

Veteran

161 Kommentare 37 Likes

Bei den vielen zusätzlichen Schritten die bei diesem neuen Verfahren anfallen, wundert es mich, das da teils überhaupt noch ein Leistungsplus rauskommt.

Antwort Gefällt mir

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes

Frame Generation verstehe ich als Feature das mit DLSS 3 dazu kam, aber nicht von jeder RTX Grakageneration unterstützt wird. Mit DLSS 3.5 kommt Ray Reconstruction als weiteres DLSS Feature dazu, dass wiederum auch von älteren RTX Grakagenerationen unterstützt wird. Die Version beschreibt also das Featureset und will weniger mit einer Kompatibilität zu tun haben. Die Begrifflichkeit hinter DLSS ist ja relativ allgemeingefasst. Deep Learning Super Sampling-Technologie heißt ja nicht, dass jedes Feature von jeder Graka unterstützt wird, sondern fasst nur alle auf AI basierenden Features unter die Begrifflichkeit zusammen. Ich kann den Schritt nachvollziehen.

Der Eindruck von: "DLSS3 = RTX 40 exklusiv" will ich nicht kleinreden. Der ist entstanden. Ist jetzt die Frage, hat nVidia das so gewollt, hat nVidia das unglücklich kommuniziert, ist das nun so organisch gewachsen (Pläne dürfen sich ändern), hat die Berichtserstattung seinen Teil dazu beigesteuert (sind ja auch nur Menschen) und weshalb würde man eine Spaltung der Versionierung wie bei Agesa wollen? Ich mein, angenommen für RTX 20-30 gelte nur DLSS 2.X und für RTX 40 (+) dann DLSS 3.X. Was ist, wenn sich ein neues Feature für RTX 20-40 ergäbe. Hätten wir dann 2.X.1 und 3.X.1 etc? Dann wäre mir ein 3.X.1 für alle tatsächlich lieber. Denn auch Bugfixes oder Optimierungen können und werden sich für alle Generationen ergeben.

Aber bei USB sieht man ja, wohin die Reise auf keinen Fall gehen sollte. Spontan wüsste ich aber auch nicht, wie man Inkompatibilitäten bei DLSS Features klarer definieren sollte. Nichtsdestotrotz wird sich nVidia aber auch die Möglichkeit nicht nehmen wollen, irgendwann die Unterstützung älterer Generationen bei zukünftigen Versionen komplett zu streichen, weil der Testaufwand irgendwann in keinem Verhältnis mehr steht.

Ich für meinen Teil werde das so akzeptieren, wie es bei DLSS mit den Features läuft. Alternativ hätten wir sonst DLSS Version 2.X für RTX 20-40, SR Version X.X für RTX XX-XX und XX-XX, FG Version X.X für RTX XX-XX und XX-XX und RR Version X.X für RTX XX-XX und XX-XX und nun hätten wir eigentlich die selbe Tabelle, die die Unterstützung dieser Features nach RTX Grakageneration aufschlüsselt. Nur eben mit dem Unterscheid: bei DLSS weiß jeder was gemeit ist. Wüsste ich das bei SR? Nö. Wüsste ich bei SR welche Grakas das unterstützen? Nö.

Damit wäre mein Wunsch, dass es bei allen Nachrichten über (neue) Features von DLSS eine Übersichtstabelle der unterstützten Features nach RTX Grakageneration gibt. Problem gelößt :)

Antwort Gefällt mir

Klicke zum Ausklappem
S
Supie

Veteran

161 Kommentare 37 Likes

Ich denk, das Version 3,5 auf allen Karten läuft (ohne FG) ist mehr so ein Fanservice von NVIDIA. Es wird in der Werbung wohl nicht gross
kommuniziert werden. Die die sich informieren wissen, das sie es bei alten Karten einschalten können, und der Rest nimmt es eh als Ada only wahr und kauft sich die 4000 gen.
Probleme gelöst mit meckernden Altkunden die bekommen bessere Quali und teils etwas mehr Leistung - wenn auch kein FG, dazu ein Zuckerle für die Ada Neukunden, als Kaufargument.

Bin gespannt ob irgendjemand, abgesehen von den vor 2000 gen. Besitzern da was zum dran auszusetzen findet.....?

Antwort Gefällt mir

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes

Naja, wenn man sich die Bilder genau ansieht, dann haste ja im oberen Bereich so lila Elemente. Siehe Anhang. Diese Elemente reflektieren das linafarbene Licht (eigentlich) unweigerlich, was sich dann in der Umgebung abfärben müsste. Daher könnte man das mal wieder als eine Verbesserung gegenüber dem native Bild werten.

Zum Bildeindruck im allgemeinen bei FSR und DLSS gilt: Bilder sind häufig (deutlich) weniger aussagend als das bewegte Bild. Denn bei einem Bild fallen die Artefakte ebenso stärker auf, wie man es bei der Videokompression hat. Im bewegten Bild relativieren sich die Artefakte - gar so weit, dass es sogar besser als nativ wirken kann.

Antwort Gefällt mir

S
Staarfury

Veteran

257 Kommentare 206 Likes

Das ist nicht absichtlich schlecht, das ist Echtzeit-Raytracing mit einem mittelmässigen Denoiser und rechts mit Ray Reconstruction als Denoising Methode.

Das Denoising ist der "Zaubertrank" im Echtzeit-Raytracing. Da wir noch weit davon weg sind, genug Rays pro Pixel zu casten um ein sauberes Bild zu erhalten, muss der Denoiser aus dem Pixelbrei ein sauberes Bild machen.

Hier noch etwas erklärendes Bildmaterial:

"Wenige Samples + Denoising" ist auch der Grund, wieso du in manchen Titeln mit Raytracing (oder auch z.B. Lumen) siehst, wie sich die Beleuchtung über einen kurzen Zeitraum zu "stabilisieren" scheint, wenn du stillstehst.

Antwort 1 Like

Gregor Kacknoob

Urgestein

524 Kommentare 442 Likes

Bei Control kam mir zu der Zeit dieses Nachziehen von Schatten komisch vor. Wieder etwas gelernt :)

Antwort Gefällt mir

e
eastcoast_pete

Urgestein

1,433 Kommentare 787 Likes

@Igor Wallossek : gibt's da eine Chance, die neueste Variante einmal auf einer Turing Karte anzutesten?

Antwort Gefällt mir

KuhJoe

Neuling

7 Kommentare 1 Likes

Man kann nicht leugnen wie beeindruckend das ist., einfach mal Optisch 2 Gänge runter schalten so werden aus 20 PS 112 PS. Noch ein bisschen Politur rauf um das wieder glänzen zu lassen, fertig.

Antwort 1 Like

F
Furda

Urgestein

663 Kommentare 370 Likes

FSR 3 will und will nicht kommen, und NV bringt mal einfach das nächste Big Feature, die nächste Version.
FSR 3 muss sehr sehr gut werden, sonst...

Antwort Gefällt mir

LEIV

Urgestein

1,542 Kommentare 620 Likes

Mal bis Freitag auf der AMD Gamescom Präsentation warten, wenns da immer noch nicht präsentiert wird, dann kann man mal langsam auf die Barrikaden gehen

Antwort Gefällt mir

F
Furda

Urgestein

663 Kommentare 370 Likes

Es muss echt was kommen, sonst ist der Zug dann mal weg...

Irgendwie schade, dass alle GPU Hersteller ihr eigenes Ding drehen müssen. Intel hätte die Manpower von XeSS wohl sehr dringend im Driver Team nötig, bei AMD schaut's ähnlich aus. Und eben nicht der lachende Dritte im Bunde, sondern der Erste, ist NV und zieht vorne mit strenger Pace davon. Genauso streng davon ziehen somit nämlich auch bezahlbare Preise :-(

Antwort 1 Like

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Samir Bashir

Werbung

Werbung