Я уже написал статью об объявлении DLSS 2.0 в конце марта и глубокого обучения. DLSS 2.0 был очень позитивным во всех четырех играх, в которых он доступен. В отличие от этого, первая реализация Deep Learning Super Sampling немного ослабла и довольно сияет очень неоднозначными результатами. Затем это варьировалось от хрустящей до wivash и размыто, в зависимости от игры и реализации. Даже если GTC не состоится в реальной жизни в этом году, там, вероятно, онлайн-версия, где вы также можете аккредитовать себя.
А для тех, кто хотел бы знать больше, Ведущий научный сотрудник NVIDIA Эдвин Лю подробно, что делает NVIDIA DLSS 2.0 такой большой апгрейд от предыдущей версии в презентации в рамках виртуального GTC 2020, который также был недавно выпущен на сайте NVIDIA. Это была очень интересная презентация, из которой нужно только экстрагирировать самое главное в итоге, чтобы не заблудиться в деталях.
Здесь вы можете посмотреть почти 50-минутное видео для себя.
Давайте кратко обобщим два возможных подхода к визуализации изображений в суперразрешении, как один кадр или как многокадровый. Первый может использоваться чаще и поэтому более известен, так как обычно используются чистые фильтры интерполяции. Мы также знаем это от нормального расширения видеоконтента в различных программных приложениях или аппаратных преобразованиях (z.B.TV устройств). В последнее время, однако, глубокие нейронные сети были использованы для „галлюцинации“ новых пикселей после обучения, т.е. для их воспроизведения. Очень хорошим примером этого является ESRGAN, расширенная модель генеративных состязательных сетей с суперразрешением, на которой основано несколько пакетов текстур с увеличенными ИИ для старых игр.
Изображения, реконструированные простыми фильтрами интерполяции, проще говоря, слишком мало детализированы по сравнению с родным изображением. DNNs делают более лучшую работу в этом отношении, но в виду того что они «галлюцинируют» новые пиксели, результат может быть несовместим с родовым изображением. Тем не менее, NVIDIA считает это неприемлемым для DLSS, так как цель состоит в том, чтобы оставаться как можно ближе к „Земля правда“ изображения и оригинальное видение разработчика игры.
Еще одна большая проблема заключается в том, что полученное изображение часто нестабильно, поэтому мерцает и мерцает. Именно поэтому Nvidia выбрала многокадровый подход к Суперразрешению для DLSS 2.0. Это позволяет объединять несколько кадров с низким разрешением в изображение с высоким разрешением, что значительно упрощает восстановление истинных деталей. Это делается с пространственно-временными методами отбора проб, такими как вездесущая временная антиализагирование и рендеринг шашкой.
Поскольку эти методы реконструкции используют образцы из нескольких кадров, они гораздо меньше шансов столкнуться с проблемами временной нестабильности, такие как мерцание. Кроме того, в то время как скорость затенения остается низкой для каждого кадра для достижения высокой производительности, эффективная частота отбора проб резко увеличивается из-за многокадрового подхода к реконструкции. Это не означает, что нет никаких проблем с TAA или CR. Поскольку при рендеринге игр в режиме реального времени происходят изменения (сцены непрерывно динамичны, в конце концов), наивное предположение о том, что предыдущие кадры верны, может легко привести к артефактам, таким как изображения призраков или задержки.
Как правило, эти проблемы обрабатываются с эвристически основанной коррекцией истории недействительных образцов из предыдущих кадров. Тем не менее, это также приносит с собой другие проблемы, такие как мерцание, размытие и ненавистный шаблон муара. Nvidia решает эти проблемы, пользуясь мощью суперкомпьютера, который тренируется в автономном режиме на десятках тысяч чрезвычайно качественных изображений. Эти так называемые нейронные сети просто гораздо лучше подходят для такой задачи, чем простая эвристика, так как они могут найти оптимальную стратегию для объединения идей, собранных в течение нескольких изображений и, таким образом, обеспечивают гораздо более высокое качество реконструкции.
Таким образом, именно подход, ориентированный на данные, позволяет DLSS 2.0 успешно реконструировать даже сложные ситуации, подобные ситуациям с шаблоном Мойра. Следующие сравнения изображений последовательно впечатляет и в большинстве случаев превосходят даже родные изображения на 4-раз upscaling от 540p до 1080p.
Конечно, это объявленная максима Nvidia для достижения оптимальной производительности с наименьшими возможными накладными расходами с DLSS 2.0. Дополнительная мощность, необходимая для этого, почти незначительна, так как для визуализации изображения в 4K требуется всего 1,5 миллисекунды geForce RTX 2080Ti. Дело в том, что добавление DLSS 2.0 намного проще для разработчиков игр. И дело не только в Unreal Engine 4 и в том, что обобщенную нейронную модель больше не нужно тренировать индивидуально за игру, но прежде всего то, что многокадровый подход позволяет реализовать DLSS 2.0 во всех тех играх и двигателях, которые уже поддерживают temporal Antialiasing (TAA).
Это будет интересно, как эти методы будут развиваться, так что я думаю, что это действительно интересно.
Kommentieren