NVIDIA пояснила, як працює DLSS 5

На тлі неоднозначної реакції та численної критики нової версії апскейлера NVIDIA DLSS 5, ютубер Деніел Оуен звернувся до компанії із серією запитань щодо роботи технології. У діалозі з представником NVIDIA Джейкобом Фріменом, було підтверджено, що DLSS 5 справді використовує скріншот зображення у поєднанні з векторами руху, а потім пропускає його через генеративну модель ШІ для покращення. Кінцевий результат рендериться поверх ігрового рушія, що є ключовим моментом його роботи.

Одне з ключових питань стосувалося того, чи аналізує DLSS 5 3D-геометрію та глибину сцени. Фрімен відповів, що технологія навчається від початку до кінця для розуміння складної семантики сцени – персонажів, волосся, тканин, умов освітлення – шляхом аналізу лише одного кадру. З цієї відповіді Оуен зробив висновок, що DLSS 5 не має прямого відношення до 3D-геометрії. Це викликає запитання, чому у деяких випадках текстури виглядають зміненими (наприклад, додаткове волосся у персонажа Starfield), хоча NVIDIA заявляє про незмінність базової геометрії та текстур.

Щодо покращення PBR-матеріалів, NVIDIA офіційно заявляла про таку можливість. Проте Фрімен уточнив, що DLSS 5 приймає як вхідні дані лише відрендерені кадри та вектори руху, а не специфікації PBR (такі як шорсткість чи карти нормалей). Це, на думку ютубера, робить офіційні заяви компанії дещо оманливими. Також з’ясувалося, що розробники ігор мають обмежений контроль над тим, що генерує апскейлер, за винятком базової корекції кольору. Крім того, DLSS 5 не враховує зовнішні джерела світла, заломлення або тіні, сформовані оточенням, що означає його нерозуміння алгоритмів рейтрейсингу. Це ставить під сумнів доцільність використання DLSS 5 для ігор, які активно задіюють складні обчислення трасування променів.