NVIDIA розкрила правду про DLSS 5: як працює ШІ

На тлі численної критики нової версії апскейлера NVIDIA DLSS 5, ютубер Деніел Оуен звернувся до компанії з низкою запитань щодо її роботи. Представник NVIDIA Джейкоб Фрімен підтвердив, що DLSS 5 справді бере за основу скріншот зображення та вектори руху, пропускаючи їх через генеративну модель штучного інтелекту для покращення. Кінцевий результат рендериться поверх ігрового рушія, що дозволяє технології створювати власне зображення.

Оуен уточнив, чи аналізує DLSS 5 3D-геометрію та глибину сцени, чи просто обробляє скріншот. Фрімен пояснив, що DLSS 5 навчається “від початку до кінця”, щоб розуміти складну семантику сцени, як-от персонажі, волосся, тканини та умови освітлення – і все це шляхом аналізу одного кадру. На підставі цієї відповіді ютубер дійшов висновку, що апскейлер не має жодного стосунку до 3D-геометрії. Це підтверджується випадками, коли після обробки DLSS 5 текстури виглядають зміненими, наприклад, персонаж зі Starfield отримав додаткове волосся на скроні. На це питання представник NVIDIA ухилився від прямої відповіді, пославшись на те, що базова геометрія залишається незмінною, а представлена версія – це рання демонстрація.

Подальші запитання стосувалися покращення властивостей PBR-матеріалів, про що NVIDIA заявляла офіційно. Фрімен зазначив, що DLSS 5 приймає як вхідні дані лише відрендерені кадри та вектори руху, а кінцеві результати виводяться також лише з відрендерених кадру. Це свідчить про те, що заяви про покращення PBR-властивостей можуть вводити в оману. Також з’ясувалося, що розробники ігор не можуть контролювати візуальні зміни, які генерує DLSS 5 (наприклад, додавання макіяжу персонажам). Найбільш критичним виявився факт, що DLSS 5 обмежений простором оригінального зображення та не враховує джерела світла поза ним, що означає його нерозуміння алгоритмів рейтрейсингу. Це ставить під сумнів доцільність активації DLSS 5 для геймерів, якщо він ігнорує ці складні обчислення.