На выставке CES 2025 компания Digital Foundry взяла интервью у Брайана Катанзаро, вице-президента по исследованиям в области прикладного глубокого обучения, об анонсе NVIDIA DLSS 4 и его многочисленных улучшениях в области сверхразрешения, реконструкции лучей и генерации кадров.
Катанзаро рассказал о новых моделях трансформеров, которые заменяют CNN (сверточные нейронные сети) для сверхразрешения и реконструкции лучей. Они просто намного умнее, могут обучаться на больших наборах данных и в результате делать лучший выбор, устраняя такие давние недостатки NVIDIA DLSS, как мерцание или ореолы. Например, новая модель сверхразрешения имеет в четыре раза больше вычислительных ресурсов по сравнению с предыдущей. Катанзаро не дал оценку того, насколько увеличится время рендеринга, но он сказал, что NVIDIA считает, что это лучший способ играть на новых видеокартах GeForce RTX 50 на базе Blackwell, которые выйдут в конце этого месяца.
Генерация кадров также получит улучшения, отказывшись от предыдущей модели, основанной на аппаратном ускорителе Optical Flow, в пользу решения, полностью работающего на основе ИИ. Вот почему NVIDIA это делает:
Когда мы создавали генерацию кадров NVIDIA DLSS 3, нам абсолютно необходимо было аппаратное ускорение для вычисления Optical Flow. У нас не было достаточного количества тензорных ядер, и у нас не было достаточно хорошего алгоритма Optical Flow. Мы не разработали алгоритм Optical Flow в реальном времени, работающий на тензорных ядрах, который мог бы соответствовать нашему вычислительному бюджету. У нас был ускоритель Optical Flow, который NVIDIA создавала годами как эволюцию нашей технологии видеокодирования, и он также был частью нашего автомобильного ускорения компьютерного зрения для беспилотных автомобилей.
Для нас имело смысл использовать его для генерации кадров NVIDIA DLSS 3. Но сложность любой аппаратной реализации алгоритма типа Optical Flow заключается в том, что его действительно трудно улучшить. Это своего рода то, что есть, и сбои, которые возникли из-за этого аппаратного Optical Flow, мы не могли исправить с помощью более интеллектуальной нейронной сети, пока не решили просто заменить ее и перейти на решение, полностью основанное на ИИ, поэтому мы сделали это для генерации кадров в DLSS 4.
Новая модель генерации кадров больше использует тензорные ядра, но использует меньше VRAM, обеспечивает улучшенное качество изображения (что Катанзаро посчитал критически важным, особенно для новой генерации нескольких кадров, доступной на новых графических процессорах RTX 50), а также более эффективна, поскольку стоимость амортизируется за несколько кадров.
Алекс Батталья из DF спросил, можно ли портировать новую модель на старое оборудование, такое как GeForce RTX 30 Series, и глава NVIDIA DLSS не стал отрицать возможность.
Я думаю, что это в первую очередь вопрос оптимизации, а также проектирования, а затем окончательного пользовательского опыта. Мы запускаем многокадровую генерацию с 50-й серией, и посмотрим, что мы сможем выжать из старого оборудования в будущем.
Напоминаем, что когда NVIDIA представила Frame Generation с видеокартами GeForce RTX 40, сам Катанзаро объяснил, что эта функция была эксклюзивной для новых на тот момент графических процессоров, поскольку у них был значительно улучшенный аппаратный ускоритель Optical Flow, чем у RTX 30-й серии. Тогда он также сказал, что теоретически возможно портировать ее на старое оборудование, хотя, вероятно, это не будет столь выгодно.
С удалением аппаратного ускорителя Optical Flow из новой модели, похоже, дверь для этого может быть открыта. Однако Катанзаро также сказал, что требования к ядрам Tensor выше, и, очевидно, старая архитектура графического процессора имеет худшую производительность ядер Tensor. Посмотрим, сможет ли NVIDIA действительно это сделать.