Instant NeRF можно использовать для создания аватаров или сцен для виртуальных миров, для съемки участников видеоконференций и их окружения в 3D или для создания изображений для 3D-карт.
Можно сказать, что метавселенная формируется прямо сейчас, и Nvidia пошла ва-банк, представив мощный набор инструментов для ее создания. Но даже для Nvidia, рендеринг 3D-миров является сложной технической задачей.
На своей весенней конференции по графическим технологиям (GTC) на этой неделе Nvidia продемонстрировала новый подход к обратному рендерингу — процессу воссоздания 3D-сцен из нескольких 2D-изображений. Обратный рендеринг использует искусственный интеллект, чтобы смоделировать естественное распространение света. Благодаря подходу, разработанному Nvidia, процесс происходит практически мгновенно.
Этот метод, как объяснили в Nvidia, может применяться для различных целей. Его можно использовать для создания аватаров или сцен для виртуальных миров, для съемки участников видеоконференций и их окружения в 3D или для реконструкции сцен для цифровых 3D-карт.
Создание 3D-сцены традиционными методами может занять несколько часов и даже большее время, в зависимости от сложности и разрешения визуализации. Новая технология Neural Radiance Fields (NeRF) ускоряет процесс при помощи ИИ: использует нейронные сети для представления и рендеринга реалистичных 3D-сцен на основе входной коллекции 2D-изображений. NeRF эффективно обучает небольшую нейронную сеть заполнять пробелы, предсказывая цвет света, излучаемого в любом направлении из любой точки 3D-пространства.
Ранние модели NeRF создавали качественную визуализацию за несколько минут, но на обучение уходили часы. Специалисты Nvidia Research разработали технологию Instant NeRF, сочетающую быстрое обучение нейронной сети с быстрым рендерингом. По словам Nvidia, это самая быстрая технология NeRF на сегодняшний день, достигающая в некоторых случаях ускорения процесса более чем в 1000 раз.
Чтобы создать Instant NeRF, Nvidia разработала новый метод кодирования входных данных, называемый кодированием хэш-сетки с несколькими разрешениями. Он оптимизирован для эффективной работы на графических процессорах Nvidia.
