Нейросети NVIDIA превратили набросок в фотореалистичное изображение

Компания NVIDIA представила GauGAN — программу, которая умеет превращать наброски в фотореалистичные изображения. В основе ее работы — генеративно-состязательные нейросети, которые обучались на миллионе изображений пейзажей. Технологию представили на ежегодной конференции компании GTC 2019, которая прошла в Калифорнии.

Создание новых объектов (чаще всего — изображений) с помощью генеративно-состязательных нейросетей — технология уже не новая. Такие алгоритмы могут создавать оригинальные произведения искусства, а совсем недавно разработчики научили такие нейросети создавать портреты несуществующих людей и животных. Что касается создания объектов на основе набросков, то временами у таких алгоритмов получаются не самые правдоподобные результаты: например, нейросеть, которая превращает наброски людей в фотореалистичные портреты, чаще всего выдает что-то слегка пугающее, так как ее работа во многом зависит от навыков рисования набросков того, кто ей пользуется.

Рисование пейзажей генеративно-состязательными сетями — задача в этом смысле намного более простая, но и здесь, по сути, результат может сильно отличаться в зависимости от того, насколько удачным получился сам набросок. GauGAN (по задумке разработчиков, название алгоритма созвучно с именем Поля Гогена — художника-постимпрессиониста) может создать фотореалистичное изображение даже на основе совершенно базового наброска из линий и кружочков. В интерфейсе программы доступны несколько «цветов», каждый из которых соответствует объекту, который можно нарисовать: так, в приложении есть «цвета» для облаков, холмов, цветов, полей и других атрибутов пейзажа.

Технологию, которая лежит в основе закрашивания участков специальными текстурами, ученые назвали пространственно-адаптируемой нормализацией (spatially-adaptive normalization, сокращенно SPADE): препринт статьи, в котором она описана, сейчас доступен на arXiv.org. Такая технология как раз и работает на основе генеративно-состязательных нейросетей: обученная на большом количестве изображений, такая система создает фотореалистичные текстуры не всему изображению целиком, а некоторым его частям (как раз цветовым наброскам). Это, по мнению разработчиков, позволяет эффективно облегчить и улучшить процесс «рисования».

Пока что приложение представляет собой демоверсию: из текстур в нем доступны только те, которые позволяют создавать на основе набросков пейзажи. В статье, однако, ученые представляют также и результаты работы нейросети в процессе создания объектов, животных и людей.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

IKEA запустила 336-часовую трансляцию доставки товаров через океан

IKEA запустила канал с трансляцией в реальном времени доставки товаров через океан, сообщается на странице компании. Эфир продлится 336 часов.

Стали известны лауреаты Шнобелевской премии — 2019

12 сентября в Гарварде объявили лауреатов Шнобелевской премии за 2019 год.

Акция «собери сам» от ресторанов Popeyes: в фастфуд со своей булочкой

До сих пор еще ни одна сеть фастфуда не доходила до того, чтобы призывать покупателей приносить собственные булочки для сэндвичей.