Нейросеть научили в реальном времени превращать наброски в фотографии

Американские и британские разработчики создали приложение, в котором пользователь может сделать набросок и сразу же получить изображение, созданное нейросетью на его основе. Алгоритм состоит из двух частей, одна из которых дорисовывает набросок, а вторая превращает дорисованную картинку в фотографию. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликованана arXiv.org.

На протяжении последних лет разработчики создали множество алгоритмов для генерации изображений, которые порой сложно отличить от реальных фотографий. К примеру, заметных результатов достигли разработчики из NVIDIA, научившие нейросети синтезировать фотографии несуществующих людей, а также реалистичные видеоролики. Позже разработчики стали создавать доступные обычным пользователям программы, в которых т превратить простой набросок или цветной рисунок в фотореалистичное изображение. Однако эти программы работают либо не в реальном времени, либо требуют от пользователя самостоятельно рисовать полный набросок.

Разработчики под руководством Эли Шехтман (Eli Shechtman) из Adobe Research создали приложение, которое в реальном времени самостоятельно дорисовывает набросок и превращает его в синтезированную фотографию. Приложение состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетями изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок, дополняя часть, нарисованную пользователем.

Авторы разбили проблему на две части и использовали для ее решения связку из двух генеративно-состязательных нейросетей. На первом этапе алгоритм, обученный на набросках определенного класса, получает первоначальный набросок пользователя и дорисовывает его до полного. На втором этапе на основе дорисованного наброска формируется реалистичное изображение.

Схема работы алгоритма

Разработчики создали собственный датасет для обучения нейросетей, состоящий из фотографий и набросков объектов десяти типов. Наброски создавались автоматически на основе краев объектов на фотографиях. В своей работе авторы протестировали две схемы, и создали не только десять отдельных нейросетевых моделей для каждого класса, но и многоклассовый генератор, который создает разные изображения в зависимости от условного вектора.

Интерфейс программы

Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS, а также краткую документацию.

Источник: https://nplus1.ru

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Лучшая рождественская реклама брендов — 2019

Чем ближе одна из самых долгожданных дат года, тем охотнее бренды шутят, сочиняют сказки и рассказывают людям душещипательные истории.

В Україні зняли соціальну рекламу, яка закликає перенести святкування Різдва на 25-те грудня

19 грудня була оприлюднена соціальна реклама, яка спрямована на популяризацію ідеї перенесення святкування Різдва з 7-го січня на 25-те грудня.

Бренд – поняття суспільне. Теми, тенденції та уроки Eurobest-2019

Цьогорічні роботи Eurobest показали, що бренди наразі відмовляються від кампаній, розрахованих на швидкий але короткочасний успіх, та поверхневих спроб «присусідитися» до актуальних питань.