Нейросеть научили в реальном времени превращать наброски в фотографии

Американские и британские разработчики создали приложение, в котором пользователь может сделать набросок и сразу же получить изображение, созданное нейросетью на его основе. Алгоритм состоит из двух частей, одна из которых дорисовывает набросок, а вторая превращает дорисованную картинку в фотографию. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликованана arXiv.org.

На протяжении последних лет разработчики создали множество алгоритмов для генерации изображений, которые порой сложно отличить от реальных фотографий. К примеру, заметных результатов достигли разработчики из NVIDIA, научившие нейросети синтезировать фотографии несуществующих людей, а также реалистичные видеоролики. Позже разработчики стали создавать доступные обычным пользователям программы, в которых т превратить простой набросок или цветной рисунок в фотореалистичное изображение. Однако эти программы работают либо не в реальном времени, либо требуют от пользователя самостоятельно рисовать полный набросок.

Разработчики под руководством Эли Шехтман (Eli Shechtman) из Adobe Research создали приложение, которое в реальном времени самостоятельно дорисовывает набросок и превращает его в синтезированную фотографию. Приложение состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетями изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок, дополняя часть, нарисованную пользователем.

Авторы разбили проблему на две части и использовали для ее решения связку из двух генеративно-состязательных нейросетей. На первом этапе алгоритм, обученный на набросках определенного класса, получает первоначальный набросок пользователя и дорисовывает его до полного. На втором этапе на основе дорисованного наброска формируется реалистичное изображение.

Схема работы алгоритма

Разработчики создали собственный датасет для обучения нейросетей, состоящий из фотографий и набросков объектов десяти типов. Наброски создавались автоматически на основе краев объектов на фотографиях. В своей работе авторы протестировали две схемы, и создали не только десять отдельных нейросетевых моделей для каждого класса, но и многоклассовый генератор, который создает разные изображения в зависимости от условного вектора.

Интерфейс программы

Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS, а также краткую документацию.

Источник: https://nplus1.ru

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Автор «Стратегії блакитного океану» Чан Кім виступить у Києві

Автор бестселеру «Стратегія блакитного океану», один із найкращих світових мислителів та гуру менеджменту, професор Чан Кім прочитає 16 листопада у Києві єдину лекцію. Його виступ відбудеться у межах організованого енергетичною компанією ДТЕК стратегічного діалогу, під час якого йтиметься про те, ...

5G за один день. Global Inspiring Forum — 2019

28 ноября 2019 года в Ramada Hall состоится G;obal Inspring Forum. 5 выдающихся спикеров за 1 день поделятся своим вдохновение, драйвом и видением будущего успешного бизнеса.

Вони приходять із дощем…

Serviceplan Ukraine представляє новий ролик для спрея від застуди та грипу «Назафорт».