Нейросеть пририсовала Моне Лизе лицо Бенедикта Камбербэтча

Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча. Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры. Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фучжуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения.

Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Предложенный метод (крайний справа) в сравнении с другими алгоритмами переноса стилей

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

3D шоу на самом высоком здании в мире от украинской команды

Украинская студия мультимедийных решений Magic Innovations создала 3D маппинг шоу на самое высокое здание в мире - Бурдж-Халифа в Дубай. Шоу было впервые показано в день празднования одного из самых важных местных праздников EID Mubarak, и будет демонстрироваться каждый день ...

Компания Uber показала новые проекты аэропортов для аэротакси

На своем ежегодном саммите Uber Elevate компания продемонстрировала проекты воздушных портов для разных городов.

Создан сайт, который помогает дизайнерам отвечать на критику

В сети заработал сайт Design Critique Coach, который помогает дизайнерам развивать навык аргументации. Сайт задает пользователю случайные вопросы о его ...