Нейросеть пририсовала Моне Лизе лицо Бенедикта Камбербэтча

Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча. Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры. Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фучжуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения.

Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Предложенный метод (крайний справа) в сравнении с другими алгоритмами переноса стилей

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Дизайнерская студия из Таиланда проектирует мебель для людей и их котов

Animali Domestici, дизайнерская студия из Бангкока, приступила к созданию мебели из серии, которую они назвали «Друг человека» (Companion Species). Такая мебель будет рассчитана на людей и котов одновременно.

Студенты-архитекторы создали макеты знаковых мест «поттерианы»

Студентам, которые записались на 12-дневный спецкурс в Мельбурнской школе дизайна, поручили построить макеты банка Гринготтс, дома на улице Гримо, магазинчика Олливандера и других знаковых мест мира Гарри Поттера.

Тараса Шевченка зобразили у вигляді червонокнижних тварин

Олександр Грехов, автор виставки «Квантовий стрибок Шевченка», знову переосмислив постать Кобзаря і зобразив його у вигляді червонокнижних тварин. Зробив це ...