Нейросеть пририсовала Моне Лизе лицо Бенедикта Камбербэтча

Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча. Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры. Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фучжуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения.

Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Предложенный метод (крайний справа) в сравнении с другими алгоритмами переноса стилей

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Bang&Olufsen: изысканная реклама изысканных гаджетов

Датское агентство B&O and Wednesday Agency совместно с продакшен-студией ManvsMachine создали рекламу новой серии наушников знаменитого своей изысканностью и суперкачеством бренда Bang&Olufsen

Как выглядят профессии, о которых мечтают дети?

Мы расспросили детей в возрасте 4‑10 лет и попросили их нарисовать работу их мечты. А затем команда взрослых попыталась это реализовать.

Бэнкси продает свои работы, но задает вопрос с подвохом

«Валовой внутренний продукт» (Gross Domestic Product) начал продажу таких творений художника как сумка-кирпич и коврик, стилизованный под «измученный диабетом труп тигра Тони».