Нейросеть оживила фигуры людей на фотографиях

Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.

Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:

Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

 

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

7 фильмов, вдохновляющих на творчество

Канал Viasat History представляет подборку фильмов о реальных и вымышленных певцах, актерах, художниках и поэтах, которые помогут зарядиться вдохновением.

McCann Kyiv у рекламі Vodafone закликають спробувати

Є багато товарів, які круто було б спробувати перед покупкою. І якщо десь такі «спроби» здаються дивними, то у Vodafone можна все! Навіть спершу спробувати 4G, а вже потім платити.

«Хочу ще!» Новая стратегия бренда Walker

Креативная компания MOON studio разработала новую стратегию коммуникации для Walker.