Нейросеть оживила фигуры людей на фотографиях

Бизнес и инновации, Видео - Нейросеть оживила фигуры людей на фотографиях

Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.

Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:

Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

 

Бизнес и инновации, Видео - Нейросеть оживила фигуры людей на фотографиях

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Бизнес и инновации, Видео - Карл и тугосеря

Карл и тугосеря

Как добиться популярности в Facebook? Например, не перебарщивать с постами про Карла. Оказывается, этот ...

Бизнес и инновации, Видео - Поговори со мной, биллборд! (ВИДЕО)

Поговори со мной, биллборд! (ВИДЕО)

  Они поместили его на оживленном перекрестке в столице Кении и запустили множество шутливых ...

Бизнес и инновации, Видео - Nissan в натуральную величину. Самая большая скульптура в мире, нарисованная 3D-ручкой (ВИДЕО)

Nissan в натуральную величину. Самая большая скульптура в мире, нарисованная 3D-ручкой (ВИДЕО)

Фотографическая точность, видимо, не была целью художника, но прорисовка деталей впечатляет. А вот фильм ...