Нейросеть оживила фигуры людей на фотографиях

Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.

Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:

Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

 

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Искусственный интеллект становится персональным тренером

Немецкая компания Kaia Health представила необычное мобильное приложение-тренер. При помощи технологии искусственного интеллекта оно следит за движениями пользователя и помогает ему правильно выполнять физические упражнения.

Мир глазами детей. Новая реклама Delta Airlines

Авиакомпания Delta Airlines и агентство Wieden&Kennedy New York на примере детей показали, как путешествия объединяют людей.

В Польше испытают очень легкий реактивный самолет

Польская компания Metal Master получила разрешение авиационных властей Польши на проведение испытаний очень легкого реактивного самолета Flaris LAR01, разработка которого ведется с 2013 года.