Нейросеть Facebook позволила управлять движениями людей, снятых на видео

0
18

Нейронные сети уже умеют основывать лица несуществующих людей и даже улучшать качество видео. Технология продолжает развиваться, причем крайне стремительно — это казалось невозможным, но отныне сброшенными на видео людьми можно управлять при помощи клавиатуры компьютера. Это стало возможным благодаря труду команды разработчиков Facebook AI Research, какие обучили нейронную сеть распознавать движущегося человека на видео, менять фоновое изображение и контролировать его движения. Это надо видеть — благо, разработчики поделились детальным видеороликом.

Нейросеть Facebook

На основе технологии, придуманной разработчиками из Facebook, лежат два нейросетевых алгоритма — Pose2Pose и Pose2Frame для переноса объектов из одного видео в иное. Также они задействовали алгоритм DensePose, который превращает двумерное изображение снятого на видео человека в трехмерную модель.

Итак, чтобы обратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель определенного человека. Далее алгоритм Pose2Pose превращает запись с анимацией подвигающегося человека в видеоролик с черным фоном. Уже на этом этапе нейронная сеть способна воспринимать нажатия на клавиатуру и двигать «игрового персонажа» в необходимую сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.

На видео также видны иные примеры работы нейронной сети. Конечно, на них можно заметить множество артефактов изображения, но сам факт возможности управлять человеком из видео весьма впечатляет. Вероятно, что этой технологии найдется применение в игровой индустрии — о том, насколько полезны нейронные сети в сфере игр и кино, читайте в нашем особом материале.

Источник

Поделиться: