Нейросеть способна наложить движения танца с одного человека на другого

Раннее были известны дипфейки с заменой лиц, теперь создали дипфейки для танцев.

Искусственный интеллект считывает танцевальные движения другого человека и накладывает его на целевое тело.

Научной стороной этого варианта занимались четыре исследования из Калифорнийского университета в Беркли. Как они описывают в работе, опубликованной в arXiv, их система состоит из нескольких дискретных шагов.

Записывается видео с танцором, подпрограмма превращает его движения в фигуру из палочек. Для хорошего качества потребуется порядка 20 минут съемки на 120 fps.

Затем происходит обмен и нейросеть синтезирует видео с целевым индивидом, основываясь на движения фигуры из палочек.

Подпрограмма сглаживает движение фигур, чтоб фейковый танцор не сильно дергался, а совершенно отдельная нейросеть повторно отслеживает лицо фейковой цели для обеспечения реализма.

У программы есть и свои ограничения. Сеть не может точно моделировать свободные ткани, поэтому целевому человеку нужно надевать облегающую одежду.

Как можете сами убедиться на видео, фейковый танцор на большом экране выглядит пока что неестественно, как в 3D анимации, движения сильно проигрывают настоящему танцору, изображенному в окне слева. И параметры фигуры слегка «гуляют» при некоторых крутящихся моментах.

Опять же, неспроста для визуализации работы программы был выбран танец, максимально отдалённый от естественных человеческих движений и похожий на движения робота — тектоник. Но всё это вопрос техники, а изготовление фейковых видео с заменой лица, голоса и движений — дело ближайшего будущего.