На сегодняшний день основными методами создания реалистичной анимации виртуальных существ являются скелетная анимация и небезызвестный Motion Capture (mocap).
Однако специалисты постоянно находятся в поиске новых не менее качественных, но более дешевых способов. И, вполне возможно, в этом могут помочь нейросети. Одну из них недавно обучили распознавать движения людей и переносить их на виртуальных персонажей. Подойдет для этого любое видео. Даже видео с YouTube.
За разработку отвечают ученые из Лаборатории исследований в области искусственного интеллекта Калифорнийского университета в Беркли (США) и Университета Британской Колумбии (Канада). Новый алгоритм получил название DeepMimic и был создан еще в начале 2018 года, но полноценная презентация состоялась лишь недавно в рамках конференции SIGGRAPH Asia 2018. Как утверждают авторы,
«Наш подход основан на глубоком анализе и оценке определенных поз и событий. Нейросети с глубоким машинным обучением могут проводить качественный анализ любых движений из общедоступных видеоисточников, таких как YouTube. Это имеет огромный потенциал для разработки инструментов для быстрого и простого создания анимации, лишь запросив видеозапись с желаемым поведением в интернете. Наш алгоритм способен изучить широкий спектр навыков, включая акробатику и боевые искусства.»
Сам алгоритм работает довольно просто: система «смотрит» видео, на котором выполняется определенное действие. Затем ролик разбивается покадрово и для каждого кадра создается трехмерная модель. После этого все модели «соединяются», а специальная подпрограмма следит за связками между ними и удаляет артефакты и сглаживает «рывки» анимации.
Оценить работу алгоритма вы можете на демонстрационном видео, доступном ниже. Но хочется добавить, что результат действительно получился впечатляющим, при условии того, что это, конечно, не заранее заготовленные видео, а рандомные ролики из интернета.