Microsoft научил компьютер анимировать лица с эмоциональными оттенками

Сегодня международный день анимации. Ровно 127 лет назад мир увидел в действии движущиеся картинки. И сейчас без этого вида творчества невозможно представить ни интернет, ни телевидение, ни кино. Ведь практически на любом сайте можно увидеть примеры видео графики – от простейших презентационных материалов компании до красочных трехмерных реалистических компонентов. Примером такой графической обработки является вирусный видеоролик из Самары, показывающий «космические технологии» для обычного городского дома.

Да что уже говорить о сайтах или видеороликах, если даже обычные сообщения в вайбере или телеграмме невозможно представить без анимационных смайликов и графических наклеек.  Естественно сайт позитива не мог обойти стороной этот вид деятельности. Так как один из ярчайших видов анимационной деятельности являются мультфильмы. И именно они чаще всего дарят нам позитив и хорошее настроение.

Однако сегодня речь пойдет не о новых технологиях в анимационных фильмах, которые, к примеру, недавно применила компания Disney во время арт-эксперимента в фильме «Король Лев», а о новой разработке от инженеров Microsoft Research, позволяющей анимировать статичные кадры лиц при помощи звуковой фонограммы. Для этого берется обычная статическая фотография и запись речи людей. После этого алгоритм, выделяя на фонограмме фонетические характеристики речи, эмоциональный тон и убирая сторонние шумы, создает анимированные статические изображения лица человека, точно повторяющие все аспекты его речи.

При этом такая технология сможет описать не только простую естественную повседневную речь человека, но и придать статичной картинке эмоциональность разговора во время гнева, крика, радости или же возмущения. В этом то и есть основная особенность данного алгоритма. Поскольку большинство существующих сейчас функционалов способны создать анимацию лица лишь для чистой нейтральной человеческой речи, не имеющей никакого эмоционального окраса. А так как человеческая речь многогранна, то и полученная анимация выглядит неестественно.

Алгоритм придумала команда исследователей под руководством Гаурава Миттала и Баоюаня Вана. Во время исследования голоса технология выделяет ключевые аспекты речи – шесть видов базовых эмоциональных составляющих и одну фонетическую и получает своеобразные вариационный энкодер, на основе которого воссоздается мимика говорящего человека. Для создания энкодера авторы изучили порядка тысячи фрагментов записей нейтральных речей и около семи с половиной тысяч видеозаписей голосов с различными эмоциями. После этого они попробовали на результаты работы алгоритма на оригинальных статических кадрах и сравнили их с эталонными. Погрешность была минимальной.

Поэтому если теперь кто-нибудь захочет сделать самостоятельно графическую анимацию лица человека на основе записанной его речи, то сможет использовать алгоритм от Microsoft Research. Тем же, кто не сильно любит разбираться в графических программах, помогут специалисты анимационных студий наподобие Телепорт.