РусУкр
20.06.2019 г.
Появилось первое в мире сообщество людей, отказавшихся от рождения детей из-за глобального потепления
"Съем тёлочек" и покупка молокозавода: Фотограф показал интересную переписку депутата в Раде
Санкции против РФ могут превратиться в насмешку, - Портников
"Вонь русского духа": Парубий выступил с жестким заявлением о "черной среде" в Украине
Смерть 11-летней Дарьи Лукьяненко: Появились фото и видео с места трагедии
Суд над Россией,- Портников
Кремлю дают последний шанс перед большим мордобоем, - историк
В столице представят первую смарт-улицу
Рост стоимости нефтепродуктов грозит социальным взрывом в России
Китай бросил вызов РФ в Центральной Азии,- СМИ
Стало известно, кто выиграет от торговой войны между США и Китаем
США хотят предоставить Украине новейшее мощное оружие
Сеть Т2 не будет кодировать свой сигнал в эфире
Смерть Дмитрия Тымчука: выяснили новые важные факты
Трамп направляет на Ближний Восток ЗРК Patriot
"Скоро будут хорошие новости": Украина получит дополнительное оружие от США, - сенатор
Журналисты рассказали о состоянии Тымчука перед гибелью
Спонсор терроризма: В США подготовлен сокрушительный законопроект против РФ
Жестокое убийство 11-летней девочки: Появилось фото подозреваемого
Сын забил до смерти отца на турецком курорте
Трамп встретится с Путиным на саммите G20 в Осаке
Избитый в Черкассах журналист умер

19.06.2019 г.
ООН: В 2050 году в Украине будет проживать чуть более 35 миллионов человек
В украинском армии появятся марксмены: что известно о новой должности
Названы пять здоровых альтернатив кофе
США хотят наказать Турцию за покупку российских ракет
До конца недели в Украине продержится аномальная жара
Эксперты призывают людей, желающих похудеть, хорошо высыпаться
В Украине резко упал спрос на автомобили с ГБО и дизельными двигателями
Какой продукт может стать причиной преждевременной смерти
Замаливать грехи станет сложнее: в Верховной Раде закрывают церковь
В соцсетях сообщают о сильном взрыве в Донецке (ВИДЕО)
В Днестре обнаружили холероподобный вибрион
Цены на газ для населения продолжат снижение
У себя дома умер народный депутат Дмитрий Тымчук
Иран создал систему противоракетной обороны, способную сбивать «самолеты-невидимки»
Вступительная кампания 2019: стало известно, кто будет иметь льготы на поступление в вуз
Дороги в Украине станут безопаснее для пешеходов
США впервые показали один из своих самых перспективных комплексов вооружений (ФОТО)
Местным чиновникам намерены поднять зарплату
Медики рассказали, может ли рак передаться по наследству
Американские медики вычислили самый вредный для здоровья продукт
Перенос энергорынка на 1 год противоречит позиции международных партнеров Украины, - Бузаров
Находят альтернативные варианты: Украинцы целыми домами отключаются от горячей воды
«Великий преемник: судьба блестящего товарища Ким Чен Ына»: опубликована новая книга о северокорейском диктаторе
Иран играет на ключевой слабости США, чтобы повысить цены на нефть
Работающей молодежи становится меньше: Работодатели в Украине загоняют себя в тупик
Назвали продукт, который защитит от рака кишечника
Украинцы станут богаче: стали известны подробности
СМИ: Помпео направил жесткое предупреждение Ирану
"И кто же после этого фашисты?": На пунктах пропуска из "ДНР" в Украину устроили настоящий ад, - Казанский
"Сами керчани это видят": Керченский мост никому не нужен и он был колоссальной ошибкой, - ученый
Зеленский анонсировал новую программу с МВФ
Задержали судно с украинцами
Эрдоган сообщил о получении российских C-400
Трамп ждет встречи с лидером Китая
Украина сделала все возможное: В США назвали главное препятствие для выполнения Минских соглашений
Путин скрывает, что он делает с грязной нефтью из «Дружбы»
Боевики устроили смертельный обстрел на Донбасс: Трагические вести для Украины
Волкер наведается в Украину еще до визита Зеленского в США
Все новости »

Ученые научились воссоздавать лицо человека по голосу

 
Печать Отправить на почту

 

 

Американские разработчики представили нейросетевую модель Speech2Face, которая умеет воссоздавать по спектрограмме речи человека примерное изображение его лица.

Нейросетевая модель была обучена на нескольких миллионах видео, она умеет воссоздавать по спектрограмме речи человека примерное изображение его лица, основываясь на трех основных параметрах: поле, расе и возрасте, информирует enovosty.com/news.

По голосу человека можно с разной точностью определить некоторые его особенности: легко можно определить пол, чуть сложнее (но все равно возможно) — возраст, а наличие акцента дает общее представление о национальности.

В результате этого можно примерно представить, как выглядит человек, но это представление не будет достаточно точным.

Ученые из Массачусетского технологического института при участии Тэхёна О решили проверить, можно ли точно восстановить внешность человека по его голосу с помощью машинного обучения.

Для обучения нейросети они использовали датасет AVSpeech, состоящий из более миллиона коротких видео более ста тысяч разных людей: каждое видео в базе данных разделено на аудио- и видеодорожку.

Архитектура натренированной нейросети устроена следующим образом.

Сначала предварительно натренированный алгоритм VGG-Face (ранее его использовали для создания модели, которая умеет определять сексуальную ориентацию человека — при условии ее бинарности) использует особенности лица человека из кадра на видео для создания изображения лица человека в анфас с нейтральным выражением лица.

Другая часть алгоритма воссоздает из аудиодорожки использованного видео (небольшого фрагмента — от 3 до 6 секунд) спектрограмму речи и, используя результаты из параллельной нейросети, генерирующей изображение лица, дает на выход примерное изображение лица человека, который разговаривает на видео.

Точность разработанного алгоритма оценили по трем демографическим показателям: ученые сравнили пол, примерный возраст и расу оригинального изображения человека из видео и изображения, восстановленного на основе голоса.

Несмотря на то, что авторам удалось добиться успехов в восстановлении изображений некоторых людей по видео, объективные метрики показывают несовершенство разработанной модели.

В частности, модель хорошо угадывает пол человека, но редко может определить возраст с точностью до десяти лет, а также лучше всего «рисует» людей с европеоидной и азиатской внешностью. Последнее разработчики объясняют неравномерным распределением рас в обучающей выборке.

Исследователи отметили, что целью их работы не было точное восстановление внешности человека по его голосу; сосредоточились они именно на выделении и точности некоторых важных параметров: пола, возраста и этнической принадлежности.

Именно поэтому точно показать по голосу, как выглядит человек, пока что нельзя: при этом определенных параметров хватит для того, чтобы создавать, к примеру, анимационные аватары человека по его голосу.

Также ученые отмечают, что их работа носит также исследовательскую пользу: генерация целых лиц на основе голоса поможет лучше изучить корреляцию с внешностью.

На прошлой неделе другой алгоритм, который выделяет особенности лица из изображения человека, использовали для того, чтобы превратить статичные изображения (не только фотографии, но и картины) в анимированные изображения.


По материалам realist

Аналитика




Новости технологий




Россия хочет оставить две раны в боку Украины


Нужна помощь

Последние новости в соцсетях

Афиша 

Вся Афиша    >>


bigmir)net TOP 100