Устройство, возвращающее речь (ВИДЕО)

Использование нейрокомпьютерных интерфейсов, подсоединенных к синтезаторам речи, могло бы помочь людям, страдающим от паралича или афазии, восстановить речь. Однако для реализации такой технологии необходимо сначала создать синтезатор речи, который позволит в режиме реального времени воссоздавать голосовой сигнал по небольшому набору параметров. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь всего лишь на информацию о движении органов речи человека.

В основе разработанного исследователями синтезатора речи лежит использование нейронной сети с тремя скрытыми слоями и вокодера(устройства синтеза речи). Нейросеть была обучена с помощью специальной базы данных, в которой хранилась информация о звуках, произносимых человеком, и соответствующих им действиях органов речи. Для ее создания ученые подсоединили девять датчиков движения к небной занавеске, губам, языку и челюсти мужчины, носителя французского языка. Во время того, как он говорил, компьютер следил за его артикуляцией. В итоге исследователям удалось записать почти девятнадцать тысяч звуков или 712 речевых элементов разной длины (начиная с отдельных гласных и согласных и заканчивая целыми предложениями) и соответствующие им движения органов речи. Общая продолжительность аудиозаписи составила 45 минут.

После обучения искусственный интеллект научился восстанавливать голосовой сигнал исключительно по движению губ человека. Речь, созданная компьютером, звучит искусственно, однако исследователи на данном этапе не добивались ее естественного звучания. Четыре носителя французского языка проверили работу программы: каждого из участников исследования попросили беззвучно произнести семь гласных и несколько последовательностей, построенных по схеме гласная-согласная-гласная. После этого 12 человек, также говорящих на французском языке, пытались определить по восстановленному голосовому сигналу, какой звук произнесли испытуемые. 

Тестирование показало, что искусственный интеллект распознает гласные звуки значительно лучше, чем согласные — средняя точность распознавания гласных достигала 86 процентов, а согласных — 49 процентов. Последовательности гласных система распознавала в 48–52 процентах случаев.

В будущем подобное устройство может быть использовано для помощи людям с проблемами речевого тракта. Кроме того, изобретение авторов работы поможет другим исследователям при разработке нейрокомпьютерных интерфейсов, которые будут воспроизводить речь человека только на основе сигналов его мозга. В частности, ученые смогут использовать похожий подход.

 

Tags:


Notice: Undefined offset: 0 in /home/test2.reklamaster.com/html/wp-content/themes/onfleek/inc/df-core/views/df-content/df-post-layout-9.php on line 167

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

48-й кінофестиваль «Молодість» презентував тизер

Київський міжнародний кінофестиваль «Молодість», який цьогоріч триватиме з 25 травня до 2 червня, презентував офіційний тизер. Відеоролик складається з кадрів ...

Реклама сериала о вампирах загорелась от солнечного света

Для сериала о вампирах «Прохождение» агентство BETC / Havas разработало постеры, которые загораются под действием солнечного света. Рекламу развесили ночью ...

Когда разрушется мир… Новая кампания Lacoste

К 85-летнему юбилею бренда Lacoste французское агентство BETC подготовило глоабльную рекламную кампанию под общим слоганом"Жизнь - это прекрасный спорт".