ГОЛОС ЖЕСТОВ: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПРИМЕНЯТ ДЛЯ СУРДОПЕРЕВОДА
22.11.2018
Источник: ИЗВЕСТИЯ, 22.11.2018
Мария Недюк
Программа
поможет людям с проблемами слуха и их родственникам обучиться жестовому языку
и чтению по губам
Российские ученые разрабатывают программу,
которая с помощью искусственного интеллекта сможет в режиме реального времени
через видеокамеру переводить жесты человека с проблемами слуха в слова, фразы и
звуки. Подобной системы пока нет нигде в мире.
Она необходима для того, чтобы облегчить процесс общения между глухими и слышащими
людьми. Программа будет базироваться на уникальном сервисе, который
помогает людям с проблемами слуха и их родственникам обучиться жестовому языку
и чтению по губам.
АВТОМАТИЧЕСКИЙ
СУРДОПЕРЕВОДЧИК
Ученые из Института проблем управления им.
В.А. Трапезникова РАН (ИПУ РАН) разрабатывают уникальную систему для
слабослышащих и глухих людей, которая с помощью искусственного интеллекта
сможет переводить жестовый язык в слова, фразы и буквы. Как сообщил «Известиям»
заведующий лабораторией «Автоматизированные системы массового обслуживания и обработка
сигналов» ИПУ РАН Маис Фархадов, после того
как группа исследователей соберет
необходимые статистические данные, они будут предъявлены нейросети, которую с применением методов машинного обучения
«натренируют» распознавать, какой звук
или буква соответствует определенному жесту.
— Мы
применяли для распознавания жестов искусственный нейронный кортекс (группа нейронов,
ответственная за принятие решений. — «Известия»).
Он может распознавать статические жесты. Дактильную азбуку он уже распознает. В
будущем планируем довести эту разработку до автоматического сурдопереводчика.
Полностью заменить человека это не сможет, но в каких-то случаях поможет людям
с проблемами слуха, — сообщил Маис
Фархадов.
Ученые отметают, что на создание
искусственного интеллекта, способного переводить жесты в слова и звуки, может
уйти не один год, но они готовы работать над программой столько, сколько
потребуется, чтобы создать оптимальный вариант автономного сурдопереводчика.
Тем более что пока такой системы нет ни в одной стране мира.
В МИРЕ
— Первые
виртуальные сурдопереводчики (аватары) —
человечки, которые речь переводят в жесты, были созданы командами
программистов из исследовательских центров IBM в начале этого века, — рассказала «Известиям» научный сотрудник
лаборатории «Автоматизированные системы массового обслуживания и обработка сигналов»
Зинаида Мясоедова. — На одну из таких
разработок ушло более года. Однако, по мнению носителей жестового языка, эти
разработки, несмотря на свою уникальность, не были совершенными. Люди, знающие
и использующие жестовый язык, пока относятся к аватарам с недоверием, поскольку
в сравнении с человеком они не могут передать выразительность и точность
жестовой речи. В жестовом языке должна быть очень высокая точность исполнения
жестов, и каждое незначительное движение может изменить их значения. Мы
стараемся учесть все нюансы и приблизиться к максимальной точности, но это пока
перспектива. Сейчас нужно собрать наиболее полную базу данных.
В последнее время работы по созданию
виртуальных сурдопереводчиков успешно ведутся во многих странах (Нидерланды,
Франция, Греция, Чехия, Германия и др.). Европейский союз и несколько
университетов выделили сотни тысяч фунтов на исследования в надежде на
разработку аватаров, которые можно использовать на веб-сайтах.
НА ОСТРИЕ НАУКИ
Российская программа-сурдопереводчик будет
базироваться на уникальной для России площадке, разработанной слабослышащей
молодой сотрудницей ИПУ РАН, выпускницей МГТУ имени Баумана Марией Мясоедовой. Она является научным
сотрудником и несколько лет работает над интернет-порталом «Сурдосервер»,
призванным облегчить людям с проблемами слуха и их родственникам изучение
жестового языка. На портале собраны сотни обучающих видеороликов, речевой
тренажер, который помогает глухим пользователям узнать, насколько правильно они
произносят тот или иной звук, глоссарий с дактильными азбуками разных стран, словарь «диалектов жестового языка».
— Русский
жестовый язык аналогичен вербальному русскому языку со всей его спецификой.
Есть диалекты жестового языка. Московские слабослышащие разговаривают своими
жестами, в Петербурге и других регионах есть свои особенности. Мы планируем
расширить количество видеофайлов на жестовом языке, включая туда жесты,
обозначающие термины из области информационных
технологий, — отметил Маис Фархадов.
По словам проректора по научной работе
ННГУ Виктора Казанцева, создание сурдопереводчика на основе нейросетей — очень перспективное направление.
— Эта
тематика сейчас находится на острие науки. К настоящему времени активно
развиваются современные гибридные нейро-алгоритмические методы и системы с
целью построения интеллектуальных систем анализа, консультирования,
прогнозирования и цифровых двойников для решения различного класса задач, — отметил
ученый.
Также ученые из ИПУ РАН разрабатывают мобильное
приложение «Сурдосервис» и сурдооблако, в котором люди с проблемами слуха
смогут мгновенно обмениваться информацией. Предполагается, что, после того как разработчики обучат нейросеть с
максимальной точностью переводить жестовый язык в слова и буквы, все
сурдосервисы, созданные в ИПУ РАН, будут интегрированы в единый пакет программ,
который можно будет распространять среди слабослышащих людей.