Искусственный интеллект поможет выучить язык жестов
Полина Агеева –
В настоящее время система анализирует движения на швейцарско-немецком языке жестов и дает комментарии о том, как улучшить форму, движение, местоположение и синхронизацию руки.
Программа представляет собой игру. На экране показывается или произносится обозначение знака. Затем система записывает вашу попытку воссоздать знак с помощью видеокамеры и, проанализировав, сообщает, насколько качественно выполнен жест.
На всех этапах игры используется искусственный интеллект. Сверточная нейронная сеть (CNN) фиксирует с видео позу вашей верхней части тела и отправляет информацию о сделанном жесте к другому CNN, анализирующему форму руки. Затем, с помощью скрытой марковской модели, происходит сравнение вашего жеста с идеальной версией, и дается оценку соответствия.
Вся система скрыта за простым в использовании интерфейсом, не мешающим сосредоточиться на обучении. Ученые утверждают, что для работы на других языках её «архитектуру» менять придется.
Это новость от журнала ММ «Машины и механизмы». Не знаете такого? Приглашаем прямо сейчас познакомиться с этим удивительным журналом.