Девайс, переводящий язык жестов в устную речь

Ученые рассказывают о своем изобретении в журнале Nature Electronics. Разработанная ими система включает в себя пару технологичных перчаток с тонкими и пластичными сенсорами, прикрепленными вдоль пяти пальцев рук. Эти сенсоры засекают движение рук и положение пальцев, которые означают те или иные числа, буквы или слова американского языка жестов.

Затем девайс преобразует энергию, появляющуюся в результате движения рук и пальцев, в электрические сигналы, которые посылаются в небольшую электроплату, расположенную на запястье. Плата транслирует эти сигналы беспроводным способом в приложение, установленное на смартфон, и оно, в свою очередь, переводит сигналы в слова и фразы разговорного английского языка. Слова и фразы тут же транслируются через динамики. Скорость этого перевода составляет примерно одно слово в секунду.

Во время тестирования технологии ученые также прикрепили сенсоры к переносице и уголкам рта добровольцев, тестирующих устройство. Это было сделано для того, чтобы технология могла считывать мимические движения, которые также являются частью американского языка жестов.

Тестировщиками девайса оказались 4 человека, имеющих глухоту и использующих американский язык жестов. В рамках тестирования они повторяли каждый свой жест по 15 раз. Алгоритм машинного обучения в итоге распознал в жестах 660 знаков, включающих в себя слова, буквы и числа от 0 до 9.

Ученые считают, что их девайс сможет сократить разрыв между людьми, особенности организма которых не позволяют им использовать устную речь, и теми, кто способен высказываться устно. Разработчики девайса уже подали заявление на патент и готовятся к коммерческому выпуску разработанного устройства.