Исследователи из Новосибирского государственного технического университета НЭТИ
разработали программу, способную переводить язык жестов в голос или текст с точностью 90 процентов. Всего ПО может определить 1006 жестов. При этом для его обучения использовали запись 350 жестовых предложений с камер.
Система фиксирует движения рук и переводит снимки в изображения, которые затем переводятся в модели. Последние проверяет нейросеть и сравнивает с уже имеющимися данными, которые затем переводятся в текст или голос. Отмечается, что разработка может определять начало и конец жеста, а также межжестовые движения.
Фото: НЭТИ