Лингвисты Пермского университета учат роботов языку человеческих жестов

Авторами статьи «Техносемантика жеста: о возможностях использования пермской жестовой нотации в программно-генерируемых средах» выступили сотрудники кафедры теоретического и прикладного языкознания филологического факультета ПГНИУ профессор Константин Белоусов и доцент Александар Талески, а также разработчик программного обеспечения, эксперт компании «Хьюмен Семантикс» Артем Агаев. Над сопутствующими задачами работают студенты Института компьютерных наук и технологий ПГНИУ, а также выпускники университета.

Авторы исследования отмечают, что передача информации происходит не только через язык, но и через жестикуляцию и движения человека. Поэтому для обучения антропоморфных роботов необходимо составить «словарь» из невербальных сообщений. Для создания такого корпуса знаний ученые сопоставляют устные высказывания и физическую реакцию и в дальнейшем обрабатывают. Затем из этих моделей создают антропоморфные 3D-модели, используя игровой движок Blender.

В итоге создан «словарь» для обучения человекоподобных роботов.

«Цель нашей работы – создать условия для реалистичных движений антропоморфных роботов или 3D-анимированных персонажей. Для этого нам нужно научиться «на лету» распознавать движения человека в видеопотоке и записывать их в виде формулы, которую уже передавать исполняющему устройству. Важно, что в результате мы получаем не просто рандомный, не поддающийся логике результат работы нейросетей. Мы ищем и создаём формулу движения, на основе которой искусственный интеллект повторяет, восполняет, корректирует и развивает сценарии движения», – комментирует профессор кафедры теоретического и прикладного языкознания ПГНИУ профессор Константин Белоусов.

Помимо сотрудничества с производителями роботов и программистами, усилия цифровых лингвистов ПГНИУ направлены на взаимодействие в области медицины. Разрабатываемые Константином Белоусовым и Александаром Талески модели тестируют для реабилитации людей с заболеваниями опорно-двигательного аппарата. Партнёрами учёных выступают Пермский государственный медицинский университет и приглашённые эксперты в сфере медицинских наук из других регионов.

Используемая методология развивается в фарватере пермской школы социокогнитивной и компьютерной лингвистики.

«Вызов, с которым мы имеем дело – это работа над формулами движений, которые включают в себя все составляющие одного движения, плюс возможность для дальнейших комбинаций и дополнений. В процессе работы мы продолжаем спрашивать себя: где и в каком направлении нам следует продвигаться? Это естественно, поскольку в данном исследовании огромный потенциал», – отмечает доцент кафедры теоретического и прикладного языкознания ПГНИУ Александар Талески.

Для справки:

Жестовая нотация (с англ. SignWriting) — система письменности, позволяющая зафиксировать мимику и жесты человека в виде отдельных «высказываний». Создателем системы жестовой нотации является Валери Саттон, американская танцовщица и хореограф. Российские исследования, связанные с жестовой нотацией, возникают в 90-е года XX века. В силу того, что жестовый язык меняется намного быстрее, чем его успевают исследовать, учёные привлекают высокие технологии для обработки больших и разнородных объёмов данных. Особая роль в развитии жестовой нотации принадлежит цифровой лингвистике.

Исследования на стыке филологии и IT развивает в ПГНИУ лаборатория социокогнитивной и компьютерной лингвистики. Подразделение объединяет специалистов в области лингвистики, прикладной математики, социологии, психологии, клинической медицины. Лаборатория оснащена современным оборудованием, позволяющим проводить исследования в области нейронаук, виртуальной реальности и интернета вещей. Коллектив лаборатории создает программное обеспечение, которое может совмещаться с приборной аппаратурой и используется для проведения полного цикла научного исследования.

Набирающая в XXI веке обороты цифровизация позволяет вывести отношения между людьми и «машинами» на новый уровень, способствуя их взаимопониманию и создавая модели, которые развиваются в кросс-научном поле, на стыке естественных и гуманитарных дисциплин. Ранее мы писали о том, что учёные Пермского университета создают цифровые копии органов человека для отработки сценариев прогнозирования и лечения заболеваний.