При воспроизведении музыки жесты чрезвычайно важны, отчасти потому, что они напрямую связаны со звуком и выразительностью музыкантов. Создана технология, которая фиксирует движение и способна очень точно определять жестовые детали.
Цель проекта – исследовать, как новые технологии (датчики, мультимедийные данные, искусственный интеллект и компьютерные системы) могут улучшить и облегчить изучение музыки. Ученые
записали движения и звуки, соответствующие семи техникам скрипки (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato и Bariolage) в исполнении профессионального скрипача.
Потом они синхронизировали движение его правого предплечья с аудиозаписью. На основе полученной информации, ученые обучили систему искусственного интеллекта автоматически определять различные техники. Она анализирует движение учеников и дает обратную связь о правильности их выполнения. Точность определения достигает 94%.
Фото: UPF