Новый алгоритм создает звуковые эффекты для виртуальной реальности за считанные секунды

Звуковые эффекты делают сцены из фильмов и игр более реалистичными. Но в виртуальной реальности с озвучкой до сих пор проблемы, так трудно предсказать, какой шум может издавать нарисованный объект или где его можно услышать. Чтобы сделать виртуальные звуки реалистичными, инженерам придется создать огромное количество «моделей звука» — компьютеризированных эквивалентов предварительной записи.

Предыдущие алгоритмы основывались на работе ученого 19-го века Германа фон Гельмгольцема, который дал свое имя уравнению, описывающему распространение звуков. На его основе ученые разработали программные процедуры для создания трехмерных моделей звука: он кажется реалистичным за счет изменения громкости и направления в зависимости от расположения относительно слушателя. До сих пор для создания одной модели звука потребовалось бы много часов, а поскольку для синтеза различных потенциальных звуков потребовалось бы много разных моделей, создание могло стать невыполнимой задачей. Теперь ученые из Стэнфорда изобрели алгоритм, способный создавать звуки за считанные секунды.

Алгоритм вычисляет модели звука в сотни-тысячи раз быстрее, и не пользуется уравнением Гельмгольца и БЭМ. Их подход вдохновлен австрийским композитором 20-го века Фрицем Генрихом Кляйном, который нашел способ смешать множество фортепианных тонов и нот в один приятный звук, известный как материнский аккорд. Ученые назвали свой алгоритм KleinPAT, и на конференции ACM SIGGRAPH 2019 они расскажут детально, как это работает.

Фото: Doug Jame, Stanford University