Еще один пример результата машинного обучения в музыке, если музыкой называть любое звукоизвлечение, продемонстрировала группа Google Magenta - это Piano Genie, 8 кнопочный манипулятор, который помогает импровизировать на пианино.
Команда Piano Genie была вдохновлена игрой Guitar Hero, которая также упрощает игру на инструменте. Отвергнув идею, когда пользователь инициирует касаниями кнопок выбор предварительно записанных фрагментов произведений, авторы поставили задачу составить фрагменты мелодии «на лету».
Для этого они подготовили программу AI на огромном наборе данных классической фортепианной музыки, обучив ее предугадывать, какие фрагменты следуют друг за другом так же, как интеллектуальная текстовая функция подсказки смартфона догадывается, что пользователь будет писать дальше.
Я действительно хотел дать возможность создавать музыку тем, кто не умеет играть на инструменте - сказал Крис Донахью, стажер в Google Magenta и один из трио, которое создало фортепианный Genie
Многие музыкальные проекты AI генерируют целые мелодии из одной начальной ноты или аккорда. Piano Genie отличается тем, что он импровизирует от ноты к ноте, давая пользователю большее чувство контроля. Это технически трудно, т.к нужно минимизировать латентность, чтобы каждая нота была подготовлена к текущей игре, но в результате это создает уникальное чувство для играющего, говорит Донахью, который играет на фортепиано в течение 20 лет. Иногда фрагмент кажется точным попаданием в мысли, иногда отличным, но всегда разумным.
Алгоритм обучения машины Piano Genie построена из нескольких общих элементов AI. Основным компонентом является рекуррентная нейронная сеть, программа, которая отлично в распознает и имитирует последовательные данные, такие как текст и музыка. Эта нейронная сеть была снабжена набором данных фортепианной музыки, взятой из международного конкурса.
Эти данные были особенно полезны, так как все исполнения записывались в формате файла, который сохраняет не только ноты, но и скорость, тембры и громкости современных исполнителей. Фрагменты и последовательности подстраивались к клавишам и временным диапазонам нажатий, эта связка настраивалась. В результате разработки кодеров 88 нот извлекаемых клавишами пианино были свернуты в 8 кнопок манипулятора.
По словам разработчиков, тестирующие новое устройство, проходили 2 стадии: на первой достаточно осторожно пробовали изолированные и не очень понятные фрагменты звучания. Если же их просили представить себя концертными исполнителями на сцене Карнеги-холла, то они увлекались, и звуковые картины носили индивидуальный характер.