Российские учёные заставили нейросеть воссоздать изображение, увиденное человеком

Авторы работы решили пойти необычным путём. Вместо привычной функциональной магнитно-резонансной томографии и анализа сигнала, полученного напрямую из нейронов, они использовали электроэнцефалограмму (ЭЭГ).

Интерфейс «мозг – компьютер», созданный для проведения эксперимента, считывает данные ЭЭГ и при помощи нейросетей создаёт увиденный кадр в режиме реального времени.

Сам эксперимент проходил следующим образом. Первым этапом испытуемые смотрели ролики с YouTube в разных категориях: абстракции, водопады, лица людей, гонки, снятые от первого лица. В это время ЭЭГ, покрывающая голову, считывала частотные характеристики волновой активности (спектры) мозга. Оказалось, что при просмотре разных роликов, спектры сильно различаются.

Во втором этапе учёные запрограммировали две нейросети. Одна выполняла функцию генерации изображений, согласно категории видео. А вторая – создавала картинки исходя из данных с ЭЭГ. После этого нейросети обучили работать вместе.

В качестве теста, участникам эксперимента показали уже другие видео, но из тех же тематик. Нейросети показали себя отлично. Конечно, искусственно созданные изображения сильно отличаются от реальной картинки, но по ним можно понять, к какой категории принадлежит видео.

Теперь, когда учёные понимают, как лучше считывать мозговую активность, а главное – умеют распознавать спектры в реальном времени, они могут создать реально эффективные устройства, управляемые мозгом. Так, в скором времени, парализованные люди смогут силой мысли управлять автоматизированными колясками, либо протезами.

фото: пресс-служба МФТИ, Григорий Рошков