Новая компьютерная система воспроизводит человеческие мысли

Инсульт, черепно-мозговая травма и нейродегенеративные заболевания: болезнь Паркинсона, рассеянный склероз и боковой амиотрофический склероз, часто приводят к необратимой потере речи. Новая система может создавать синтезированную версию человеческого голоса, управляемого с помощью активности речевых центров их мозга.

В исследовании участвовали пять добровольцев, проходящих лечение в Центре эпилепсии UCSF.  Их попросили вслух прочитать несколько сотен предложений, в то время как ученые фиксировали активность в области мозга, участвующей в языковом производстве.

Основываясь на аудиозаписи голосов участников, исследователи использовали движения, необходимые для создания звуков: сжатие губ, голосовых связок, смещение кончика языка к небу, его расслабление и так далее. Это позволило ученым создать реалистичный виртуальный голосовой тракт для каждого участника, контролируемый их мозговой активностью. Он состоял из двух алгоритмов машинного обучения: декодер, преобразующий паттерны мозговой активности, создаваемые во время речи, в движения виртуального голосового тракта, и синтезатор, преобразующий движения голосового тракта в голос участника.

Результат был более успешным, когда участники читали более короткие слова. Система точно определила 69% слов из 25 альтернатив и расшифровала 43% предложений с полноценной точностью. С более сложными словами, общая точность расшифровщиков упала до 47%, хотя система все еще понимала до 21% синтезированных предложений.