я могу помочь узнать мир через буквы
Никогда ни о чем не жалеть и всегда стремиться вперед
Светлана Белякова
Все записи
текст

Новая компьютерная система воспроизводит человеческие мысли

Анатомически детализированное компьютерное моделирование генерирует синтетическую речь естественного звучания, используя мозговую активность для управления виртуальным голосовым трактом.
Новая компьютерная система воспроизводит человеческие мысли
Инсульт, черепно-мозговая травма и нейродегенеративные заболевания: болезнь Паркинсона, рассеянный склероз и боковой амиотрофический склероз, часто приводят к необратимой потере речи. Новая система может создавать синтезированную версию человеческого голоса, управляемого с помощью активности речевых центров их мозга.

В исследовании участвовали пять добровольцев, проходящих лечение в Центре эпилепсии UCSF.  Их попросили вслух прочитать несколько сотен предложений, в то время как ученые фиксировали активность в области мозга, участвующей в языковом производстве.

Основываясь на аудиозаписи голосов участников, исследователи использовали движения, необходимые для создания звуков: сжатие губ, голосовых связок, смещение кончика языка к небу, его расслабление и так далее. Это позволило ученым создать реалистичный виртуальный голосовой тракт для каждого участника, контролируемый их мозговой активностью. Он состоял из двух алгоритмов машинного обучения: декодер, преобразующий паттерны мозговой активности, создаваемые во время речи, в движения виртуального голосового тракта, и синтезатор, преобразующий движения голосового тракта в голос участника.

Результат был более успешным, когда участники читали более короткие слова. Система точно определила 69% слов из 25 альтернатив и расшифровала 43% предложений с полноценной точностью. С более сложными словами, общая точность расшифровщиков упала до 47%, хотя система все еще понимала до 21% синтезированных предложений.
Фото: UCSF

Наука

Машины и Механизмы
Всего 2 комментария
Открыть Свернуть Комментировать
Комментарии

Рекомендуем

OK OK OK OK OK OK OK