текст
Катастрофическое забывание можно преодолеть
За большинством современных технологий искусственного интеллекта, от беспилотных автомобилей до распознавания лиц и домашних помощников, лежат искусственные нейронные сети. Они пока слабо повторяют то, как работают нейроны в мозге, и остаются неспособными к многим основным функциям, которые важны для человека.
Тем не менее, новое исследование Университета Чикаго показало, что адаптация хорошо известных механизмов мозга может значительно улучшить способность искусственных нейронных сетей выполнять несколько задач одновременно и избежать ошибки «катастрофического забывания» в компьютерной модели. Это исследования в области нейрофизиологии подсказало новые стратегии в компьютерных вычислениях, и, наоборот,
технология ИИ возможно поможет лучше понять человеческий мозг.
технология ИИ возможно поможет лучше понять человеческий мозг.
Можно было бы предположить, что чем больше задач вы хотите решить, тем больше должна быть сеть? Нет, в мозгу вероятно есть эффективный способ упаковки большого количества знаний в довольно небольшую сеть. Когда вы исследуете части мозга, участвующие в высшей нервной деятельности и познавательных функциях, вы, как правило, обнаруживаете, что одни и те же области, одни и те же клетки, участвовали во многих задачах. Поможет ли это решить проблему ресурсов искусственных нейронных сетей?
В искусственных нейронных сетях известна ошибка «катастрофическое забывание», которая относится к сложности обучения системе новым навыкам без потери ранее изученных функций. Например, если сеть, первоначально обученная различать фотографии собак и кошек, затем переучивается, чтобы различать лошадей, она теряет свои прежние способности. Если вы задаете обученной нейронную сети новую задачу, она полностью забудет о своей предыдущей задаче. Из принципа - мне не нужна эта информация, она перезаписывается. Это и есть катастрофическое забывание, которая происходит очень быстро, всего за пару итераций предыдущая задача может быть полностью стерта.
Напротив, мозг способен «постоянно учиться», приобретая новые знания, не устраняя старых знаний и навыков, даже когда задачи близки и одни и те же нейроны используются для множества задач. Одна из стратегий, которую мозг использует для этой задачи обучения, - это выборочная активация ячеек или сотовых компонентов для различных задач - по существу, подключение небольших, перекрывающихся подсетей для каждого индивидуального навыка в разных контекстах.
В сочетании с ранее описанными методами стабилизации синаптических связей в искусственных нейронных сетях новый алгоритм позволил одиночным искусственным нейронным сетям изучить и выполнить сотни задач с минимальной потерей точности, что потенциально создает более мощные и эффективные технологии ИИ. Для каждой новой задачи активируется случайно выбранные 20% нейронной сети. После того, как вся сеть будет обучена сотням различных задач, один узел может быть задействован в десятках операций, но с уникальным набором одноранговых узлов для каждого контекста. Такая контекстно-зависимая сеть изучает до 500 задач с небольшим уменьшением точности и без забывания предыдущих уроков.
Очевидно подход имеет большой потенциал в растущей индустрии ИИ, где компании, разрабатывающие автономные транспортные средства, робототехнику и другие интеллектуальные технологии, должны упаковывать сложные обучающие возможности на компьютеры потребительского уровня.
Напротив, мозг способен «постоянно учиться», приобретая новые знания, не устраняя старых знаний и навыков, даже когда задачи близки и одни и те же нейроны используются для множества задач. Одна из стратегий, которую мозг использует для этой задачи обучения, - это выборочная активация ячеек или сотовых компонентов для различных задач - по существу, подключение небольших, перекрывающихся подсетей для каждого индивидуального навыка в разных контекстах.
В сочетании с ранее описанными методами стабилизации синаптических связей в искусственных нейронных сетях новый алгоритм позволил одиночным искусственным нейронным сетям изучить и выполнить сотни задач с минимальной потерей точности, что потенциально создает более мощные и эффективные технологии ИИ. Для каждой новой задачи активируется случайно выбранные 20% нейронной сети. После того, как вся сеть будет обучена сотням различных задач, один узел может быть задействован в десятках операций, но с уникальным набором одноранговых узлов для каждого контекста. Такая контекстно-зависимая сеть изучает до 500 задач с небольшим уменьшением точности и без забывания предыдущих уроков.
Очевидно подход имеет большой потенциал в растущей индустрии ИИ, где компании, разрабатывающие автономные транспортные средства, робототехнику и другие интеллектуальные технологии, должны упаковывать сложные обучающие возможности на компьютеры потребительского уровня.
Технологии
Игорь Перескоков
Машины и Механизмы
Всего 0 комментариев
Гибридный электрический самолет - версия Zunum
Фото на прощание
