В ЛЭТИ создали модель энергоэффективного искусственного нейрона для вычислительных машин будущего

Искусственный интеллект с каждым годом становится эффективнее: нейросети активно помогают миллионам пользователей писать тексты и картины, анализировать информацию и даже ставить диагнозы. Однако данное развитие имеет и обратную сторону – для сравнительно быстрого обучения и работы современным нейросетям нужно огромное количество электроэнергии. Для сравнения: человеческий мозг, решая сложнейшие когнитивные задачи, потребляет всего около 20 ватт эквивалента электрической мощности. А вот обучение большой современной языковой модели может потребовать многих мегаватт-часов электроэнергии, а кроме того, ее работа в режиме обработки запросов – сотни ватт мощности.

Современные вычислительные системы, включая видеокарты, работают не так, как мозг человека. Они вынуждены постоянно передавать данные между памятью и процессором, тратя на это драгоценное время и энергию. Это так называемое «бутылочное горлышко» архитектуры фон Неймана, в рамках которой действует большинство современных компьютеров. В связи с этим учёные всё чаще говорят о кризисе парадигмы глубокого обучения. Решение они видят в том, чтобы вернуться к истокам – к биологии, и создать аппаратуру, которая еще точнее имитировала бы принципы работы нервной ткани. Сейчас большинство разработок нейроморфного «железа» существует в виде прототипов, однако растущий по экспоненте парк серверов с видеокартами для нейросетей будет неизбежно терять рентабельность, и однажды перед индустрией встанет задача по созданию компьютеров на новых физических принципах.

В русле решения этой задачи группа исследователей из Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» предложила новое решение для базового строительного блока нейроморфных чипов будущего.

«Мы создали модель искусственного TS-TD нейрона, которая оказалась похожа по своему поведению на живые нервные клетки: она воспроизводит способность накапливать сигналы (интеграция), срабатывать при достижении порога, иметь рефрактерный период (время отдыха после импульса) и ряд других. Мы не просто придумали схему на бумаге, а изготовили работающий прототип на печатной плате и убедились, что всё работает, как задумано», - поделился научный сотрудник Молодёжного НИИ, доцент кафедры систем автоматизированного проектирования (САПР) СПбГЭТУ «ЛЭТИ» Тимур Искандарович Каримов.

Искусственный нейрон состоит из трех ключевых электронных компонентов. Во-первых, это туннельный диод – полупроводниковый прибор, изобретённый японским физиком и нобелевским лауреатом 1958 года Лео Эсаки. Особенностью этого диода является его способность — когда при определенном напряжении сопротивление устройства резко падает, создавая эффект, похожий на генерацию нервного импульса (спайка). Во-вторых, это пороговый селектор – перспективный электронный компонент, который ведёт себя как переключатель. В массовой электронике он уже ограниченно применяется, например, в памяти на основе технологии 3D XPoint. Работает селектор так: при повышении напряжения до определенного порога атомы серебра в его составе почти мгновенно слипаются в микроскопический проводящий канал, и сопротивление падает в тысячи раз. При уменьшении напряжения канал распадается, и сопротивление возвращается обратно. Это очень похоже на то, как работают настоящие ионные каналы в мембране нейрона. Наконец, третий компонент TS-TD нейрона – конденсатор, широко применяемый в электронике накопитель заряда, играющий в предложенной модели роль мембраны нейрона.

«Однако это всего лишь один нейрон, а как проверить, сможет ли мозг из таких нейронов решать реальные задачи, например, распознавать рукописные цифры? Собрать тысячи таких схем физически нерационально, но и прямое компьютерное моделирование тоже оказалось затруднительно. Дело в том, что для точного решения математических уравнений, описывающих работу электронных компонентов нашей схемы, каждую миллисекунду модельного времени приходится разбивать на 10 тысяч шагов, и симуляция оказывается крайне медленной. Поэтому мы предложили использовать математический двойник – модель нейрона Ижикевича, которая считается золотым стандартом в нейроинформатике по соотношению точности и скорости. Подобрав параметры модели Ижикевича так, чтобы она описывала разработанный TS-TD-нейрон, мы запустили симуляцию целой нейросети на видеокарте», - рассказал младший научный сотрудник Молодёжного НИИ, аспирант кафедры САПР СПбГЭТУ «ЛЭТИ» Василий Андреевич Пчёлко.

В симуляции сеть из 7840 нейронов и 351 тысячи синапсов была протестирована на классических тестовых наборах изображений. На рукописных цифрах (MNIST) точность распознавания достигла 97,9 %, а на более сложных изображениях одежды (Fashion-MNIST) — 89,5 %. По этим показателям предложенная архитектура не уступает существующим аналогам. Однако главная особенность TS-TD нейрона — не точность, а энергоэффективность. Расчёты показали, что гипотетический чип на таких нейронах способен обрабатывать 500 кадров размером 28 на 28 пикселей в секунду, потребляя при этом всего 0,012 ватта – в сотни раз меньше, чем сопоставимые по производительности одноплатные компьютеры.

Сегодня уже существуют специализированные нейроморфные чипы, выпускаемые серийно. Они выполнены по цифровой технологии и тоже имитируют спайковую активность. Предложенная же модель исследователей ЛЭТИ позволит создать именно аналоговый чип, который потребляет на порядки меньше энергии, а за счёт простоты конструкции нейрона он будет более технологичным по сравнению с другими схожими разработками. Такой чип можно рассматривать как основу не только для дата-центров будущего, но также для миниатюрных сенсорных и носимых устройств, нейроинтерфейсов, систем распределенного интеллекта.

Результаты исследования опубликованы в научном журнале Big Data and Cognitive Computing в рамках проекта «Перспективные нейроморфные системы сбора и обработки сигналов», который поддержан грантом Российского научного фонда (№ 25-79-10172).

Фото: пресс-служба СПбГЭТУ «ЛЭТИ»