текст
Учёные ВМК МГУ исследовали, как методы анализа чувствительности помогают понять работу нейросетей
На факультете ВМК МГУ имени М.В. Ломоносова провели исследование, посвящённое интерпретации работы нейросетевых моделей с помощью методов анализа чувствительности.
Современные нейросетевые модели нередко воспринимаются как “чёрные ящики”, чьи решения сложно объяснить. Это особенно важно в медицине и других критически значимых областях, где необходимо не только высокое качество предсказаний, но и прозрачность в логике работы алгоритма. Авторы работы предложили использовать методы анализа чувствительности, чтобы выяснить, какие входные параметры оказывают наибольшее влияние на результат нейросети.
Для начала исследователи применили метод глобального анализа чувствительности Соболя к небольшой полносвязной нейросети, обученной на клинических табличных данных по сахарному диабету. Метод позволил выявить четыре наиболее значимых параметра, определяющих результат классификации. Эти выводы оказались согласованными результатами, полученными помощью метода главных компонент, но анализ чувствительности дал более чёткую картину значимости признаков. В результаты, без существенной потери итоговой точности авторы обучили ещё более простую нейронную сеть, используя лишь четыре ведущих параметра.
«Методы анализа чувствительности дают важную информацию о том, насколько устойчиво работает модель и какие именно входные данные на неё влияют. Мы надеемся, что это может быть полезно для построения надёжных моделей в медицине и биоинформатике», — прокомментировал Сергей Матвеев.
Далее исследование было расширено на сверточные нейросети, такие как VGG-16 и ResNet-18, применяемые для обработки изображений. Из-за большого числа входных переменных (даже в сравнительно небольших изображениях CIFAR-10 — 3072 пикселя) глобальный анализ оказался невозможен, и команда применила локальные методы: тепловые карты и технику максимизации активации. Результаты показали, что сеть VGG-16 хорошо распознаёт контуры объектов, а наличие остаточных связей в ResNet-18 помогает сохранять чувствительность даже на глубоких слоях. Хотя эти свойства хорошо известны в профессиональном сообществе, исследование позволило провести их наглядную визуальную демонстрацию.
Особое внимание было уделено применению нейросетей в медицине. Ранее другими исследователями модель VGG-16 была использована для классификации ультразвуковых изображений лёгких и смогла успешно различать COVID-19, бактериальную пневмонию и здоровые ткани. В результате нового исследования с помощью метода максимизации активации и технологии GradCam авторам из МГУ удалось продемонстрировать паттерны, влияющие на работу обученной нейросетевой модели при классификации. При сравнении этих техник авторы сделали вывод, что метод максимизации активации позволяет лучше локализовать зоны на снимке, «влияющие» на итоговый результат работы классификатора.
Работа демонстрирует потенциал применения анализа чувствительности для повышения надёжности и прозрачности решений, принимаемых нейросетями, особенно в клинических задачах.
Результаты были представлены в рамках конференции «Ломоносовские чтения», проходившей в МГУ весной 2025 года.
Расширенный препринт работы доступен на сайте arxiv
Фото: freepik.com
Технологии
Машины и Механизмы
Машины и Механизмы
Всего 0 комментариев
Учёные усовершенствовали углеродную нить для 3D-печати деталей летательных аппаратов
