текст
В ИТМО разработали первую в России систему защиты ИИ от кибератак
Магистранты ИТМО совместно с экспертами компании Raft создали HiveTrace — первую российскую систему защиты искусственного интеллекта от кибератак. Она отражает 70% популярных уязвимостей и оберегает веб-приложения с генеративным ИИ от промпт-инъекций, утечек конфиденциальных данных, чрезмерного использования LLM-агентов и других видов атак. Система совместима с любыми открытыми или закрытыми ИИ-моделями. Это позволит технологическим, финансовым, телекоммуникационным и другим компаниям внедрить HiveTrace в свои бизнес-процессы и гибко настроить правила безопасности под собственные требования.
Команда компании HiveTrace — Тимур Низамов, Анна Тищенко, Никита Облаков, Евгений Кокуйкин и Никита Беляевский. Фото предоставлено Евгением Кокуйкиным. news.itmo.ru
Генеративный ИИ активно используется для решения бизнес-задач: создания текстов и сценариев, ответов клиентам, генерации кода и контента. Однако чем больше компании внедряют ИИ-решения, тем выше риск кибератак на большие языковые модели. Наиболее распространенные угрозы — обход ограничений (jailbreaks) и вредоносные инъекции в запросы (prompt injection). С помощью этих атак злоумышленники манипулируют моделью, чтобы получить доступ к закрытым данным или спровоцировать некорректное поведение и заставить ее выдавать запрещенный контент. Например, в 2025 году хакеры завладели личными данными пользователей, воспользовавшись уязвимостями в M365 Copilot и Operator ChatGPT.
Чтобы защитить ИИ от появляющихся уязвимостей, компания HiveTrace, в которую входят студенты онлайн-магистратуры AI Talent Hub ИТМО, при поддержке IT-компании Raft разработала HiveTrace. Это первая в России система защиты на основе ИИ, которая отражает кибератаки на веб-приложения с генеративным ИИ.
«Зарубежный рынок предлагает много аналогов, но они не адаптированы под наш рынок и русский язык. Российские компании еще в начале пути по внедрению ИИ в бизнес-процессы, но со временем необходимость в защите ИИ-решений только увеличится. Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, но существующие разработки созданы для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, нужны продукты для защиты ИИ. Мы создали HiveTrace, чтобы у каждого бизнеса, вне зависимости от масштаба, был доступ к комплексной защите ИИ от кибератак», — объяснил СЕО компании HiveTrace, руководитель AI Security лаборатории ИТМО Евгений Кокуйкин.
HiveTrace защищает от 70% уязвимостей, перечисленных в Top-10 OWASP — списке наиболее критических уязвимостей для приложений LLM, который регулярно обновляет некоммерческая организация OWASP Foundation. HiveTrace справляется с промт-инъекциями, утечками конфиденциальной информации и системных инструкций, некорректной обработкой входных данных, чрезмерным использованием LLM-агентов, уязвимостями в обработке векторов и эмбеддингов, которые вызывают непредсказуемые ошибки, и неограниченным потреблением вычислительных ресурсов, ведущим к перегрузке системы.
HiveTrace совместима с любыми популярными ИИ-моделями — как открытыми, так и закрытыми, — и позволяет компаниям гибко настраивать правила безопасности под собственные требования. Система представляет собой веб-приложение с панелью для службы информационной безопасности, где администратор управляет веб-приложениями с генеративным ИИ и настраивает для каждого правила безопасности. Каждый пользовательский запрос проходит через фильтр HiveTrace, перед тем, как попасть в конкретное веб-приложение. Система анализирует запрос и блокирует в случае опасности. Вредоносные инъекции в запросе определяются с точностью 97%.
Сейчас HiveTrace защищает ИИ-модели от 7 из 10 наиболее критичных уязвимостей. Компания планирует увеличить количество функций, которые позволят нейтрализовать как существующие, так и только зарождающиеся киберугрозы. При создании новых решений в области безопасности ИИ разработчики будут ориентироваться на научные статьи и исследования, которые публикуют в том числе в ИТМО. Разработка найдет применение в российских технологических, финансовых, медицинских и телекоммуникационных компаниях. Сейчас HiveTrace договаривается о пилотировании своей разработки.
Технологии
Университет ИТМО
Машины и Механизмы
Всего 0 комментариев
В ИТМО создали неклонируемые защитные метки на основе наночастиц золота и кремния
