— Арина, сильно ли за последние 1-2 года изменился рынок ИБ, а также подходы компаний к обеспечению ИБ, под влиянием ИИ? В чем проявляются эти изменения?
— За последние несколько лет рынок ИБ сильно изменился из-за стремительного развития ИИ. Одним из главных изменений является рост инвестиций в ИБ. По прогнозам агентства IDC, в 2026 году расходы на обеспечение ИБ составят $308 млрд при росте около 12 % за год. К 2029 году расходы, согласно модели IDC, могут приблизиться к $430 млрд.
Помимо этого, ИИ стал серьезным орудием в руках злоумышленников. Компании перешли к внедрению специализированных LLM-шлюзов, которые осуществляют контроль информации, загружаемой в нейросеть. Кроме того, под давлением новых регуляторных требований бизнес вынужден выстраивать проактивную защиту самих моделей машинного обучения от специфических угроз. Из-за этого сформировался отдельный рынок услуг по защите ИИ-моделей.
Консультант Отдела риск-менеджмента кибербезопасности ГК Softline
(Infosecurity, входит в «Софтлайн Решения») Арина Азовцева
Фото: ГК Softline
— Какие главные типы угроз со стороны ИИ можно выделить? Какие из них наиболее болезненные с точки зрения ущерба? Правда ли, что подавляющая доля кибератак сегодня происходит с помощью ботов?
— Да, насчет ботов – это чистая правда. Сегодня многие атаки полностью автоматизированы. ИИ-боты работают в режиме 24/7, адаптируясь под конкретную жертву. Среди главных типов угроз можно выделить умный фишинг и дипфейки. Если раньше фишинговые сообщения можно было распознать по грамматическим ошибкам и явным подменам, то теперь ИИ анализирует переписку и генерирует персонализированные письма, не вызывающие подозрений. Особенно опасны сценарии, когда злоумышленники используют поддельный голос руководителя для требования срочного перевода средств. Межсетевые экраны и антивирусы в таких случаях бессильны, поскольку атака направлена на людей. Часто одно такое ИИ-письмо становится точкой входа для вируса-шифровальщика, который затем парализует работу компании на длительный срок.
Другой тип угроз связан с операционными сбоями и галлюцинациями ИИ. Часто модели генерируют правдоподобную, но ложную информацию. Если использовать ИИ для создания юридических, медицинских и финансовых документов без последующей проверки человеком, это может привести к репутационным потерям, юридическим последствиям и прямым финансовым убыткам.
Также угрозу представляет утечка конфиденциальных данных, которая может происходить как через скомпрометированные модели, так и через ошибки в обработке данных.
— Чем опасны публичные нейросети? Как бы вы сформировали памятку для безопасной работы с ними?
— Большой проблемой для многих компаний сейчас является теневой ИИ – многие сотрудники используют публичные нейросети для работы без официального одобрения и контроля со стороны ИТ-отдела, службы информационной безопасности и руководства. Это создает прямую угрозу утечки конфиденциальных данных. Запрещать и блокировать использование нейросетей бессмысленно, поскольку сотрудники всегда найдут обходный путь.
Помимо внедрения технических мер защиты, таких как LLM-шлюзы, важно, чтобы коллектив компании понимал основные правила работы с ИИ. В промпты нельзя вносить непубличную информацию, особенно пароли, базы данных работников, код и черновики документов. Любые цифры, ссылки на законы и медицинские советы от ИИ нужно обязательно перепроверять вручную, иначе можно принять решение на основе галлюцинаций. То же самое с написанием кода или скрипта: перед тем, как их использовать в рабочем продукте, стоит показать коллегам и провести проверку, иначе существует риск случайно занести в рабочую среду чужие ошибки или уязвимости. И не стоит использовать личные бесплатные аккаунты для рабочих задач – только корпоративные Enterprise-версии, в которых вендор юридически гарантирует, что данные не пойдут в обучение публичной модели.
— Помогают ли регуляторные меры, суверенные модели кардинальным образом снизить количество угроз? Какие еще меры комплексной защиты можно рекомендовать заказчикам для защиты от «ИИ-хакеров»?
— Регуляторные меры всегда догоняют технологии, а ИИ развивается слишком быстро, законодательство не успевает охватывать все возникающие риски. Суверенные нейросети, такие как GigaChat или YandexGPT, хранят данные внутри страны и корпоративного периметра, что упрощает соблюдение комплаенс-требований. Но хакерам не принципиально, какую модель использовать для генерации фишинговых сообщений, поэтому угроза сохраняется независимо от используемой платформы.
Реальная защита требует комплексного подхода, где технологии работают вместе с людьми.
Сейчас массово внедряются LLM-шлюзы. Это прокси-серверы, которые стоят между сотрудниками и нейросетями. Они в режиме реального времени фильтруют промпты, удаляя чувствительную информацию до ее отправки вендору, а также блокируют попытки инъекций, если злоумышленник через внедренного бота пытается получить доступ к внутренним документам.
Классическая многофакторная аутентификация (MFA) уже не является достаточной защитой. ИИ-боты могут инициировать массовую рассылку уведомлений, пока уставший сотрудник ошибочно не нажмет «подтвердить». Системы нового поколения анализируют не на факт ввода кода, а то, как человек работает: с какой скоростью печатает, как двигает мышкой, под каким углом держит смартфон. ИИ-агент или скрипт, работающий удаленно, не способен воспроизвести такие микродвижения, поэтому система прерывает подозрительную сессию.
Также должен быть внедрен подход Zero Trust – «не доверять никому и ничему внутри сети». Помимо этого, рекомендуется использовать защитные решения на базе ИИ, которые сами анализируют поведение пользователей и блокируют аномалии в реальном времени.
Классический пентест не выявляет уязвимости к атакам с использованием ИИ, таким как инъекции промптов или социальная инженерия с применением дипфейков. При моделировании атак целесообразно применять те же инструменты на основе ИИ, которые могут использовать злоумышленники.
— Как ИИ помогает в работе ИБ-специалистам? Какие функции службы ИБ/SOC можно автоматизировать, какие правила контроля за действиями ИИ должны соблюдаться?
— Для специалистов по информационной безопасности ИИ стал инструментом, который берет на себя рутинные задачи. Применение нейросетей в SOC позволяет сократить объем ложных срабатываний и автоматизировать обработку инцидентов: система фильтрует ложные тревоги и блокирует очевидные атаки в реальном времени без участия человека.
Моделям также можно поручать реагирование на типовые угрозы: если система видит сканирование портов или брутфорс, она сама способна заблокировать IP-адрес или временно изолировать скомпрометированный хост в автономном режиме. Кроме того, нейросети удобно применять для автоматической генерации отчетов и дашбордов.
Вместе с тем, нельзя предоставлять ИИ полную свободу действий, особенно при принятии критически важных решений. ИИ – это просто вспомогательный инструмент и окончательное решение всегда должно оставаться за человеком.
— Как ИИ внедряется в отдельные ИБ-инструменты и какой эффект приносят? Приведите, пожалуйста, примеры.
— ИИ активно внедряется во многие инструменты ИБ. Классические антивирусы уже не обеспечивают достаточного уровня защиты, поскольку злоумышленники используют методы обхода сигнатурного анализа. В EDR— и XDR-решениях ИИ оценивает не сам файл, а его поведение в системе, и при выявлении подозрительной активности способен оперативно приостанавливать выполнение процесса. В SIEM-системах применение ИИ позволяет автоматизировать обработку событий: модель связывает разрозненные инциденты в единую цепочку атаки и выявляет аномалии, которые могли бы остаться незамеченными при ручном анализе. В DLP-системах ИИ анализирует корпоративные коммуникации и передаваемые файлы, обнаруживая сложные инциденты, не выявляемые стандартными средствами.
Внедрение ИИ в файерволы – это, наверное, самый наглядный пример того, как технологии безопасности эволюционируют от «разрешить/запретить» к умному анализу. ИИ в данном случае анализирует все запросы, находит в них конфиденциальные и персональные данные, к которым пользователь не должен иметь доступ. В результате конфиденциальная информация маскируется или доступ к запросу отменяется.
— Большое спасибо за беседу!
