Некоммерческая организация Cloud Security Alliance (CSA) опубликовала исследование под названием Enterprise AI Security Starts With AI Agents ("Безопасность бизнеса начинается с ИИ-агентов"). Его авторы проанализировали внедрение, управление и безопасность ИИ-агентов в мировых компаниях. Цель - установить тенденции пользователей, возникающие риски и готовность организаций по мере перехода искусственного интеллекта (ИИ) от экспериментов к полноценному применению. В исследовании приняли участие 455 ИТ- и ИБ-специалистов из компаний со всего мира.

Авторы исследования пришли к выводу, что риски связанные с ИИ стали реальными. Существующие ИИ-агенты уже действуют за пределами установленных им процессов и границ. Во многих сферах такие инциденты нарушения полномочий происходят настолько часто, что превращаются в рутину, и около половины участников исследований рассказали о случаях, когда ИИ-агенты получали доступ к информации и данным, которыми они не должны владеть. Обнаружение и реакция на такие инциденты в среднем занимает от нескольких часов до дней. Более половины участников заявили, что в среднем это занимает 6 часов. Около 53% участников исследования рассказали, что подобные случаи происходят время от времени в их компаниях, а 47% сообщили об ИБ-инцидентах связанных с ИИ-агентами.

Авторы исследования отметили, что согласно опросам в 43% организаций больше половины сотрудников используют ИИ на регулярной основе. Но внедрение ИИ редко носит централизованный характер, всего 5% опрошенных используют единую агентскую платформу, 44% используют две или три, 43% используют четыре и более, что приводит к усложнению ИТ-ландшафта в контуре организации.

При этом в 54% организаций сотрудники использовали от 1 до 100 несанкционированных ИИ-агентов, даже когда общее количество последних в контуре компаний оставалось сравнительно небольшим. Только 15% участников рассказали, что у их ИИ-агентов есть владелец, способный нести за них ответственность, в среднем только 34% ИИ-решений имеют лиц ответственных за них.

Меньше трети (31%) компаний имеют четкую и задокументированную политику управления ИИ-агентами, а у половины участников исследования такая политика задокументирована частично или применяется избирательно. У 12% организаций ее нет вообще.

"Результаты исследования подчеркивают существующий разрыв между внедрением и контролем за ИИ. Несанкционированные ИИ-агенты, чей разработчик и ответственность неясны, появляются в контуре компаний рано, и их поведение зачастую нарушает и распространяется за установленные границы. Это служит доказательством незрелости стратегии безопасности внутри компаний и становится причиной инцидентов, которые трудно обнаружить и долго исправлять. Инструменты и процессы созданные для статичных ИТ-ландшафтов обычно малопригодны для ИИ-агентов, способных действовать автономно и меняться со временем", - гласит исследование.

По мнению руководителя отдела информационной безопасности ООО "МВС ИИ" (MWS AI, входит в МТС Web Services) Андрея Коршунова, исследование правильно по фактам, но носит паникерскую форму "сначала напугаем, потом продадим контроль". По его словам, ситуация проще - это обычный разрыв между скоростью внедрения технологий и зрелостью процессов.

Никакой "новой катастрофы" не произошло. То, что описывает Cloud Security Alliance - не специфично для ИИ-агентов. Это повторение старого паттерна: облака - неконтролируемые ресурсы, DevOps - обгон комплаенса, теперь агенты. 54% shadow AI - это те же самые люди, которые раньше ставили Notion, Zapier и AWS-аккаунты. Насчет 47% инцидентов - главный вопрос - что считается "инцидентом". Если это "агент сходил не туда" или "утек кусок данных в промпт" - это не "ужас" уровня ransomware, а следствие отсутствия базовых гардрейлов", - сказал Андрей Коршунов.

Также он отметил, что проблема заключается не в ИИ-агентах как таковых, а в отсутствии инженерии процессов и согласился с утверждением, что в работе с ИИ классические ИБ-подходы не работают. Но причина, по его мнению, заключается не в "особенности" ИИ, а в подходе к информационной безопасности.

"ИБ до сих пор пытается контролировать статические артефакты, а мир давно стал динамическим. Агент - это код, модель, внешние инструменты, данные и контекст - все это меняется на лету. Если у компании нет нормальной инвентаризации, выстроенного управления данными, нет политик, как код и runtime observability - агент просто подсветит этот бардак, а не создаст его. Главный провал - это не "слепые зоны", а отсутствие базовой дисциплины. Рекомендации CSA звучат красиво: "устранить слепые зоны", "обеспечить прозрачность", "внедрить стратегию". Но по факту - это уровень презентации, а не инженерии, которая сейчас очень нужна. Реально это переводится так: Shadow AI. Давайте не "запрещать", а проксировать доступ к LLM, логировать все вызовы и вводить IAM на уровне агента (не пользователя). В инцидентах 90% кейсов - это утечки через prompt, доступ к лишним API, неконтролируемые интеграции. Способ борьбы - tool sandboxing, IAM, фильтрация/валидация вывода. Мультиплатформенность (87%) - это вообще не проблема, если у компании единый слой оркестрации (MCP/agent platform) и нормальный уровень абстракции. Если этого нет, то в организации и без ИИ был хаос", - сказал Андрей Коршунов.

По мнению Андрея Коршунова, информационная безопасность не отстает от контроля ИИ, а делает то, что может: разрабатывает политики, модели угроз и повышает осведомленность сотрудников. Но в работе с ИИ нужно выстраивать безопасность на платформах, предназначенных для запуска и работы ИИ (Runtime). ИИ-агент, по его словам, - это не документируемая сущность, а Runtime.

"Я не согласен с подходом "сначала внедрим ИИ, потом обезопасим". Правильный порядок: процессы - кто может создавать агентов - какие данные можно использовать - какие действия допустимы - платформа и централизованный agent runtime - контроль инструментов - аудит. Только потом массовое внедрение ИИ. И это полностью ложится на GigaOm-подход, который я обычно формулирую так: ИИ не должен усиливать хаос - он должен масштабировать уже работающую систему", - заявил Андрей Коршунов.

Руководитель платформы базовых технологий ПАО "ТБанк" Александр Кусургашев рассказал, что в кредитной организации ИИ-инструменты и мультиагентные системы строятся на базе единой платформы с многоступенчатой системой проверок на каждом этапе жизненного цикла разработки. Это полностью исключает риски теневых инструментов и несанкционированного доступа к данным.

"Все действия агентов фиксируются во внутренней платформе наблюдаемости - Sage, в которой также встроен Anomaly Analyzer. Этот инструмент в реальном времени выявляет отклонения от стандартных процессов, отправляет уведомления командам и сокращает время реакции до минут", - сказал Александр Кусургашев.