Четверть российских финтех-компаний столкнулись с киберинцидентами с ИИ
Таковы данные совместного исследования Ассоциации ФинТех и Swordfish Security о безопасности применения ИИ в финтехе. "Участники опроса также отметили, что нуждаются в специальных инструментах для безопасного использования ИИ, а существующие инструменты не покрывают полностью их потребности", - сказал руководитель управления информационной безопасности Ассоциации ФинТех Александр Товстолип во время выступления на Swordfish PRO DevSecOps Conf.
При этом 62,5% финтех-компаний имеют команды ИИ-специалистов с более чем 20 сотрудниками. У 63% респондентов за вопросы безопасности ИИ отвечают несколько команд внутри организации.
Также согласно исследованию, 75% опрошенных главной угрозой считают утечки конфиденциальных данных. Компании по-разному планируют подходить к решению проблемы: 88% хотят повысить осведомленность сотрудников в этой области, 75% - заняться разработкой внутренней политики по ИИ-безопасности, 63% - интегрировать инструменты защиты, 62% - проводить аудиты и тестирования ИИ-систем.
Среди самых значимых угроз кибербезопасности при использовании искусственного интеллекта участники дискуссии отметили промпт-инъекции - когда ИИ-помощнику скрытно оставляют "опасное" указание, которое тот должен выполнить. Также среди значимых угроз - раскрытие чувствительной информации, "отравление данных" (добавление недобросовестных инструкций) и небезопасная обработка вывода модели (например, результат с вирусом).
Все опрошенные ComNews эксперты отметили опасность, связанную с утечками конфиденциальной информации. "ИИ-модели, особенно в процессе обучения, работают с огромными массивами информации. При неправильной настройке или злонамеренной атаке модель может раскрыть персональные данные клиентов, коммерческую тайну или внутреннюю логику принятия решений. Это прямой путь к репутационным и финансовым потерям", - сказал директор по продукту системы финансового и управленческого учета "Бит.Финанс" ООО "Первый Бит" Виктор Агличев.
При этом, по словам руководителя Лаборатории инноваций "Норбит" (ООО "Норбит", входит в ГК "Ланит") Дмитрия Демидова, важно, находится ли ИИ-сервис в контуре компании: если да, то уровень защиты от утечек достаточно высокий. В ином случае обеспечение безопасности становится зоной ответственности внешнего сервиса, и уже от него зависит, насколько существенны риски.
"Передавая данные в публичные ИИ-сервисы, например ChatGPT, компания фактически добровольно раскрывает интеллектуальную собственность и коммерческую тайну, которая может стать частью обучающей выборки и использоваться для ответов другим пользователям. Именно поэтому банки и финтех-компании ставят ИИ в защищенный контур или используют специальные шлюзы для маскирования данных", - объяснила ComNews директор по развитию бизнеса Just AI (ООО "Маинд Крафт") Светлана Захарова.
Руководитель департамента автоматизации финансового и управленческого учета "Первый Бит" Денис Галимов отметил, что ключевые проблемы с безопасностью при применении ИИ связаны с алгоритмической предвзятостью (если ИИ обучался на данных, содержащих скрытые предубеждения), состязательными атаками, продвинутым фишингом, дипфейками, непрозрачностью (проблема "черного ящика"), системными операционными рисками (зависимость рынка от ограниченного числа ИИ-платформ, где сбой одной из них может вызвать каскадный эффект).
Виктор Агличев отметил, что даже самые продвинутые модели ИИ галлюционируют - "придумывают" факты, дают некорректные рекомендации или неверно интерпретируют контекст. "Слепо доверять ИИ в финансах крайне опасно", - считает эксперт. При этом старший инженер по машинному обучению в крупном международном маркетплейсе Дмитрий Савин указал, что большие языковые модели плохо работают с числами: "Многие модели долго не могли правильно сказать, какое из чисел больше: 43,8 или 43,11".
Применение любых технологий ради самого применения небезопасно для бизнеса в целом, считает генеральный директор Fork-Tech (ООО "Форктек") Кристина Коваленко. При внедрении необходимо оценивать риски и терпимость к ним: выстраивать организационные и технологические меры, внимательно подбирать кейс, который планируется решать с помощью ИИ.
Тем не менее Виктор Агличев считает, что безопасность ИИ в финтехе во многом зависит от зрелости процессов внутри компании. Если организация выстроила политику ИИ-безопасности, внедрила процедуры анонимизации и контроля данных, применяет гибридный подход, то уровень безопасности можно считать приемлемым.
Денис Галимов считает, что широкое применение ИИ для критических задач под строгим надзором человека станет нормой в течение трех-пяти лет. Высокая автономии ИИ в самых ответственных областях может быть в перспективе семи-десяти лет. Пока нельзя полностью поручать ИИ принятие окончательных стратегических решений, задачи, требующие эмпатии и нестандартного подхода,этические решения, создание прорывных финансовых продуктов, для которых необходима человеческая креативность и неформализованное понимание рынка. Виктор Агличев считает, что ИИ нельзя поручать финансовые решения с юридическими последствиями (одобрение кредитов, проведение платежей, блокировка счетов), риск-менеджмент, бухгалтерскую и налоговаую отчетность.
"Со временем многие задачи будут автоматизироваться и переходить как минимум к состоянию, что человеку надо будет либо разбирать какие-то сложные кейсы, либо только время от времени следить за тем, что все адекватно работает. Но я верю, что решать их будет не один монолитный "ИИ", а ряд более простых подходов, каждый из которых будет работать над определенными декомпозированными частями задачи", - считает Дмитрий Савин.