Представьте, что вы принимаете участие в видеозвонке с коллегой или знаменитостью и совершенно уверены, что ведете диалог именно с ним, всё выглядит абсолютно реальным. Однако есть вероятность, что вы взаимодействуете с фальсификатом. Нейросети научились создавать копию любой личности - филигранно подделывать внешность и голос человека. Технология с недавних пор стала доступна всем, включая мошенников.

Согласно исследованию ученых из Университета Ватерлоо, почти 40% людей не могут отличить реальные лица от тех, что сгенерированы нейросетями. В их эксперименте 61% респондентов смогли правильно определить подлинные фото среди подделок, но ожидалось, что успешных будет больше. Этот результат разочаровал учёных, ведь уровень восприятия дипфейков оказался выше, чем ожидалось.

На протяжении последних лет дипфейков (deepfake: "глубинное обучение" (англ. deep learning) и "подделка" (англ. fake) становится все больше и больше. В компании T.Hunter подсчитали, что в 2023 году количество поддельных аудио и видео превысило полмиллиона, и что хуже всего — подделки стало труднее распознавать. Технологии совершенствуются, и злоумышленники всё чаще применяют их для мошенничества и обмана. Но и разработчики дипфейк-детекторов тоже не стоят на месте: они создают решения для борьбы с этим явлением.

Активное развитие искусственного интеллекта уже привело к тому, что он теперь используется практически во всех сферах жизни. Креативные индустрии взяли на вооружение технологии генерации видео: в кинематографе дипфейки применяют для омолаживания артистов, в компьютерных играх — для воссоздания реальных персонажей. Неудивительно, что в развитие дипфейк-технологий вкладывают деньги крупные венчурные фонды и ИТ-компании. В 2022 году международный объем таких инвестиций составил около $187,7 млн.

Однако есть и серьёзная угроза: сгенерированные видео не менее активно используют злоумышленники, к тому же с развитием технологии растет и потенциальный ущерб от их использования. Многие сервисы для создания подделок уже не требуют глубоких знаний в программировании, а использование современных алгоритмов позволяет сделать дипфейки почти неотличимыми от оригинала.

Зачем нужны детекторы дипфейков?

Сами по себе дипфейки не всегда несут злой умысел. Зачастую их создают ради развлечения или в порядке эксперимента: например, чтобы узнать, как бы выглядел Хогвартс в СССР и как звучат песни AC\DC на русском языке, либо чтобы создать виртуального аватара для маркетинговых или образовательных целей. Однако даже в таком случае возникает множество юридических рисков, включая возможные претензии по авторским правам. Например, крупнейшие американские лейблы уже обвинили разработчиков нейросетей Suno и Udio (генерируют песни по текстовому описанию) в незаконном использовании музыки для обучения нейросетей.

Но есть и другая сторона медали: дипфейки все чаще используются в противоправных целях – для фрода, шантажа и других видов мошенничества. Злоумышленники могут подделать внешность и голос человека на записи или видео, чтобы обратиться к кому-либо от его имени или получить доступ к его аккаунтам в различных сервисах.

Среди возможных рисков можно выделить:

• финансовые – злоумышленник может получить доступ к банковскому счету, взять в долг у друзей жертвы, попросить деньги на лечение у родственников и т.д.;

• репутационные – мошенники могут опубликовать в сети синтезированные компрометирующие видео или якобы "утечку" телефонных разговоров;

• административные – от имени жертвы могут быть опубликованы данные, которые он не имеет права разглашать, за что ему могут грозить штрафы;

• корпоративные – мошенники могут обмануть компанию, чтобы получить данные с ограниченным доступом, деньги или услуги.

Масштабы дипфейк-атак становятся огромными. Например, в феврале 2024 года сотрудник крупной компании в Гонконге перевел $25 млн мошенникам, которые сфабриковали видеоконференцию с участием финансового директора компании и других сотрудников. На ней фейковый топ-менеджер приказал провести транзакцию, и сотрудник ничего не заподозрил — настолько правдоподобным было видео. В Южной Корее девушка перевела $50000 фальшивому Илону Маску: мошенник использовал дипфейк бизнесмена во время видеозвонка. Он признался девушке в любви, после чего предложить "инвестировать" деньги в его фонд.

Все это привело к тому, что противодействие "плохому ИИ" становится критически важной задачей, необходимой, чтобы обеспечить безопасное и этичное развитие технологий. Конечно же, разработчики не стоят на месте: в 2022 году объем рынка технологий для обнаружения дипфейков уже достиг $3,86 млрд. В технологии защиты от "плохого ИИ" активно инвестируют Google, Open AI и другие компании. Их главная цель — минимизировать возможный ущерб от использования созданных ими больших языковых моделей и защита собственной репутации.

Сложности определения дипфейков

Одна из главных сложностей для разработчиков состоит в том, что создатели дипфейков всегда на шаг впереди — они регулярно модернизируют уже существующие алгоритмы синтеза и разрабатывают новые. Поэтому, чтобы эффективно бороться с дипфейками, исследователи должны регулярно находить примеры новых атак и оперативно обучать на них нейросети.

При этом отдельные виды дипфейков, что называется, перешли в стадию насыщения — настолько распространенными они стали. Технологии face swap (замена одного реального лица на другое), face reenactment (изменение выражения лица) и lip-sync (синхронизация движения губ с голосовой дорожкой), хотя и используют различные алгоритмы, уже достигли определенного уровня развития. Теперь, даже если произойдут существенные изменения, не факт, что они значительно повлияют на точность обнаружения таких подделок.

Некоторые виды голосовых дипфейков тоже достигли насыщения, речи идет о синтезированной речи (создание несуществующего голоса), клонированной речи (голос конкретного человека, синтезированный на основе его аудиозаписей), конверсии (замена голоса в аудиозаписи без замены текста) и реплее (воспроизведение голоса, записанного на диктофон).

Самыми сложными для распознавания сейчас остаются системы клонинга и синтеза речи — во многом потому, что в них используются более современные технологии, в том числе генеративные нейросети. Чтобы защитить пользователей от атак, как правило, используются несколько способов защиты, включая, например контрольные вопросы.

Как ИИ борется с дипфейками

Искусственный интеллект обнаруживает дипфейки по схожему принципу: для этого нейросети обучают на специальных датасетах из множества примеров синтезированного и реального контента. Таким образом при анализе, например, аудиозаписи нейросети могут сопоставить ее с эталоном — голосом реального человека и определить, подделка это или нет. Поэтому точность распознавания синтеза зависит не только от алгоритмов самой нейросети, но и от количества и качества данных, на которых обучена ИИ-модель.

Например, для детекции голосовых фейков в MTS AI используется система антиспуфинга, которая распознает синтезированную речь с точностью свыше 98%. Она работает на базе собственной нейросети-трансформера, которая обычно используется для генерации контента. Для этого ИИ обучили на 5 тысячах часах сгенерированной речи на русском, английском и испанском языках.

Проверяя аудиозапись, нейросеть может анализировать миллионы различных параметров, по которым она определяет ее подлинность, среди которых - громкость голоса, частота, тональность, мелодичность и специфические артефакты. При этом ИИ-специалисты не знают, на основе каких именно параметров нейросеть приняла то или иное решение.

При этом исследователи регулярно разрабатывают новые алгоритмы поиска голосовых дипфейков. Например, ученые из Университета Флориды разработали систему, которая определяет, может ли человеческая гортань физически издать те или иные звуки. При синтезе голоса нейросети не учитывают анатомические особенности человека, которые ограничивают произношение тех или иных фонем.

Также исследователи из Калифорнийского университета в 2023 году представили сразу три метода определения подделки. Самый понятный, но наименее точный способ предполагает анализ особенностей и паттернов речи. В живом разговоре люди делают больше пауз и чаще меняют громкость, чем в синтезированных аудиозаписях. Также ученые использовали спектральный анализ – специальная программа изучала 6000 характеристик аудиоволн, таких как среднее, стандартное отклонение, коэффициенты регрессии, выбирала из них самые важные и сравнивала их с примерами реальных аудиоматериалов. Еще один способ основан на использовании модели глубокого обучения, которая извлекает из записи многомерные представления-эмбеддинги с информацией о различных характеристиках голоса, которые позволяют отличить настоящее аудио от фейка.

Помимо этого, чтобы обнаружить дипфейки на видео, ИИ может анализировать каждый кадр по отдельности, оценивать тени и освещение, качество деталей на фоне и другие параметры. Также нейросети способны обнаружить низкоуровневые артефакты от синтеза изображения: шумы, неестественные блики, неровные края — они не видны человеческим взглядом, но их можно обнаружить при максимальном приближении.

При этом наличие дефектов не гарантирует, что видео сгенерировано нейросетью, так как у подобных визуальных дефектов могут быть и естественные причины - например, смена освещения в кадре. Тем не менее это позволяет отсеять большую часть дипфейков и настороженно отнестись к спорным материалам.

Одним из эффективных способов определения дипфейков на видео пока считается способ сопоставления движения губ человека со звуками, которые он произносит. Для этого используется нейросеть, которая умеет читать по губам. В зависимости от сложности дипфейка точность распознавания варьируется от 73,5% до 97,6%.

В Университете штата Нью-Йорк предложили определять подделки по отражению глаз – если на настоящих фото отражение будет одинаковым, то в синтезированных материалах оно будет различаться. Также ученые из американского университета Дрекселя создали нейросеть MISLnet, которая находит признаки синтезированных материалов на субпиксельном уровне. Цифровая камера и сервисы обработки изображений оставляют в файлах цифровые следы, которые сохраняются даже после сжатия фотографий и изображений. "Код" синтезированных материалов совсем иной. Как заявляют исследователи, точность работы их алгоритма достигает 98%.

Свои детекторы уже представили различные ИТ-компании. Например, Intel анонсировал FakeCatcher, который в режиме реального времени может определить дипфейк по незаметному для глаза изменению тона кожи из-за пульсации подкожных вен. Российская компания VisionLabs обучила свой детектор сгенерированных видео распознавать все распространенные типы дипфейков: замену лица (Face Swap), перенос выражения лица (Face Reenactment), синхронизацию губ (Lip-Sync) и генерацию лиц (Face Synthesis). Также алгоритмы VisionLabs умеют распознавать дипфейки на видео плохого качества.

Одной из самых перспективных технологий детекции дипфейков считается мультимодальная модель, которая будет не только искать уже упомянутые признаки подделки в самих материалах, но также будет использовать граф знаний – семантический набор данных, который хранит информацию о различных объектах и событиях, а также взаимосвязи между ними. Это позволит проверить информацию на достоверность. Например, если в сети опубликуют видео смерча в Москве, нейросеть сможет проверить информацию о погоде в регионе и сделать выводы о правдоподобности видеозаписи.

Подобный подход уже использует стартап Defudger — он не только определяет признаки переработки материалов (например, замену лица), но и анализирует тексты, фото и видеозаписи на наличие ложной информации. Сама компания позиционирует свое решение в том числе как инструмент фактчекинга для медиа и СМИ.

Таким образом, несмотря на то, что создатели дипфейков на шаг впереди, разработчики ИИ-решений тоже не сидят на месте, и готовы предложить современные и мощные способы борьбы с подлогом.