На фоне активного развития генеративного искусственного интеллекта компании все чаще пытаются автоматизировать бизнес-процессы с помощью ИИ. Однако практика показывает: далеко не каждая задача подходит для автоматизации — в ряде случаев ИИ не снижает затраты, а создает дополнительные риски.

По словам экспертов, главный вызов для бизнеса сегодня заключается в правильном выборе сценариев для применения автоматизаций с помощью ИИ. Компании нередко внедряют искусственный интеллект там, где он не приносит ожидаемого эффекта из-за высокой стоимости ошибок, нестабильности процессов или отсутствия контроля со стороны сотрудников.

Никита Симаков, ранее основавший студию интеграции искусственного интеллекта Fontan.ai, на основе опыта внедрения ИИ-решений для крупных организаций в странах СНГ разработал подход к оценке задач автоматизации. Ранее он работал как Product Manager в Yandex, занимал руководящие позиции в Sidekick Browser, который был в дальнейшем приобретен Perplexity AI.

В интервью ComNews эксперт рассказал, какие процессы действительно стоит передавать искусственному интеллекту, где необходим контроль человека и почему автоматизация ради самой технологии часто приводит к обратному результату.

Матрица, которая помогает отделить полезную автоматизацию от лишней

"Когда искусственный интеллект стал массовым инструментом, люди начали применять его практически для всего, — говорит Симаков. — На первый взгляд это кажется правильным подходом, но часто приводит к обратному результату. Компании начинают усложнять простые процессы и добавляют новые точки отказа там, где раньше их не существовало. Это как пытаться забивать микроскопом гвозди. Эффектно, но бессмысленно".

По словам эксперта, первым шагом должна стать оценка самой задачи. Для этого он предлагает использовать оценочную модель из четырех факторов:

Фактор	0 баллов	1 балл	2 балла
Совместимость с ИИ	Необходим контекст или данные, которых у модели нет	ИИ может выполнить большую часть работы, но потребуется адаптация	ИИ способен выполнить задачу на уровне человека
Контроль качества	Ошибку сложно обнаружить	Для проверки нужны умеренные усилия	Ошибку легко найти
Исправление ошибки	Ошибка сложная или необратимая	Исправление требует дополнительных действий	Ошибка легко устраняется
Стабильность результата	Модель часто ошибается, требуется постоянная корректировка	Ошибки возникают периодически	Результат стабилен, количество ошибок минимально

Итоговая оценка:

• 6–8 баллов — задачу можно автоматизировать, решение будет устойчивым;
• 4–5 баллов — ИИ может выполнять работу, но необходим контроль человека;
• 0–3 балла — использовать ИИ в данном сценарии не рекомендуется.

"Матрица дает не просто направление, а конкретную оценку, — объясняет Симаков. — Вы оцениваете четыре параметра: насколько хорошо ИИ справляется с задачей, насколько легко обнаружить ошибку, насколько сложно ее исправить и насколько стабилен результат при повторении процесса".

По его словам, задачи с оценкой 6–8 баллов хорошо подходят для автоматизации. К ним относятся, например, анализ расшифровок интервью с пользователями, подготовка первых версий технических требований, сбор конкурентной информации из разных источников или первичная сортировка запросов на новые функции.

"В таких случаях даже 80% точности уже может быть значительным улучшением по сравнению с ситуацией, когда задача вообще не выполнялась", — отмечает эксперт.

Категория 4–5 баллов требует обязательного участия человека. Например, сбор и обработка данных для расчета заработной платы: ИИ может подготовить документы и выполнить предварительную обработку, но финальное решение должен принимать сотрудник.

Ниже 4 баллов — задачи с высокой стоимостью ошибки и низкой терпимостью к этим ошибкам. Это стратегические решения, приоритизация продуктовой дорожной карты, коммуникации с ключевыми партнерами, подрядчиками, клиентами или любые процессы, где результат должен быть закреплен за конкретным человеком, который сможет покрыть риски и нести ответственность за результат.

"Именно здесь ИИ может создать наиболее опасную иллюзию. Он дает очень убедительный, уверенный и хорошо структурированный ответ, который выглядит логично, но на самом деле не будет иметь никакого смысла. Это еще называют "ИИ-слоп". Последствия такой ошибки проявятся только через несколько недель или месяцев", — говорит Симаков.

Одним из примеров таких случаев стал проект Lawrify — инструмент для анализа юридических документов. В юридической сфере цена ошибки особенно высока: неверная рекомендация может привести к прямым финансовым и юридическим последствиям для клиента. И кто в этом случае будет нести ответственность за это неверное решение, если будет использоваться ИИ? Поэтому в том числе такие кейсы плохо поддаются автоматизации.

При этом эксперт отмечает: даже высокая частота использования задачи не всегда означает необходимость автоматизации.

"Если процесс выполняется несколько раз в год и занимает 20 минут, автоматизация не имеет экономического смысла. У нее есть собственные затраты, которые не всегда считают на старте проекта. Иногда проще сделать работу вручную", — поясняет он.

ROI автоматизации: когда внедрение ИИ действительно окупается

Если первая модель отвечает на вопрос, можно ли технически автоматизировать процесс, то второй расчет позволяет понять, имеет ли это экономический смысл.

Для оценки эффективности Симаков предлагает использовать простой показатель:

Срок окупаемости (месяцы) = время разработки (часы) ÷ (сэкономленные часы в месяц − затраты на поддержку в месяц)

Например, автоматизация подготовки новостной рассылки может выглядеть следующим образом:

• разработка решения — 15 часов;
• экономия времени — 10 минут на каждую рассылку при 40 отправках в месяц, то есть около 6,7 часа;
• поддержка — 1 час в месяц.

Чистая экономия составляет около 5,7 часа в месяц. В таком случае срок окупаемости составит примерно 2,6 месяца — проект проходит экономический порог.

Другой пример — ежеквартальный анализ конкурентов:

• разработка решения — 20 часов;
• экономия — около 3 часов на один анализ, который выполняется примерно 0,33 раза в месяц (т.е. 1 раз в три месяца);
• поддержка — 0,5 часа в месяц.

Итоговая экономия составляет всего около 0,5 часа в месяц. При таких параметрах срок окупаемости достигает 40 месяцев, поэтому автоматизация не имеет смысла — такую задачу выгоднее выполнять вручную.

"ИИ-проект должен проходить не только техническую, но и экономическую проверку. Возможность автоматизации еще не означает, что ее необходимо внедрять", — отмечает Симаков.

Опыт государственного проекта: автоматизация первой линии поддержки

Практическое применение описанной модели Никиты демонстрируется на примере проекта для государственного статистического ведомства Казахстана. Название организации не раскрывается из-за действующего соглашения о конфиденциальности.

Задача была намеренно ограниченной: автоматизировать ответы на вопросы пользователей о заполнении статистических форм. Речь не шла о масштабном внедрении искусственного интеллекта во все процессы ведомства или экспериментальном запуске технологии. Команда выбрала один конкретный сценарий с понятными входными данными и четким определением правильного результата.

"Мы выбрали именно этот процесс, потому что он получил высокие оценки по всем четырем критериям. ИИ мог выполнять задачу примерно на уровне человека, ошибки было легко обнаружить, а стоимость ошибки оставалась невысокой: пользователь мог получить неправильную инструкцию и просто задать вопрос повторно, а в крайнем случае позвать оператора", — рассказывает Симаков.

Главной сложностью стала изменчивость исходных данных: статистические формы регулярно обновлялись. Поэтому команда сохранила участие человека в процессе — специалист проверял спорные случаи и контролировал ситуации, в которых модель демонстрировала недостаточную уверенность.

В результате ведомству не потребовалось увеличивать штат операторов для обработки дополнительного объема обращений — средства, которые могли бы потребоваться на расширение команды, удалось сохранить в бюджете.

"Этот проект сработал именно потому, что мы не пытались автоматизировать все подряд. Мы выбрали один процесс, который действительно подходил для автоматизации, сразу заложили ответственность и контроль качества, а принятие решений оставили людям. В этом и заключается весь подход", — говорит эксперт.

Урок Lawrify: что происходит, когда рынок меняется быстрее продукта

Предложенная модель полезна не только для выбора новых направлений автоматизации, но и для анализа уже завершившихся проектов.

До работы в Sidekick Browser Никита занимал должность продуктового менеджера в Яндексе и руководил развитием Lawrify — продукта для анализа договоров, поиска рисков и неоднозначных формулировок в юридических документах.

Идея продукта была направлена на сокращение времени юристов и сотрудников юридических отделов: инструмент должен был экономить до четырех часов в неделю на проверке контрактов. У проекта были реальные признаки рыночного спроса: команда стала партнерами Dentons и получала интерес со стороны крупных корпоративных клиентов.

Однако после появления универсальных генеративных моделей, например, ChatGPT, у которого качество сценариев было выше, а цена существенно ниже — ситуация резко изменилась.

"В течение нескольких недель вся логика позиционирования нашего продукта изменилась. То, что мы считали уникальной технологией, внезапно стало сравниваться с тем, что любой пользователь может сделать с помощью универсального чат-бота. Инвесторы стали осторожнее, продажи замедлились, и нам пришлось принимать сложные решения", — вспоминает Симаков.

Но, по его словам, главная проблема была не только в появлении новых конкурентов.

Реальный вопрос оказался связан с самой природой задачи: насколько допустимо доверять ИИ там, где ошибка может иметь юридические последствия?

Если система пропустит важный пункт договора и клиент подпишет рискованный контракт, кто будет нести ответственность?

"Именно этот вопрос остановил больше обсуждений, чем сам запуск ChatGPT. Можно создать технически впечатляющий продукт, но столкнуться с тем, что среда его применения делает масштабирование практически невозможным", — отмечает эксперт.

В итоге команда получила важный вывод: создать полезный ИИ-продукт недостаточно. Необходимо создавать продукт, который сложно заменить.

"Мы сделали действительно полезный инструмент, но не создали достаточно сильный барьер для копирования и не решили вопрос ответственности. Когда возможности ИИ резко изменились, мы оказались не на той стороне этого изменения. Это был вопрос продуктовой стратегии, а не только технологий", — говорит эксперт.

По его словам, именно такие ситуации показывают: искусственный интеллект редко является конкурентным преимуществом сам по себе.

Настоящим преимуществом становятся:

• доступ к уникальным данным;
• доверие пользователей;
• сильная дистрибуция;
• глубокая интеграция в рабочие процессы компании.

Именно эти факторы формируют долгосрочную ценность продукта.

Почему большинство проектов автоматизации незаметно умирают

По словам Никиты Симакова, большинство внутренних проектов по внедрению ИИ сталкиваются с одними и теми же проблемами.

Первая из них — недостаточная устойчивость автоматизированных процессов.

Компании часто создают решения, которые отлично работают при идеальных условиях: когда входные данные структурированы, контекст стабилен, а пользователи действуют предсказуемо. Однако при изменении хотя бы одного из этих факторов система начинает давать сбои.

"Промпт, который отлично работал в феврале, не обязательно будет работать в мае. Модели обновляются, количество нестандартных случаев растет, и результат, который раньше считался приемлемым, перестает таким быть. А в случае пограничного нестандартного кейса, ИИ система вообще может выдать ошибку, а компания может потерять доверие пользователя", — объясняет эксперт.

Если у системы нет ответственного владельца, со временем она теряет надежность, а сотрудники перестают ей доверять.

"Автоматизация может формально продолжать работать, но люди, для которых она создавалась, возвращаются к ручным процессам, потому что больше не уверены в результате. Это даже хуже полного отказа: инфраструктуру все равно приходится поддерживать", — отмечает Симаков.

Вторая проблема — отсутствие ответственности за результат.

Любой ИИ-процесс, по мнению эксперта, должен рассматриваться как полноценный продукт: с владельцем, механизмом обратной связи, критериями качества и понятным сценарием действий при ошибках.

В качестве примера он снова приводит Lawrify. Система автоматизировала анализ юридических документов, но пользователи — юристы и корпоративные специалисты — обладали крайне низкой терпимостью к ошибкам.

Пропущенный пункт договора — потенциальная юридическая ответственность. Поэтому специалисты продолжали самостоятельно проверять документы, используя результаты ИИ скорее как вспомогательный материал.

"А затем появился ChatGPT и сделал значительную часть этой работы лучше. В итоге совпали сразу два фактора: процесс оказался слишком рискованным для полной автоматизации, а технологическое преимущество продукта исчезло практически мгновенно", — говорит Симаков.

Архитектура, которая выдерживает реальную эксплуатацию

По мнению Никиты, устойчивые ИИ-системы строятся вокруг одного базового принципа: искусственный интеллект не должен быть заменой всех компонентов системы.

"Задача модели — рассуждать, интерпретировать входные данные и определять, какие инструменты необходимо вызвать и в какой последовательности. Все остальное — получение данных, создание документов, отправка уведомлений, API-вызовы — должно оставаться отдельными проверяемыми функциями", — объясняет Симаков.

Если система дает неправильный результат, команда может определить конкретный участок, где произошел сбой, вместо анализа всей цепочки.

"Это тот же принцип, который делает хорошую архитектуру программного обеспечения надежной: разделение ответственности. ИИ хорошо подходит для анализа и принятия решений. Функции хорошо подходят для точного выполнения операций. Не стоит заставлять один компонент выполнять работу другого", — отмечает эксперт.

В собственном продуктовом процессе Симаков использует ИИ для анализа пользовательских исследований, сортировки продуктового бэклога и подготовки обзоров конкурентной среды.

Однако такие задачи, как формирование дорожной карты, обсуждение компромиссов с инженерной командой или решения, требующие понимания внутренней политики и культуры конкретной компании, остаются зоной ответственности человека.

Главный вызов

Компании, которые действительно добиваются успеха с помощью автоматизации, отличаются качеством работы с нестандартными случаями.

По словам эксперта, это своеобразная версия принципа Парето: небольшая доля нестандартных ситуаций часто требует большей части ресурсов на поддержку системы.

Проблема заключается в том, что многие команды замечают эту стоимость только после запуска.

"Пять процентов сложных случаев могут потреблять 95% усилий, необходимых для поддержания автоматизации в рабочем состоянии", — отмечает Симаков.

"Вопрос не в том, использовать ли ИИ вообще. Вопрос в том, используете ли вы его там, где он действительно помогает, и оставляете ли его за пределами процессов, где он создает риски. Ошибка в любую сторону приводит либо к потере производительности, либо к появлению проблем, которые вы обнаружите слишком поздно", — говорит Никита Симаков.