Непонятный код от нейросети. 42% разработчиков назвали главную цену ИИ-ускорения
Совместное исследование ИТ-холдинга Т1 (АО) и издания Tproger было представлено на конференции "Импульс Т1" в Москве. Опрос показал, что генеративные модели уже встроены в повседневную работу: 89% разработчиков брали сгенерированный ИИ код в работу, а 78% справились с последней задачей быстрее, чем с аналогичной без нейросети.
Обучение пока осталось редкостью: только 8% проходили курс работы с ИИ внутри компании. Большинство освоили инструменты самостоятельно, на собственных проектах.
Самой распространенной проблемой при использовании ИИ стало непонимание сгенерированного кода: на нее указали 42% участников - чаще, чем на ошибки самих нейросетей. У 36% опрошенных претензии сводились к нехватке контекста: модели не учитывают существующую кодовую базу и правила команды, поэтому код приходится адаптировать к проекту.
С режимом работы связан заметный парадокс. Среди тех, кто поручает ИИ-агенту задачу целиком, 51% сложно разобраться в полученном коде против 31% среди тех, кто использует нейросеть для подсказок. Зато на ошибки и галлюцинации жалуются 59% "советчиков" и лишь 17% тех, кто делегирует целиком.
"По числу жалоб я бы не судил о качестве кода, - сказал ИТ-директор ООО МФК "ПСБ Финанс" Вадим Заражевский. - Чтобы заметить ошибку, надо сначала понять, что именно сделал агент и почему он решил задачу именно так. Мы знаем, сколько людей заметили проблему. Сколько ее пропустили, из опроса не видно". Нехватку контекста он связывает с доступом агентов к истории задач: если агент видит, зачем в код добавлена проверка, он может сам оценить ее необходимость, а не предлагать удалить.
Узкое место сместилось из написания в проверку
39% разработчиков тратят на ревью кода больше времени, чем раньше. "Писать код стало дешево, а проверять - нет, поэтому узкое место сместилось от написания к проверке, - говорит директор по развитию ООО "АрхиТех ИИ" (ИИ-экосистема Kodik) Юрий Головко. - По нашему опыту, ИИ масштабирует то, что уже есть в команде: сильные инженерные процессы он усиливает, а слабые - быстрее доводит до проблем".
Основатель ООО "Синаптик" Олег Кошкин предупредил о явлении "ИИ-бумеранга": без выстроенных процессов проверки агенты приведут не к ускорению, а к росту трудозатрат и потере управляемости проектами. Скорость генерации, по его оценке, перестает быть определяющим фактором - узким местом становится скорость верификации.
"Мы видим проблему "долга понимания" и когнитивной нагрузки разработчиков при работе с ИИ-конвейером, в основном на этапах ревью, - отметил директор по производству ООО "Диасофт" Юрий Дручинин. - Это существенно ограничивает рост производительности при разработке с ИИ. Поэтому наш следующий шаг в развитии производственного цикла разработки ПО с ИИ (AI-SDLC) - разработка интерфейсов для визуальной поддержки ревью: сценарии в схемах, код в диаграммах, понятные отчеты о тестировании".
У ООО "Бпмсофт" (BPMSoft, входит в ИТ-холдинг LANSOFT) у этого риска есть точный термин - "долг по верификации" (verification debt). Руководитель направления разработки Алексей Кононов описал типичный сценарий: младший (junior) разработчик за час получает 500-1000 строк рабочего кода, но интеграцию и проверку соответствия архитектурным принципам выполняет старший (senior) разработчик, на что уходит час, два, три и больше. Если проблема проявится в продакшене, исправление обойдется существенно дороже превентивной работы на этапе разработки, сказал он.
Ни правил, ни системности
У 43% команд нет явных правил использования ИИ, обязательная проверка результата прописана лишь у 10%, говорится в исследовании. "18% принимали сгенерированный код без правок. Само по себе это не проблема, если код прошел проверку и соответствует требованиям, - рассуждает Юрий Головко. - Но код, который попал в продукт и логику которого никто в команде не может объяснить, - это технический долг с отложенным платежом".
Управляющий партнер "Астра ИИ", директор по науке и ИИ ПАО "Группа Астра" Владимир Нелюб подсчитал: разрозненные эксперименты с агентами дают в среднем 5% прироста производительности, системный подход - 50% и выше. "Разница только в организации работы: готовности команд, качестве процессов и способности управлять самостоятельностью агентов", - пояснил он. Компания представила методологию "Астра ИИ Траектория": диагностика процессов, "цифровой двойник" команды, пилот на 8-12 недель и замер эффекта с подтвержденной окупаемостью инвестиций (ROI) - для команды из 100 человек окупаемость оценивается в 6-10 месяцев.
Позицию вендора отражает и продуктовый лидер платформы "Сфера" ИТ-холдинга Т1 Сергей Полиненко: "Больше половины опрошенных специалистов ждут, что ИИ будет выполнять основную часть задач, а разработчики сосредоточатся на их постановке и проверке результата. Мы видим запрос с обеих сторон, а потому планируем перейти от точечного применения технологии к ИТ-производству, где ИИ задействован на всех этапах разработки с учетом требований безопасности".
"Непонимание каждой строки кода, сгенерированного ИИ, в целом не является самостоятельной проблемой, но влияет на скорость выпуска в продакшен, - считает директор по продуктовому развитию ООО "ПротоСервисез" (Proto, входит в ГК "Базис") Надежда Фердман. - Ухудшение показателей скорости вывода продукта на рынок (time to market) чаще возникает из-за отсутствия документированного конвейера разработки и контрольных точек качества (quality gates) с правилами подключения человека. У нас контрольные точки качества формируются на этапе ресерча и спускаются по цепочке, а решения по спецификации, плану и финальному мерджу всегда остаются за человеком".
Безопасность не успевает за темпом
Консультант по кибербезопасности АО "Ф6" Сергей Золотухин фиксирует, что вопросы безопасности явно проигрывают в скорости и не успевают за ростом использования ИИ. "Впервые в истории применение новых технологий так тесно связано с вопросами безопасности сразу в двух плоскостях: защита самих моделей как рабочего инструмента и безопасное их использование, - отметил он. - Нельзя позволять людям перекладывать на ИИ ответственность, принятие критически важных решений и контроль результатов".
У Алексея Кононова добавляется тревога об утечках: код, отправляемый во внешние сервисы, уходит на инфраструктуру поставщика и в ряде сценариев может использоваться для обучения моделей. Для компаний с закрытым исходным кодом выход - решения с развертыванием моделей в собственной инфраструктуре (self-hosted), когда модели работают в закрытой корпоративной среде. Наиболее практичный эффект он видит в тестировании: цена "галлюцинации" там существенно ниже, чем в бизнес-логике.
Кадровая петля: скорость против опыта
39% опрошенных Т1 считают, что новичкам стало сложнее войти в профессию. Глава Ассоциации предприятий компьютерных и информационных технологий (АПКИТ) Николай Комлев с этим спорит: "ИИ лишь более современный инструмент. Все так же необходимо учиться, получать навыки, накапливать прикладной опыт". При этом он признает, что команды неизбежно привыкнут доверять ИИ и постепенно разучатся понимать детали написанного нейросетью кода, следя лишь за общей логикой.
Мрачнее смотрит коммерческий директор ООО "Е-Флопс" Владислав Иванов: "Сознательно отказываясь от ИИ, чтобы развиваться и профессионально расти, обучающийся сотрудник неминуемо проиграет конкуренцию тому, кто использует ИИ постоянно, пусть и на среднем уровне. Если на промежуточной стадии компания будет выбирать кого из двоих сократить, то исходя из текущей сиюминутной ситуации оставят именно середнячка с ИИ, потому что в моменте он работает быстрее". Проводя аналогию с появлением огнестрельного оружия, он предполагает, что сотрудников с ИИ будет намного больше, а ценность вклада каждого - меньше.
Что делать командам
Технический директор Veai (ООО "ИИТЕХ") Владислав Кудинов резюмировал: ИИ уже стал частью ежедневной работы, но практики контроля не успевают за темпом его внедрения, и выигрыш от генерации может теряться на этапах проверки, интеграции и сопровождения. Правила использования ИИ должны фиксировать допустимые сценарии, ответственность разработчика и обязательные проверки результата. В Veai агент работает в интегрированной среде разработки (IDE) JetBrains и через интерфейс командной строки (CLI), опираясь на контекст проекта, ошибки, тесты и результаты запусков.
Директор ООО "Айдеко" (Ideco) Дмитрий Хомутов предлагает мерить эффект не скоростью написания кода, а временем от идеи до работающего продукта. Кратное ускорение он видит в небольших автономных командах, у которых есть и ответственность за результат, и полномочия довести изменение до релиза без ожидания решений нескольких подразделений. "Тем, кто не получает эффекта от ИИ, можно посоветовать сосредоточиться на переустройстве сложившейся бюрократии, а не на самих ИИ-инструментах", - заключил Дмитрий Хомутов.