Почему 88% AI-пилотов не доходят до прода и как этого избежать

«Чистилище пилотных версий»

В открытых исследованиях McKinsey, Gartner и MIT Sloan последние годы кочует одна и та же цифра: около 88% AI-пилотов не доходят до промышленной эксплуатации. Проект стартует с энтузиазмом, команда собирает прототип, показывает красивое демо, и дальше — тишина. Ни релиза, ни бизнес-эффекта, ни продолжения.

Мы в Qwerty Digital работаем как AI-интегратор уже несколько лет, и за это время видели десятки проектов, которые так и не запустились в проде. Причины почти всегда одни и те же, и они не связаны с качеством моделей. Проект умирает не потому, что ML плохо работает, а потому, что где-то на пути от демо до прода команда свернула не туда.

В этом разборе — шесть самых частых причин провалов и что с ними делать.

Причина 1. Начали с модели, а не с бизнес-задачи

Самый распространённый сценарий: кто-то из руководства прочитал про GPT-4, воодушевился, и команда начинает делать «что-нибудь с AI». Берут популярный use case, допустим, чат-бот поддержки, строят прототип, и уже потом начинают искать, кому из бизнеса он нужен.

К моменту, когда прототип готов, выясняется, что у поддержки есть другие приоритеты. Что клиенты предпочитают живого человека. Что бюджет на поддержку режется. Что метрика, которую должен был двигать бот, не двигается.

Что делать. Начните с цифры, которую хотите изменить. Какой бизнес- процесс медленный, дорогой или ошибочный? Какая метрика страдает? Только после ответа на этот вопрос имеет смысл думать про модели.

Причина 2. Недооценили работу с данными

Классическая статистика: на подготовку данных уходит 60–80% времени проекта. В большинстве провалившихся пилотов команда этого не закладывала и упёрлась в простую проблему: данных либо нет, либо они в плохом состоянии, либо к ним нельзя получить доступ из-за инфраструктурных или юридических причин.

Типичные ситуации:

• Данные есть, но в CRM, которая не выгружает историю старше 6 месяцев.
• Данные есть, но 40% полей заполнены мусором из-за устаревшей формы ввода.
• Данные есть, но на их выгрузку нужно согласие службы безопасности, которое обсуждают три месяца.
• Данные есть, но нужных разметок нет, и никто их никогда не делал.

Что делать. До начала разработки проведите аудит данных. Проверьте не только наличие, но и качество, объём, скорость обновления, права доступа. Если данных мало или они грязные — сначала решите эту проблему, а потом беритесь за модель.

Причина 3. Делали демо вместо системы

Демо и система — это разные вещи. Демо показывает, что концепция работает на нескольких примерах. Система работает стабильно на тысячах запросов в день, с ошибками, с дрейфом данных, с новыми пользователями, с выходом из строя соседних сервисов.

Мы видим это почти в каждом провальном проекте: команда довела модель до F1 0.92 на лабораторном наборе данных, отметила успех, а потом выяснилось, что в проде метрика проседает до 0.65, потому что реальные запросы выглядят иначе.

Что делать. С первого дня думайте о системе, а не о модели. Это значит: мониторинг качества в проде, наблюдаемость, обработка ошибок, фолбэки, контур безопасности, человек в петле для критичных решений. MLOps — это не «потом добавим», это часть архитектуры.

Причина 4. Никто не владеет проектом на стороне бизнеса

Если у AI-проекта нет конкретного владельца внутри бизнеса — человека, у которого в KPI стоит запуск этой системы — проект умрёт. Всегда.

Технология без ответственного за результат внутри организации быстро теряет приоритет. Появляются более срочные задачи, команда переключается, проект замирает, и через полгода о нём вспоминают как о «том, что не взлетело».

Что делать. Перед стартом попросите компанию назначить владельца проекта на стороне бизнеса. Не «спонсора», не «куратора», а человека, которому именно этот запуск важен и у которого есть полномочия выделить ресурсы команды клиента на интеграцию.

Причина 5. Недооценили change management

AI-система почти всегда меняет чью-то работу. Менеджер больше не пишет ответы на 60% обращений — теперь это делает агент. Аналитик больше не размечает тикеты вручную — за него работает классификатор. Рекрутер больше не читает каждое резюме — их фильтрует модель.

Если команда не готова к этим изменениям, система не запустится. Люди будут игнорировать рекомендации модели, будут находить причины не использовать ассистента, будут саботировать дашборд. Это не злой умысел, это нормальная реакция человека на изменение привычной работы.

Что делать. Change management — это отдельный трек проекта, параллельный с разработкой. Обучение команды клиента, демонстрации, объяснение логики модели, разбор ошибок, обратная связь. Без него лучшая система останется на полке.

Причина 6. «Запустили — забыли»

Последняя причина — это то, что происходит после запуска. Модель не стабильна навсегда. Распределение входных данных меняется, пользователи начинают вести себя иначе, появляются новые паттерны ошибок. Через несколько месяцев модель, которая работала хорошо на старте, начинает ошибаться. Если этого никто не отслеживает, система тихо деградирует, и через полгода её вежливо выключают.

Что делать. Проект не заканчивается деплоем. Нужны мониторинг качества в проде, регулярное переобучение, дашборды для бизнеса и команда сопровождения. Это отдельная статья бюджета, и её нужно закладывать на старте.

Что из этого следует

88% — это пугающая цифра, но она говорит не о том, что AI не работает. Она говорит о том, что большинство команд относятся к AI-проекту как к разовому эксперименту, а не как к внедрению новой системы. Разница огромная.

Успешные AI-проекты выглядят скучно: долгий аудит, честная оценка данных, постепенное внедрение, мониторинг, обучение команды клиента, регулярное развитие. Неуспешные — эффектно: быстрое демо, громкий запуск, отсутствие сопровождения, тихая смерть.

Выбор того, к какой категории вы относитесь, происходит не в момент презентации результатов, а в первую неделю проекта — когда вы определяете, кто владелец на стороне бизнеса, как устроены данные и что вы считаете успехом.

Если хотите обсудить конкретно вашу задачу — запишитесь на AI-аудит. 30 минут, бесплатно, разберём ваш случай и честно скажем, есть ли смысл в AI-проекте именно у вас.