Почему искусственный интеллект не работает сам по себе

Представим обычное совещание. Руководитель спрашивает, почему упали продажи. Искусственный интеллект за несколько секунд предлагает объяснение: снизилась конверсия, изменилось поведение клиентов, один из каналов работает хуже.

Коммерческий отдел смотрит на цифры и не соглашается. Финансы открывают свой отчет — там вообще другая выручка. Через десять минут обсуждают уже не продажи, а то, откуда система взяла данные и что именно посчитала. ИИ сработал быстро. Решение быстрее не появилось.

В этом хорошо виден парадокс нынешней волны искусственного интеллекта. Машины уже умеют писать тексты, анализировать документы, искать закономерности и отвечать на вопросы к данным. Но скорость выполнения отдельной операции и эффективность всей системы — разные вещи.

По данным McKinsey, искусственный интеллект регулярно используют почти девять из десяти опрошенных организаций, 80% респондентов отмечают рост продуктивности, но только 37% связывают применение технологии с положительным вкладом в операционную прибыль. Почему возникает такой разрыв?

Представим производственную линию, на которой один станок заменили на гораздо более быстрый. Он теперь обрабатывает деталь за десять секунд вместо минуты. Но если следующая операция занимает пять минут, готовая продукция не станет сходить с конвейера в шесть раз быстрее.

С ИИ происходит примерно то же самое. Сотрудник может в три раза быстрее подготовить отчет, найти информацию или разобрать большой массив документов. Но если после этого результат два дня согласовывают, данные приходится перепроверять вручную, а решение некому принять, ускорилась только одна операция.

Поэтому экономический эффект от ИИ возникает не в точке, где модель дала ответ, а дальше — когда этот ответ меняет действие.

Полезнее всего смотреть на процесс как на цепочку: событие → данные → сигнал → решение → действие → результат.

Например, у компании растет просроченная дебиторская задолженность. ИИ может раньше заметить отклонение и показать финансовому директору группу клиентов, у которых быстро увеличивается долг. Но реальный эффект появится только в том случае, если после сигнала существует понятное действие: изменить условия оплаты, связаться с клиентом, скорректировать лимит или пересмотреть платежный календарь.

Если после красивого предупреждения ничего не происходит, экономическая ценность системы близка к нулю.

Именно поэтому фраза «внедрить ИИ-ассистента» почти ничего не говорит о результате. Гораздо содержательнее вопрос: что изменится в работе компании, если завтра ассистент начнет отвечать идеально?

Небольшой эксперимент с искусственным интеллектом провести сравнительно легко. Берется ограниченная задача, готовятся данные, выбирается модель, команда несколько недель проверяет результат.

Если система справляется, кажется, что большая часть работы уже сделана. Но пилот отвечает в основном на вопрос: «Может ли технология это сделать?» Промышленное внедрение отвечает на другой: «Может ли организация так работать каждый день?»

И здесь требования резко усложняются. Нужно определить, откуда система получает данные, кто отвечает за их качество, кому разрешено видеть результат, где требуется проверка человеком, как обрабатываются ошибки и кто несет ответственность за действие, принятое на основании рекомендации.

Исследования MIT Center for Information Systems Research показывают, что заметный финансовый эффект появляется не на стадии отдельных экспериментов, а когда компании начинают масштабировать новые способы работы с ИИ. Для этого технология должна быть встроена в уже существующую систему ролей, данных и решений.

Это объясняет довольно распространенную ситуацию: демонстрация прошла успешно, модель отвечает правильно, сотрудники впечатлены — но спустя год проект по-прежнему называется пилотом.

Технологию проверили. Процесс вокруг нее — нет.

Особенно хорошо проблема видна в аналитике. Представим, что руководитель спрашивает систему: «Почему снизилась маржинальность?» Для человека вопрос кажется понятным. Для машины он состоит из множества скрытых условий: Что именно считать маржинальностью? Учитывать логистику? Возвраты? Скидки? Какую себестоимость использовать? За какой период? Как поступать с заказом, который отгружен в августе, а оплачен в сентябре?

Если финансовый и коммерческий отделы используют разные правила, искусственный интеллект не сможет определить, какое из них «правильное», только потому, что он искусственный интеллект. Он получит доступную ему версию данных и построит ответ на ее основе. Более того, языковая модель умеет делать это очень убедительно.

Раньше конфликт мог выглядеть как две разные цифры в двух Excel-файлах. Их замечали и начинали выяснять причину. Теперь система способна выдать связное объяснение, в котором противоречие уже не так заметно.

Поэтому современным аналитическим системам нужен не только доступ к таблицам, но и своего рода словарь бизнес-смыслов — семантический слой. В нем закрепляется, что именно организация считает выручкой, клиентом, продажей или просрочкой, какие формулы используются и какие фильтры обязательны. Исходный материал отдельно отмечает эту проблему: без согласованной модели показателей ИИ вынужден выбирать наиболее вероятную интерпретацию.

Проще говоря, машине недостаточно знать, где лежит число. Ей нужно понимать, что это число означает.

Вопрос «можно ли доверять искусственному интеллекту?» звучит эффектно, но с практической точки зрения почти бесполезен. Гораздо важнее спросить: что именно ему разрешено делать? Если система составляет краткое резюме документа, ошибка неприятна, но человек может ее заметить и исправить. Если она находит необычное отклонение в данных и предлагает гипотезу, риск тоже ограничен: специалист проверит результат. Но если тот же алгоритм самостоятельно меняет цену, блокирует клиента, согласовывает платеж или формирует заказ поставщику, цена ошибки становится совсем другой.

Получается своеобразная лестница автономности:

Грубо говоря роль ИИ можно представить как помощника, аналитика, советника и агента. Чем выше мы поднимаемся по этой лестнице, тем важнее не столько качество самой модели, сколько устройство всей системы вокруг нее.

Для управления такими рисками Национальный институт стандартов и технологий США — NIST — предлагает четыре базовые функции: определить правила и ответственность, понять контекст риска, измерять качество и последствия, а затем управлять обнаруженными проблемами.

В переводе с языка стандартов на обычный это означает: заранее решить, какие действия машина имеет право выполнять, какие данные использовать, где обязательна проверка человеком и кто отвечает, если система ошиблась.

Есть еще одна проблема, которую легко недооценить. Нейросеть не восстанавливает магическим образом информацию, которую компания никогда не фиксировала.

Если причина отказа клиента не записывается в CRM, модель ее не знает. Если часть операций проводится вне ERP, для системы их не существует. Если сотрудники месяцами корректируют отчет вручную, но нигде не фиксируют эти правила, ИИ не получит доступ к этому «корпоративному здравому смыслу». Он увидит пробел.

А поскольку языковые модели созданы для построения наиболее вероятного ответа, такой пробел не всегда выглядит как пустота. Иногда он превращается в вполне правдоподобное объяснение.

В этом одна из принципиальных особенностей работы с ИИ: чем убедительнее становятся ответы машины, тем важнее возможность проверить, на каких данных они основаны.

Одна из самых частых ошибок пилота — сначала проверить технологию, а уже потом решить, какой результат считать успехом. Модель отвечает. Сотрудники довольны. Демонстрация выглядит хорошо. Но на вопрос «что компания получила за потраченные деньги?» четкого ответа нет.

Показатель эффекта нужно выбирать до запуска.

Для одного процесса это может быть сокращение подготовки отчета с четырех часов до одного. Для другого — снижение ручной обработки заявок. Для третьего — более раннее обнаружение риска дефицита или уменьшение числа ошибок. Метрика может быть разной, но она должна измерять изменение реального процесса, а не способности нейросети.

Есть еще одно полезное правило — заранее определить не только критерий успеха, но и критерий остановки. Сколько времени дается на эксперимент? Какой результат считается недостаточным? Какие ошибки неприемлемы?

Без этого пилот легко становится вечным: модель каждый месяц становится немного лучше, команда продолжает дорабатывать систему, а экономический эффект все время обещают получить на следующем этапе.

Хороший эксперимент заканчивается одним из двух решений: эффект подтвержден — масштабируем; гипотеза не сработала — останавливаем. Оба результата полезнее бесконечного «еще немного тестируем».

Главная иллюзия вокруг искусственного интеллекта состоит в том, что достаточно сильная модель способна исправить слабый процесс.

На практике чаще происходит обратное. ИИ быстро обнаруживает все места, где организация сама не договорилась о правилах. Если отделы по-разному считают прибыль, модель не выберет за них единственную правильную формулу. Если в процессе нет ответственного, система не создаст его автоматически. Если важные события не фиксируются, алгоритму неоткуда о них узнать.

Но там, где процесс уже существует, ИИ действительно может оказаться мощным усилителем. Он способен раньше заметить отклонение, быстрее собрать контекст, снять часть рутинной работы и сократить время между событием и реакцией.

Возможно, именно так и стоит смотреть на сегодняшние нейросети: не как на отдельный «разум», который приходит в компанию и начинает наводить порядок, а как на новый механизм внутри уже существующей машины.

Если эта машина собрана хорошо, механизм делает ее быстрее. Если плохо — он прежде всего помогает гораздо быстрее обнаружить, где именно что-то не работает.