Пять страниц в Automatica
В 1983 году журнал Automatica напечатал статью Лизанны Бейнбридж «Ironies of Automation». Пять страниц в 19-м томе. Статья про управление процессами на промышленных производствах, часть примеров взята из автоматики в кабине самолёта. Про офис и переписку с клиентами там нет ни слова.
Вопрос статьи: что происходит с человеком, когда машина забирает его работу. Ответ получился неудобным. Чем совершеннее система управления, тем важнее может оказаться вклад оператора. Всё, что предусмотрено, система делает сама. Человеку остаётся непредусмотренное, и случается оно редко.
В 2021 году Бейнбридж выложила полный текст статьи на своём сайте. Её цитаты ниже взяты оттуда. Здесь и дальше перевод цитат наш.
Бот забирает лёгкое
В авторской версии 2021 года это звучит так: «Забирая лёгкие части задачи, автоматизация может сделать трудные части задачи оператора ещё труднее» (Бейнбридж, «Ironies of Automation»).
Оператор, который вёл процесс руками, знал, как установка ведёт себя в обычный день, и замечал отклонение по мелочам. После автоматизации тот же человек смотрит на приборы, на которых ничего не происходит. Бейнбридж напоминает результат исследований внимания: даже очень мотивированный человек не может дольше примерно получаса удерживать внимание на источнике, где почти ничего не меняется.
Теперь замените установку на Telegram-аккаунт магазина или клиники. Бот отвечает на то, что повторяется: сколько стоит, где вы находитесь, есть ли размер, когда свободно. Такие вопросы отдают боту первыми именно потому, что они одинаковые.
Менеджеру остаётся другое. Клиенту привезли не тот товар. Спрашивают то, чего нет в прайсе. Постоянный покупатель просит скидку. Кто-то пишет третье сообщение подряд заглавными буквами. Раньше эти разговоры шли вперемешку с сотней простых, и менеджер был в курсе дня: о чём сегодня спрашивают, что закончилось на складе, в каком настроении пишут клиенты. Теперь он открывает чат, когда там уже плохо.
Трудное остаётся, навык уходит
В той же статье Бейнбридж называет второй иронией то, откуда берётся работа человека в автоматизированной системе: «проектировщик, который пытается убрать оператора, всё равно оставляет ему задачи, которые не придумал, как автоматизировать».
Выходит, что работу человека никто не проектировал. Она получилась остатком. У чат-бота это выглядит так: всё, что не поместилось в сценарий и базу знаний, по умолчанию уходит «на менеджера». Если так и оставить, никто заранее не посчитает, справится ли менеджер и сколько у него на это минут.
К остатку добавляется навык. Бейнбридж пишет, что физические навыки ухудшаются, когда ими не пользуются. Для производства она предлагает давать оператору в каждую смену немного поработать на ручном управлении, а если это нереально, тренировать его на симуляторе.
Замеров на менеджерах по продажам у нас нет. Наше предположение такое: тот, кто полгода не отвечал на простые вопросы, хуже помнит прайс, условия доставки и то, как пишут обычные довольные клиенты. А трудный случай требует всего этого сразу.
В 2024 году исследователи выложили на arXiv работу «Ironies of Generative AI», где те же иронии разобраны на генеративных моделях. Через 41 год аргумент понадобился снова.
Тупик без человека: DPD и Taco Bell
Что бывает, когда передачи человеку нет вовсе, видно по двум публичным историям.
Январь 2024 года, британская служба доставки DPD. Клиент, лондонский пианист и дирижёр, попросил чат-бота соединить его с человеком. Бот ответил, что не может. Тогда клиент начал играть с ботом и добился от него ругани, стихотворения о том, какая DPD бесполезная, и фразы о том, что это худшая служба доставки в мире. По данным TIME, скриншоты переписки, которые он выложил в X, набрали 1,3 млн просмотров и больше 20 000 лайков. DPD ответила, что ошибка появилась после обновления системы 18 января, ИИ-модуль сразу отключили и дорабатывают. До этого, по словам компании, он несколько лет успешно работал в чате.
Вторая история из США. Taco Bell поставила голосовой ИИ на приём заказов в более чем 500 окнах выдачи для автомобилей. В августе 2025 года TechCrunch упомянул заказ на 18 000 стаканов воды: так клиент пытался обойти ИИ и попасть к живому сотруднику. Директор сети по цифровым технологиям Дейн Мэтьюс сказал The Wall Street Journal о системе: «Иногда он меня подводит, а иногда по-настоящему удивляет». От ИИ сеть не отказалась. По словам Мэтьюса, франчайзи будут подсказывать, в каком ресторане и в какие часы оставить голосового помощника, а где следить за ним и подключаться по необходимости.
В обеих историях клиент начал ломать бота после того, как не смог добраться до человека. Если дверь к человеку закрыта, обход клиент ищет сам, и компания узнаёт о нём из новостей.
Шнур над линией
У Toyota право остановить автомат встроено в саму производственную систему. Принцип называется дзидока. На официальном сайте Toyota его называют автоматизацией «с человеческим участием». При отклонении, будь то сбой оборудования, брак или задержка работы, машина сама обнаруживает проблему и останавливается. Или оператор сам останавливает линию, потянув шнур. Остановка здесь штатная функция, а не авария.
Для бота такой шнур состоит из двух частей. Бот умеет сам остановиться и позвать человека. А человек в любой момент забирает разговор себе, не выключая систему целиком.
Есть и второй вопрос: скорость. В 1960 году Норберт Винер писал в журнале Science о машинах, которые действуют так быстро и необратимо, что вмешаться до конца действия не успеть. Для таких машин, писал он, нужно быть вполне уверенным, что заложенная в них цель — это «та цель, которой мы действительно желаем, а не просто её яркая имитация» (Винер, Science, 1960).
Неудачный ответ бота в чате можно поправить следующим сообщением. Массовую рассылку по базе так не поправить: пока кто-то заметит ошибку в цене, сообщение уже у всех. Поэтому проверку рассылки ставят до отправки.
Как проектировать передачу человеку
Вывод для бота первой линии такой: передачу человеку проектируют в начале, вместе со сценарием. Если оставить её на конец, человеку достанется тот самый остаток, о котором писала Бейнбридж.
Поводы для передачи записывают заранее, списком. Например:
- клиент прямо просит человека или в третий раз задаёт тот же вопрос;
- речь о деньгах, которых нет в прайсе: скидка, возврат, рассрочка;
- жалоба на уже оплаченный заказ;
- клиент готов платить или торопится;
- пришло фото или файл, которые бот не читает.
Бот говорит клиенту, что происходит: что он бот, что разговор передан человеку и когда ждать ответа. Если бот просто замолчит, клиент не узнает, ждать ему или писать в другое место.
Менеджер получает разговор вместе с контекстом: что спросил клиент и что бот уже ответил. Иначе первым сообщением человек переспросит то, что клиент уже написал. Кто отвечает за сами слова бота, мы разбирали отдельно.
Человек забирает чат одним действием, и бот в этом чате замолкает. Навык менеджера поддерживают специально. Аналог ручного управления в каждую смену: менеджер регулярно сам отвечает на часть типовых обращений или читает выборку ответов бота за день.
В Valli, нашем ИИ-автоответчике для Telegram Business, который сейчас в пилоте, часть этого уже работает. Если владелец сам пишет в чате, Valli молчит в этом чате два часа. На карточке горячего клиента есть кнопка, которая заставляет Valli молчать в этом чате 24 часа. Когда клиент соглашается на цену, просит счёт или торопится, Valli по своим правилам говорит, что подключится владелец, а владельцу приходит карточка с сообщением клиента и её ответом. Встречи Valli сама не подтверждает, это делает владелец. Если клиент присылает фото или файл без подписи, Valli зовёт владельца: отвечать по картинкам и файлам она пока не умеет. Спросят, бот ли она, — правила запрещают ей врать.
Чего мы не знаем
Бейнбридж писала об операторах промышленных установок и пилотах, а не о языковых моделях. Перенос её выводов на чат-ботов — наша аналогия, в самой статье его нет.
Измеренных данных о том, как бот первой линии влияет на навыки менеджеров по продажам, у нас нет. Статистики передач человеку в пилоте Valli пока тоже нет.
Исходный пост клиента DPD в X мы не открывали, история и цифры просмотров пересказаны по TIME. Слова Дейна Мэтьюса взяты у TechCrunch, который цитирует интервью в The Wall Street Journal; оригинал WSJ закрыт платным доступом.
Как мы проводим эту границу во всём проекте — от выбора процесса до передачи, — на странице «Автоматизация бизнеса с помощью ИИ».
Прежде чем ставить бота на входящие, выпишите, какие разговоры он отдаёт человеку. В нашем бесплатном разборе процесса это отдельная строка: 48 часов, без созвона, и граница между ботом и менеджером записана до запуска.
