Бонусная глава о том, как замена проверенной ML-модели на LLM ради 'инноваций' привела к катастрофе. Узнайте, почему эго и непотизм губят проекты. Читайте сейчас!
Примечание редактора: во время компиляции старой серии для книги я нашёл этот черновик в архивах. Он не вписывался в оригинальный состав, но история была слишком хороша, чтобы оставить её погребённой на жёстком диске. Я отполировал её и решил выпустить как бонусную главу серии. Это художественное произведение.
Мне потребовалось шесть лет, чтобы превратить платформу ИИ-диагностики NovaTech из Python-скрипта на одном сервере в продакшн-систему, обрабатывающую четыре миллиона диагностических запросов в день. Каждый датчик отправлял данные вверх по потоку. Модель срабатывала не на каждое показание, но в часы пик обрабатывала более ста в секунду. Наши клиенты включали три гиганта обрабатывающей промышленности из списка Fortune 500 — крупнейшим из которых была Merit Manufacturing — и бренд медицинских устройств, которым вы точно пользовались.
Шесть лет назад, когда я присоединился, в компании было восемнадцать человек, и CTO всё ещё писал код. Генеральный директор Райан Уитфилд стучал кулаком по столу на общих собраниях и говорил: «Мы строим нечто важное».
Через три года мы переехали в офис в Саннивейле с внутренним двориком. Райан выпил полбутылки виски на вечеринке по случаю новоселья, обнял меня за плечи и сказал инвестору: «Том — причина, по которой этот корабль держится на плаву».
Ещё через три года корабль сказал мне, что я мёртвый груз.
Увольнение случилось в среду в 11 утра. Видеоконференция для всех сотрудников. Райан сидел перед своей столовой люстрой за тридцать тысяч долларов и объяснял, что компания проходит через «стратегическую реструктуризацию» для «оптимизации операций». На третьем слайде моё имя и вся команда платформы данных — все двенадцать человек — аккуратно помещались в серый блок.
«Затрагиваемые должности упраздняются для сокращения избыточности».
Избыточность. Я руководил этой командой шесть лет. Годы безаварийной работы. 99,97% полноты. Избыточность.
Пакет выходного пособия от HR приземлился в мой почтовый ящик. Стандартное выходное пособие, NDA, годичный запрет на конкуренцию. Я не мог работать даже в кофейне внизу, не то что у конкурента.
Я кое-что заметил, когда подписывал. В моём соглашении о неконкуренции была спрятана оговорка-исключение: «Члены семьи исполнительного руководства освобождаются от обязательств по неразглашению в отношении внутренних коммуникаций о реструктуризации». Она была запрятана в сноску на четырнадцатой странице шрифтом таким мелким, что вы бы её пропустили, если бы моргнули.
Я не придал этому значения. Я подписал.
Две недели спустя LinkedIn заполнил пробелы.
Новое фото профиля Кевина Уитфилда появилось в моей ленте. Рубашка-поло Уэстпортского университета, стоит перед табличкой инженерной школы, зубы такие белые, будто их сгенерировал ИИ. Его заголовок: «VP of Engineering в NovaTech | Строитель | Мыслитель | Разрушитель».
Я смотрел на этот титул целых двадцать секунд. VP of Engineering. Парень, который три месяца назад писал курсовые проекты, занимает ту же должность, что и мой бывший начальник.
На следующий день после обеда вышло его первое общефирменное письмо — отправлено на все ящики, к которым у меня больше не было доступа. Дмитрий — один из старожилов команды — сделал скриншот и прислал мне.
«Я рад объявить, что NovaTech вступает в новую главу. Текущая архитектура платформы, хотя и функциональна, несёт значительный технический долг. Я возглавлю инициативу по модернизации, чтобы вывести наш стек в следующее поколение. Ожидайте более быстрых итераций, более компактных развёртываний и более агрессивной дорожной карты».
Технический долг. Более быстрые итерации. Более компактные развёртывания. Каждое слово звучало так: «Я понятия не имею, что делает эта система».
Подпись Дмитрия под скриншотом: «Он спросил меня сегодня, не является ли CI/CD-пайплайн новым сотрудником».
Первым шагом Кевина была не архитектурная перестройка. Это была замена модели.
«Модели Тома шесть лет. Она хороша. Но „хорошо“ — это больше не стандарт».
Вот что он сказал на своём первом техническом совещании. Дмитрий передал мне это бесцветным голосом — он уже перестал удивляться.
«Модернизация» Кевина означала замену диагностической модели, которую я настраивал шесть лет — 99,97% полноты с 0,03% ложноположительных срабатываний при обнаружении промышленных неисправностей — на новейшую закрытую LLM на рынке. Он утверждал, что «способности к zero-shot рассуждению» LLM расширят покрытие с 340 сценариев до «бесконечности».
340 сценариев. Каждый из них прошёл через три раунда разметки, два раунда перекрёстной проверки и как минимум триста часов наблюдения в продакшне, прежде чем мы признали его готовым. Кевин потратил три дня на чтение API-документации и решил, что этого достаточно.
На демо он открыл дашборд LLM и сказал шести инженерам в комнате: «Эта штука читает логи, понимает контекст и выдаёт диагноз на естественном языке. Больше никакой ручной настройки правил. Никакого конструирования признаков. Никаких узких мест».
Когда он сказал «никаких узких мест», он посмотрел на Дмитрия. Дмитрий был нашим инженером по производительности. Кевин, вероятно, не знал его имени, но знал, что эта должность принадлежала «предыдущей эпохе».
Дмитрий не стал возражать на собрании. Он написал мне после: «Он сказал, что LLM тестировалась на наших логах. Я проверил его тестовый набор. Текстовые шаблоны неисправностей. Ни одного из реальной производственной линии».
Я не ответил. Потому что Кевин тоже знал — он выбрал чистый тестовый набор, потому что чистые тестовые наборы дают чистые результаты.
С первого дня Кевина, к двенадцатому дню замена была завершена. Кевин лично руководил инженерной командой, переключая старый пайплайн вывода на API LLM. Переход прошёл гладко. Каждая конечная точка возвращала 200. Все зелёные лампочки на дашборде горели.
На четырнадцатый день производственная линия Merit Manufacturing сообщила о неисправности.
Ничего серьёзного — дрейф датчика на конвейерной ленте. Старая модель обрабатывала этот точный сценарий более тысячи раз. Диагноз: «Обнаружен дрейф датчика, окно перекалибровки: 72 часа». Приложена оценка уверенности. Сгенерирована заявка на обслуживание. Общее время: 170 миллисекунд.
Новая модель прочитала 170 страниц производственных логов, потратила 4,3 секунды и выдала беглый абзац:
«Шаблон аномалии предполагает потенциальную деградацию механизма выравнивания конвейерной ленты, возможно, из-за накопленного теплового напряжения на подшипниках приводного блока. Рекомендуется немедленная полная проверка узла привода».
Перевод: «Я понятия не имею, что это, но могу написать нечто, звучащее умно».
Обслуживающий персонал остановил линию. Снял приводной блок. Разобрал подшипники. Четыре часа спустя они ничего не нашли. Супервайзер написал в наряде: «Ложная тревога. Неисправностей не обнаружено».
Это был первый случай.
На шестнадцатый день та же LLM пометила нормально работающий компрессор как «неминуемый отказ подшипника». Ещё одна разборка. Ещё четыре часа. Ничего. Супервайзер изменил статус диагностического канала NovaTech на «высокий уровень шума».
На восемнадцатый день она пропустила реальную неисправность.
Показания датчиков явно указывали на ускоряющийся отказ гидравлического уплотнения. Движок правил старой модели выдал бы предупреждение: «Вероятность отказа: 87% в течение 7 дней». LLM прочитала те же данные и написала: «Наблюдаемые флуктуации находятся в пределах нормальной рабочей вариативности. Немедленных действий не требуется».
Через тридцать два часа уплотнение прорвало. Линия простояла девять часов. Каждый час простоя стоил 130 000 долларов.
Дмитрий прислал мне цифры — скриншоты из отчёта об инциденте, с разбивкой по времени и стоимости. Его подпись: «Твой движок правил ловил неисправности шесть лет. Через двадцать дней после замены он взорвался перед клиентом». Я не ответил. Но прочитал каждую строку.
Отчёт об инциденте Merit Manufacturing не называл NovaTech — Диана оказала им эту услугу. Но вице-президент по работе с клиентами переслал электронное письмо во внутренний групповой чат, и Дмитрий сделал скриншот для меня. Пять предложений от Дианы Райану, с копией четырём людям: её финансовому директору, её юридическому директору, вице-президенту NovaTech по работе с клиентами и ящику юридического отдела.
Третье предложение:
«Мы требуем восстановить диагностическую модель, развёрнутую до июня, в течение четырнадцати календарных дней. Если это невозможно, мы воспользуемся нашим правом по разделу 6.2 для расторжения соглашения».
Перевод: «Верните модель Тома. Если не можете, мы уходим».
Через три дня после этого письма мой телефон зажужжал в 23:00. Без кода города в идентификаторе, но я знал, кто это.
«Том».
«Диана».
«Всё, что я сейчас скажу, моя юридическая команда сказала бы не говорить».
Она помолчала. Я слышал щелчки клавиатуры на той стороне — возможно, она закрывала окна, освобождая место для того, что будет дальше.
«Merit Manufacturing расторгает соглашение с NovaTech. Раздел 6.2. Переходный период — четырнадцать дней».
Я ничего не сказал.
«Нам нужен кто-то, кто возглавит переход. Не из NovaTech. Ты знаешь эту систему лучше любого инженера, который всё ещё у них в штате. В твоём соглашении о неконкуренции есть две дыры. Мои юристы проверили —» она сделала паузу, будто убеждаясь, что не перешла черту. «Исключение для членов семьи было опубликовано на анонимном форуме. Та же фирма, что составляла твой контракт — любой, кто прочитает, поймёт, что это значит. И у самого соглашения есть лазейка: расторжения по инициативе клиента его не активируют. Кроме того —» ещё одна пауза. «Ответ Кевина был, по сути, письменным отказом. Нам не нужно ждать полных четырнадцать дней».
Я прислонился к кухонной стойке. Моя жена читала нашей дочери в гостиной, голос мягкий, слово за словом. Я слушал эти слоги, держа телефон, чувствуя, как мир затихает на два удара сердца.
«Том?»
«Пришли мне детали», — сказал я. Мой голос был спокойнее, чем я ожидал.
Прежде чем она повесила трубку, я спросил: «Диана — ты сначала пошла в NovaTech?»
Долгое молчание. Затем:
«Да, Том. Кевин сказал мне, что LLM „объективно превосходит“ и предложил подождать его отчёта об объяснимости. Так что я закончила ждать».
Она ждала, пока Кевин поймёт, что он был неправ. Он так и не понял.
Диана прислала мне отчёт об объяснимости сразу после звонка. Шесть страниц PDF. Каждый раздел пытался доказать, что две ложные тревоги и пропущенная неисправность были «крайними случаями», «входами, выходящими за пределы распределения», «не репрезентативными для истинной производительности модели». В приложении была сравнительная таблица, показывающая 98,7% точности на его чистом тестовом наборе.
Он сказал полную ложь, используя набор данных, который никогда не лгал.
Скрытая оговорка-исключение из NDA была раскопана бывшим коллегой и опубликована на анонимном рабочем форуме. Заголовок темы: «Реструктуризация NovaTech была буквально спроектирована для непотизма». Более четырёхсот ответов.
Один комментарий застрял у меня в голове. Анонимный аккаунт, утверждающий, что он бывший сотрудник NovaTech, написал:
«Райан Уитфилд однажды сказал мне, что соответствие корпоративной культуре — самый важный критерий найма. Оказалось, он имел в виду „носит мою фамилию“».
Я сделал скриншот. Не сохранил. Затем закрыл браузер и открыл архитектурные документы нового проекта Merit Manufacturing.
Система не является твоей только потому, что ты её не строил — в этом была ошибка Кевина. Система является твоей навсегда, потому что ты её построил — такова была судьба Тома.
ИИ, эго и сожаление — бонусная глава. Это художественное произведение. Любые совпадения с реальными событиями или лицами случайны.
📖 Стратагема 2 из серии «36 стратагем» — скоро.
P.S. Английский не мой родной язык. Я использую ИИ для полировки текста и сглаживания шероховатостей. Спасибо за чтение.
☕ Купите мне кофе
Хочешь закрепить знания на практике?
Решай задачи на Algolit — интерактивная платформа для обучения
Начать бесплатно →