После старта: почему ИИ-код нельзя доверять без проверки

Почему вы застреваете после первого урока по ИИ-кодингу

Вы прошли туториал, собрали приложение, но когда начинаете работать над реальным проектом — всё ломается. ИИ выдаёт правдоподобный код, который не работает, и вы тратите часы на отладку. Знакомая ситуация? В этой статье разберём, почему так происходит и как перестать тонуть в ошибках.

Что обещают видеоуроки

Я собрал 22 000 комментариев к 140 корейским видео про ИИ-инструменты для программирования. Названия и теги этих видео говорят одно: «Как установить», «Как начать», «Как собрать приложение», «Какой инструмент лучше». Всё про старт. Следуй за мной — и получишь результат на экране. Видео заканчивается, и зритель остаётся один на один с реальностью.

Что на самом деле волнует людей

А вот комментарии, которые собирали больше всего лайков, рассказывают другую историю:

• «Проверка ошибок ИИ занимает кучу времени. Я так устал проверять каждый ответ на бред, что теперь делаю всё сам» (👍598).
• «Кодить с ИИ тревожно. Если баг уйдёт в прод, отвечать мне. Проверять и дебажить всё вручную — это дополнительная работа» (👍265).
• «Я плачу каждый месяц, а он врёт о рабочих вещах как ни в чём не бывало» (👍72).
• «Токены сгорают слишком быстро… пополнил на 50 долларов — и за полдня всё ушло» (👍30).

Все жалобы сводятся к трём пунктам: дорого, нельзя доверять, невозможно исправить. Видео учат началу, а люди умирают сразу после старта.

Самый страшный комментарий

«Попросил порекомендовать шампунь, и он посоветовал несуществующий. Вставил его между реальными продуктами — с весом, пользой и даже ценой» (👍49). Этот комментарий — суть проблемы. Когда ИИ ошибается, он не выглядит ошибающимся. Фейк сидит среди настоящих, облачённый в правдоподобные числа.

Именно поэтому «просто пиши лучшие промпты» — это лишь половина ответа. Лучшие промпты снижают вероятность ошибки, но не дают способа понять, когда она произошла. Снизьте уровень ошибок с 10% до 3% — и вы всё равно не знаете, где прячутся эти 3%. Если эти 3% взорвутся в платёжной логике, деньги уйдут из компании.

Где живут настоящие вопросы

Я заметил, что характер комментариев меняется в зависимости от размера канала. На каналах с миллионами подписчиков реальные вопросы составляют лишь 12% — остальное реакции и тревога. На каналах с аудиторией 10–300 тысяч — 26% реальных потребностей: «Я повторил и застрял прямо вот здесь». Это разница между зрителями и теми, кто реально делает. Под большими видео спрашивают «что с нами будет в эпоху ИИ», а под средними — «как исправить эту ошибку». Настоящие вопросы живут на средних каналах.

Анализ веток комментариев, а не только первых уровней, выявил ещё 470 потребностей, которые не видны на поверхности.

Что я решил делать

Контента про старт уже полно. Я решил работать с отрезком сразу после старта — с тем местом, где «нельзя доверять» и «нельзя исправить». Предыдущие статьи этой серии — первый результат: экзамен для моей LLM, ловушки для неё, оценка по серьёзности ошибок вместо «сдал/не сдал», и почему даже успешная сдача не гарантирует релиз. Все они о том, как превратить «я не могу доверять» в «я проверил».

Люди умирают не на старте, а сразу после него. Но почти все продают именно старт.

Практический вывод

Начните проверять каждый ответ ИИ как потенциально опасный. Для кода: запускайте тесты, прогоняйте через линтер, пишите юнит-тесты на критичные функции. Для текста: сверяйте факты с первоисточниками. Не принимайте ответ на веру только потому, что он выглядит уверенно. Сделайте это привычкой уже сегодня, и вы сэкономите себе часы отладки и нервов.

# Пример: проверяем, что ИИ не выдумал функцию
def check_ai_response(func_name, code):
    # Проверяем, что функция существует и вызывается
    if func_name not in code:
        raise ValueError(f"Функция {func_name} не найдена")
    # Дополнительно можно прогнать тесты
    print("Проверка пройдена")