Разбираем, почему нейросети теряют качество текста: speculative decoding не виноват, настоящая причина — mode collapse из-за RLHF. Узнайте, как это исправить.
Вы замечали, что тексты от нейросетей стали более гладкими, но менее живыми? Многие винят ускорение инференса — например, speculative decoding. Но реальная причина глубже и связана с тем, как модели обучают. Разберёмся, что на самом деле портит качество и как с этим работать.
Speculative decoding — техника ускорения генерации: маленькая модель набрасывает несколько слов, большая проверяет их параллельно. Утверждение, что это ухудшает качество, — миф. Математически распределение выходных токенов идентично тому, что выдала бы большая модель одна. Потери нет. Единственный реальный эффект: при творческом письме (высокая температура) маленькая модель чаще ошибается, поэтому ускорение меньше — ~50-65% принятых гипотез против 75-85% для кода. Но это про скорость, не про качество.
Quantization — снижение точности весов модели для экономии памяти — может ухудшить качество. Но это отдельный механизм, который часто путают со speculative decoding. Не путайте их.
Настоящая причина — RLHF (reinforcement learning from human feedback). Модель штрафуют за ответы, которые не нравятся оценщикам, и поощряют за «безопасные». В результате модель схлопывается в один усреднённый стиль — это называется mode collapse. Исследование Kirk et al. показало, что после RLHF разнообразие выходов значимо падает. Именно поэтому трюк «напиши 10 черновиков и выбери лучший» не работает: все черновики уже усреднены, и голосование только усредняет среднее.
Проблема распадается на две. Нон-фикшн (технические статьи, эссе) страдает от конфликта оптимизаций: то, что делает модель приятной в чате (тёплый, уклончивый тон), мешает точности технического письма. Это инженерно решаемо — например, обновление GPT-4o в ноябре 2024 частично это исправило. Фикшн — другое: для оценки эмоционального воздействия на 300 страниц нет автоматических метрик, нет датасета и бизнес-кейса. Это пока не решено.
Для нон-фикшна рабочий фикс — редактирование. Я собрал чеклист из 36 паттернов, откалиброванный под свой корпус, чтобы вылавливать RLHF-сглаживание: фразы, которые затягивают предложение, размытые обобщения. Он не генерирует аргументы — он убирает лишнее. Попробуйте: после генерации черновика пройдитесь по тексту и замените «многие считают» на конкретное имя, оборвите «-ing» конструкции точкой.
Не верьте мифам про speculative decoding. Реальная причина плохого ИИ-письма — mode collapse из-за RLHF. Для технических текстов решение — осознанное редактирование: уберите сглаженные формулировки, верните конкретику. Прямо сейчас возьмите свой последний ИИ-сгенерированный абзац и найдите в нём три размытых обобщения — замените их фактами.
Хочешь закрепить знания на практике?
Решай задачи на Algolit — интерактивная платформа для обучения
Начать бесплатно →