Как LLM решают новые задачи: разбор механизма внимания

Как LLM решают головоломки, которых никогда не видели?

Я дал Claude простую головоломку из точек:

. .. . ... . .... . .... . ... .

Модель ответила, что продолжение — .. .. Сначала я подумал: «LLM только предсказывают следующий токен. Они не выполняют алгоритмы. Они не рассуждают. Как же она это поняла?» Этот вопрос завёл меня в кроличью нору. Ответ оказался верным: точки-одиночки — разделители, а кластеры растут 2, 3, 4, затем зеркально спускаются 4, 3, 2. Если прочитать количество точек подряд, получается палиндром: 1 2 1 3 1 4 1 4 1 3 1 2 1. Модель почти наверняка не видела эту головоломку в обучении. Как же она справилась?

«Предсказать следующий токен» — это цель, а не метод

Да, LLM обучаются предсказывать следующий токен. Но это — критерий оценки, а не описание того, что модель научилась делать. Представьте студента, которого оценивают только по экзаменам. Технически он только «отвечает на вопросы». Но чтобы хорошо сдавать тысячи разных вопросов, он не может просто заучивать ответы — ему приходится учить арифметику, логику, чтение. Экзамен — давление, понимание растёт под давлением. Так и с LLM: чтобы хорошо предсказывать следующий токен на триллионах токенов (математика, код, аргументы, истории, головоломки), запоминать «за словом X обычно идёт Y» бесполезно. Пространство возможных входов бесконечно, почти всё новое. Единственный способ снизить ошибку — развить внутренние механизмы, которые обобщают: счёт, сравнение, распознавание симметрии, продолжение паттерна. Эти способности возникли, потому что были полезны для задачи предсказания. Никто не программировал «детектор палиндрома» — это навык, который появился из relentless оптимизации.

Аналогия со сжатием для разработчиков

Представьте, что вам нужно сжать все когда-либо написанные книги в максимально компактное представление. Хранить сырой текст не получится — вы будете вынуждены обнаружить скрытые закономерности: грамматику, повторяющиеся сюжетные структуры, арифметику, правила химии, как устроен код. Не потому что вас учили, а потому что захват этих концепций — самый эффективный способ представить данные. Обучение LLM — то же сжатие. Хорошее предсказание требует компактных внутренних моделей паттернов мира — и модель их строит. Это главное обновление народной модели: предсказание следующего токена — сигнал обучения, а общая компетентность — стратегия, которую модель нашла для его удовлетворения.

На самом деле головоломка не про точки

Модель никогда не «видит» точки. Она видит токены — куски, на которые токенизатор разбивает вход. Точное разбиение неважно: для модели моя головоломка структурно идентична последовательности:

A AA A AAA A AAAA A AAAA A AAA A

или

1 2 1 3 1 4 1 4 1 3 1 ...

Точки — лишь обёртка. Модель работает с абстрактной формой последовательности: разделители, перемежающиеся с возрастающим-убывающим счётом. Это ключ к обобщению: она не ищет шаблон «точек», она оперирует структурой, независимой от символов.

Механизм внимания: то, что народная модель упускает

Картина «каждое слово связано с предыдущим, заморожено из обучения» не учитывает главный механизм — внимание (attention). Это сердце архитектуры transformer, на которой построены все современные LLM. Когда модель обрабатывает ваш вход, каждая позиция может «смотреть» на любую другую и вычислять их связь на лету, для этого конкретного входа. Это не замороженный справочник, а свежее вычисление каждый раз. В головоломке с точками модель не достала сохранённый ответ. Примерно так:

• Повторяющиеся одиночные точки распознаны как разделитель.
• Кластеры сравниваются друг с другом.
• Возрастающий-убывающий счёт (2, 3, 4, 4, 3, …) представлен как структура, которая «хочет» продолжить спуск.

Векторы токенов — не просто «значение символа». Они несут абстрактные признаки, которыми можно манипулировать почти геометрически. «Отразить последовательность» — операция, которая становится возможной, когда данные живут как векторы в правильном пространстве. Счёт и отражение перестают быть магией и становятся арифметикой над представлениями.

Глубина слоёв

Внимание — не одноразовый проход. Представление уточняется через десятки слоёв, каждый добавляет абстракцию. Примерная интуиция (не буквально):

• Ранние слои: «символы повторяются».
• Средние слои: «каждая большая группа отделена одиночной точкой».
• Поздние слои: «всё симметрично, вероятно, завершаем зеркало».

Ни один слой не держит английское предложение. Но внутренний вектор постепенно кодирует свойства высокого уровня, пока «заверши палиндром» не становится очевидным продолжением в изученном пространстве.

Почему это работает на новой головоломке

Модель не запомнила мою последовательность точек. Она выучила общие операции: считать, сравнивать, обнаруживать симметрию, продолжать паттерн. Эти операции комбинируются для обработки новых входов. Исследования (например, команды интерпретируемости Anthropic) нашли конкретные внутренние цепи — например, индукционную голову, которая делает продолжение паттерна. Механизм: «раньше во входе за A следовало B; вот снова A, значит, B вероятно следующее». Это буквальный идентифицируемый компонент внутри сети, который позволяет модели продолжать новый паттерн, а не вспоминать сохранённый. Головоломка перестаёт быть загадкой: это паттерн, у модели есть механизм для поиска и продолжения паттернов — она его нашла и продолжила.

Практический вывод для разработчиков

Если вы строите с использованием этих моделей, практический урок: вы работаете не с «причудливым автодополнением», которое повторяет данные обучения. Вы работаете с системой, которая выучила переносимые операции под давлением предсказания следующего токена и применяет их к входам, которых никогда не видела. Это переосмысление меняет то, как вы составляете промпты, отлаживаете странные выходы и рассуждаете, где модель будет надёжна, а где уверенно провалится. «Она просто предсказывает следующее слово» — утверждение, которое верно, но бесполезно, и приведёт вас к неверным интуициям.

Что делать прямо сейчас: В следующий раз, когда получите неожиданно правильный ответ от LLM на нестандартный вопрос, не удивляйтесь — вспомните, что за этим стоит механизм внимания и обобщение. Используйте это знание, чтобы лучше формулировать задачи: давайте модели структуру, а не просто данные. И помните: даже «тупая головоломка из точек» может раскрыть глубину происходящего.