Gemma-Trainer: дообучаем модели на своём железе

Хотите адаптировать языковую модель под свою задачу, но боитесь сложных настроек? Знакомьтесь: gemma-trainer — готовый рецепт для дообучения Gemma на вашем железе. В этой статье вы узнаете, как за пару шагов запустить Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и даже мультимодальное обучение. Никакой воды — только рабочий код.

Что такое gemma-trainer?

gemma-trainer — это набор инструкций и скриптов, который превращает вашего AI-агента в эксперта по дообучению моделей Gemma. Вам не нужно разбираться в тонкостях каждой библиотеки — просто укажите датасет и задачу, а агент сделает всё сам.

Почему стоит использовать gemma-trainer

• Быстро и легко: используем Unsloth для однократного обучения на одном GPU — экономим память и время.
• Три ключевых метода: SFT (обучение новым знаниям), DPO (выравнивание под предпочтения), Reward Modeling (оценка ответов).
• Мультимодальность: готовые инструкции для обучения моделей с изображениями и аудио.
• Запуск где угодно: конвертируйте модель в GGUF и используйте на мобильных устройствах через LiteRT-LM.
• Актуальные практики: скрипты обновляются с последними оптимизациями.

Практический пример: перевод классической корейской литературы

Вспомним, как мы превращали Gemma 4 в эксперта по переводу классической корейской литературы. С gemma-trainer вам не нужно собирать пайплайн вручную. Просто скажите агенту:

"Дообучи Gemma 4 E2B на датасете bebechien/HongGildongJeon."

Агент выполнит все шаги:

1. Проверит данные: запустит скрипт валидации, чтобы убедиться, что датасет соответствует шаблону.
2. Настроит параметры: подберёт оптимальные настройки LoRA, чтобы не выйти за лимиты VRAM.
3. Запустит обучение: использует оптимизированные настройки по умолчанию.
4. Оценит результат: покажет метрики и предложит улучшения.

Вот пример запуска дообучения Gemma 4 12B для аудиозадач:

# Агент инициирует процесс
agent: "Начинаю дообучение Gemma 4 12B на аудиодатасете..."
# После настройки параметров запускается обучение
agent: "Запуск тренировки с LoRA rank=16, target_modules=['q_proj','v_proj']"

Даже если вы ошиблись, агент подскажет. Например, я случайно попросил обучить Gemma 4 31B (текст+зрение) для аудио — агент предложил использовать Gemma 4 E2B или 12B.

После завершения обучения агент покажет результаты:

agent: "Обучение завершено. Потери: 0.23. Точность на валидации: 94.5%."

Вы можете попросить написать собственный скрипт оценки. Например, я запросил проверку схожести транскрипций:

agent: "Создаю скрипт для оценки схожести транскрипций с помощью WER..."

Итоговый отчёт покажет, где можно улучшить модель в следующем запуске.

Как начать прямо сейчас

gemma-trainer — это живой документ. Просто положите его в папку скиллов вашего AI-агента, и он сразу сможет вести вас по процессу.

Переходите в репозиторий, добавляйте скилл в свой инструментарий и создавайте что-то удивительное!

Спасибо за чтение и удачного обучения!