Разбираем вопросы AI-инженера: RAG, оценка качества, безопасность. Научитесь отвечать как senior и пройдите собеседование с первого раза.
Вы построили чат-бота с языковой моделью? Теперь это не выделяет вас среди других кандидатов. Интервьюеры перешли к вопросам, которые показывают, умеете ли вы делать RAG релевантным, замечать ухудшения и работать с чужим текстом. В этой статье разберём, что спрашивают и как отвечать как опытный инженер.
Все рисуют одинаковую схему: эмбеддинги документов, эмбеддинг вопроса, поиск ближайших, добавление в контекст. Интервьюеры это видели. Вопросы — о том, что ломает систему.
Слишком маленький чанк теряет контекст, слишком большой — разбавляет нужный ответ. Универсального размера нет. Лучше объяснить компромисс, чем назвать цифру.
Семантический поиск плохо находит идентификаторы, коды ошибок и названия продуктов. Поэтому гибридный поиск (эмбеддинги + ключевые слова) часто работает лучше.
Похожесть — не то же самое, что релевантность. Система всегда что-то вернёт, даже если полезного ничего нет.
Индекс — это копия. Что происходит при изменении источника? Это операционный вопрос, который забывают.
Джуниор скажет: «Улучшу инструкции, возьму модель побольше, понижу температуру». Сеньор ответит иначе.
# Пример: разбор ошибок
# 1. Собрать выборку плохих ответов
# 2. Посмотреть, что реально нашлось в retrieval
# 3. Если нужный текст не найден — проблема в чанкинге или гибридном поиске
# 4. Если найден, но ответ противоречит — проблема в генерации и grounding
# 5. Создать набор пар вопрос-ожидаемый ответ, чтобы оценивать измененияРазделение ошибок retrieval и генерации — самый полезный диагностический приём. Большинство кандидатов сразу переходят к модели.
Это отличает тех, кто запускал систему, от тех, кто делал прототип. Недетерминированный вывод ломает обычные assert-тесты. Сильный ответ: фиксированный набор, собранный из реальных ошибок, прогоняется на каждом изменении, результаты сравниваются. Добавьте честные оговорки: автоматическая оценка сама ненадёжна, нужна ручная проверка; набор устаревает, если не добавлять новые ошибки из продакшена.
Модель выдаёт текст, а коду нужна форма. Ответ: ограничить вывод (если платформа позволяет), валидировать по схеме при получении, иметь план при неудаче. Бесконечные ретраи — это инцидент с лимитами. Ограниченные ретраи и fallback — признак продакшена.
Инструкции и данные приходят по одному каналу. Текст из документа или сообщения может выглядеть как инструкция. Полного решения словами нет. Снижают риск: отделять непроверенный контент от инструкций, не давать лишних возможностей, требовать подтверждение для важных действий, валидировать вызовы инструментов.
Стоимость растёт с токенами, задержка — с длиной вывода. Стриминг улучшает восприятие скорости. Сеньор думает о маршрутизации: не каждый запрос требует самой мощной модели, дешёвый путь для простых — самый большой выигрыш.
Различайте знания и поведение. Если системе нужны факты — это retrieval. Файнтюнинг для знаний — дорого и быстро устаревает. Если нужен формат или стиль — можно тюнить, но после более дешёвых вариантов.
Меньше, чем кажется. Интервьюеры ценят рассуждения о качестве retrieval, оценке и обработке ошибок.
Для AI-инженера обычно нет. Эмбеддинги и почему похожесть ≠ релевантность — да. Градиентный спуск — редко.
Расскажите, что пошло не так и что вы измеряли. Маленький проект с реальным набором для оценки и задокументированной ошибкой — лучше большого без этого.
AI-интервью — это проверка суждений под давлением. Сфокусированная практика с вопросами выше подготовит вас лучше, чем штудирование теории. Начните с разбора своих прошлых проектов: что ломалось, как вы это нашли и исправили.
Хочешь закрепить знания на практике?
Решай задачи на Algolit — интерактивная платформа для обучения
Начать бесплатно →