RE-call против Mem0: точность, цена и выбор архитектуры памяти

RE-call против Mem0: что выбрать для памяти ИИ?

Выбор между RE-call и Mem0 — это не просто сравнение двух библиотек, а фундаментальное решение об архитектуре памяти вашего ИИ. В этой статье я разберу, почему Mem0 выигрывает в точности на темпоральных задачах, но RE-call остаётся лучшим выбором для сценариев с нулевой стоимостью и строгими требованиями к приватности. Вы узнаете, как эти системы работают, какие компромиссы они предлагают, и как принять осознанное решение.

Механизм работы: два подхода к памяти

Основное различие между RE-call и Mem0 лежит в способе обработки информации при записи. Mem0 вызывает LLM для дистилляции каждого воспоминания, сохраняя только суть. RE-call не использует LLM на записи, храня сырые диалоги. Это решение определяет все дальнейшие результаты: точность, стоимость, задержку и приватность.

Темпоральные рассуждения: где Mem0 сильнее

На категории BEAM temporal_reasoning RE-call показал 0.408 против 0.567 у Mem0. Причина — в том, как хранятся даты. Mem0 сохраняет одну дистиллированную строку, например, "Дедлайн спринта 1: 15 февраля 2024". RE-call хранит множество сырых упоминаний этой даты в разных контекстах, что приводит к ошибкам при выборе правильного экземпляра. Например, на вопрос "Сколько дней между 25 марта и 1 апреля?" RE-call использовал обновлённый дедлайн 15 апреля и получил 14 дней вместо 7. Mem0 справляется лучше, потому что дистилляция на записи даёт более чистые данные.

Важно отметить: я отключил реранкер, и это может изменить результат. Но даже с реранкером, который даёт значительный прирост hit@5 (0.671 → 0.777), вряд ли полностью исправит ситуацию, так как проблема не в ранжировании, а в выборе правильного экземпляра даты.

Цена точности: стоимость и задержки

Точность Mem0 имеет свою цену. На одном бенчмарке Mem0 совершил 272 вызова LLM, потратил 2.6 млн токенов и $7.29, а запись заняла 288 секунд (в 4.3 раза дольше). RE-call не вызывает LLM на записи, поэтому его стоимость — $0, а запись занимает 67 секунд. Эти затраты масштабируются: для Mem0 каждый новый фрагмент памяти увеличивает расходы, тогда как RE-call остаётся бесплатным.

Задержка при извлечении у RE-call составила 77 мс против 104 мс у Mem0, но я считаю эти данные предварительными из-за особенностей тестирования.

Приватность и офлайн-работа

RE-call обеспечивает полную приватность: данные не покидают вашу инфраструктуру. Он работает офлайн, в изолированной среде, что критично для компаний с жёсткими требованиями к DPA. Mem0 структурно не может этого предложить, так как отправляет содержимое на обработку в LLM. Для соло-разработчиков это вопрос стоимости, для бизнеса — вопрос закупок и комплаенса.

Гибкость: переключатели с измеренными настройками

RE-call предлагает переключаемые компоненты: эмбеддер (локальный или облачный), реранкер (по умолчанию выключен, но даёт прирост hit@5 с 0.671 до 0.777, увеличивая время запроса до ~1050 мс), и энтейлмент-абстенцию. Вся архитектура построена на Postgres и pgvector, без отдельной векторной базы. Это позволяет настраивать систему под конкретные задачи, имея точные данные о влиянии каждой опции.

Риск фабрикации: проблема Mem0

На категории абстенции BEAM Mem0 показал тревожный результат: в 46% случаев он отвечает, когда правильный ответ — "этого нет в данных". Пример: на вопрос о несуществующем отзыве, Mem0 сгенерировал "Пользовательское тестирование показало положительную реакцию: функция смены языка достигла 90% удовлетворённости". Это серьёзный риск для приложений, где ложные ответы недопустимы. RE-call абстинирует правильно в 23.3% случаев с 9.3% ложных воздержаний, но это не идеал — обе системы не решают проблему полностью.

Важно: я не утверждаю, что Mem0 нечестен. Я воспроизвёл их результат с точностью до 0.0005, и бенчмарк не подогнан. Но фабрикация — это реальная проблема, которую нельзя игнорировать.

Недостатки самого бенчмарка BEAM

BEAM имеет два недостатка: неответные вопросы имеют более высокие косинусные сходства, чем ответные, что делает все результаты верхней границей сложности. Кроме того, абстенция составляет лишь 10% бенчмарка, а соотношение 9:1 в пользу ответных вопросов делает политику воздержания невыгодной. Поэтому нельзя делать выводы об абстенции на основе общего балла BEAM.

Также я уточняю: в BEAM используется gpt-5, а не gpt-4o, и 64.1 — это средний балл по рубрике, а не процент прохождения (реальный процент — 70.14%).

Что выбрать: практический вывод

Выбор зависит от ваших приоритетов. Если вам нужна максимальная точность в темпоральных и многошаговых рассуждениях, и вы готовы платить за каждый вызов LLM и отправлять данные наружу, выбирайте Mem0. Если же критичны нулевая маржинальная стоимость, приватность, офлайн-работа и инспектируемость, выбирайте RE-call. Это не вопрос "кто лучше", а вопрос "что подходит под вашу задачу".

Прямо сейчас рекомендую протестировать оба подхода на ваших данных: запустите RE-call с реранкером и сравните с Mem0 на ваших вопросах. Обратите внимание на стоимость и приватность. Сделайте осознанный выбор.