TALON: быстрая загрузка графов знаний за миллисекунды

Зачем нужен быстрый граф знаний?

Графы знаний становятся главной альтернативой векторным базам данных для RAG. Они хранят структурированные тройки [субъект, предикат, объект] и устраняют семантическую неоднозначность, из-за которой векторный поиск галлюцинирует. Но есть узкое место — скорость загрузки данных. Извлечение фактов из текста раньше требовало генеративных LLM, которые выдавали JSON по токенам. Это занимало 10–15 минут на документ и часто ломалось из-за ошибок парсинга.

Я создал TALON (Tensor-Accelerated Local Ontology Network) внутри Hillock v0.2.2 — негенеративный нейро-символический движок памяти с открытым исходным кодом на Python. Он обрабатывает документы за доли секунды даже на GTX 1070.

Что такое Hillock?

Hillock — это локальный движок памяти с приоритетом конфиденциальности (лицензия AGPL-3.0). Он заменяет векторные базы тремя компонентами:

• SQLite граф знаний: хранит детерминированные тройки [субъект, предикат, объект].
• Движок хеббовской пластичности: отслеживает градиентно-свободные ассоциации между сущностями во времени.
• Гиперразмерные вычисления (HDC/VSA): используют векторную символьную алгебру для защиты от галлюцинаций.

Репозиторий: github.com/roandejager/Hillock

Архитектура TALON

TALON использует чистую тензорную математику и биэнкодерную маршрутизацию вместо генерации токенов. Это позволяет извлекать связи из документов за субсекунды на потребительском GPU (NVIDIA GTX 1070, менее 1 ГБ VRAM). Работает в три изолированных этапа CUDA:

Этап 1: Разрешение анафор (Fastcoref)

В параграфах полно местоимений: «она», «он», «их». Если разрезать текст до разрешения анафор, модели потеряют главную сущность. TALON использует Fastcoref для замены местоимений во всём документе за ~300 мс до разбиения на чанки.

Этап 2: Динамическая маршрутизация предикатов (MiniLM-L6-v2)

Классификаторы отношений с нулевым шотом перегружаются, если передать более 100 кандидатов. Этап 2 использует биэнкодер MiniLM (80 МБ) для сканирования предложений и получения топ-10 релевантных предикатов Wikidata менее чем за 2 мс.

Этап 3: Матричная классификация с нулевым шотом (GLiREL)

На этом этапе предложение, спановые сущности spaCy и топ-10 динамических предикатов передаются в GLiREL (DeBERTa-v3). GLiREL выполняет одношаговую классификацию скрытых спанов для пар сущностей, извлекая структурированные тройки без генерации единого текстового токена.

Результаты бенчмарков (v0.2.2)

В автоматическом тестировании (evaluate_hillock_PROTO_ish.py) TALON показал огромный рост точности при субсекундной обработке:

• Точность поиска: 10% → 50%
• Полнота извлечения: 13.6% → 50%
• Точность ворот: 16.7% → 50%
• Скорость: ~15 минут → субсекундная тензорная математика

Пример кода: извлечение троек с TALON

Вот как использовать TALON в своём проекте. Установите зависимости и запустите извлечение:

from hillock import TALONEngine

# Инициализация движка
engine = TALONEngine()

# Текст для анализа
text = "Мария работает в Google. Она разрабатывает алгоритмы машинного обучения."

# Извлечение троек [субъект, предикат, объект]
triples = engine.extract_triples(text)
print(triples)
# Вывод: [['Мария', 'работает_в', 'Google'], ['Мария', 'разрабатывает', 'алгоритмы']]

Как запустить локально

Hillock полностью открыт под AGPL-3.0. Запустите локально с PyTorch CUDA:

git clone https://github.com/roandejager/Hillock.git
cd Hillock
pip install -r requirements.txt
python main.py

Код и дорожная карта доступны на GitHub: github.com/roandejager/Hillock

Практический вывод

Попробуйте TALON прямо сейчас: склонируйте репозиторий, запустите пример выше и сравните скорость с вашим текущим решением. Если вы используете RAG, замените векторный поиск графом знаний — это устранит галлюцинации и ускорит обработку. Улучшайте код, оставляйте issue и присоединяйтесь к развитию открытого инструмента.