Ajah SDK: Python и Node.js для LLM-наблюдаемости

Зачем нужен Ajah SDK?

Если вы используете LLM в продакшене, то знаете: отслеживать качество ответов, галлюцинации, стоимость и безопасность — головная боль. Ajah — это open-source шлюз-прокси, который делает это автоматически. Теперь с SDK для Python и Node.js интеграция занимает одну строку импорта. Установите пакет и забудьте про ручные заголовки.

Проблема, которую решает Ajah

Ajah — это прокси-шлюз между вашим приложением и любым LLM-провайдером. Он оценивает каждый ответ на риск галлюцинаций, проверяет RAG-выводы, обнаруживает дрейф повествования в сессиях, атрибутирует затраты по фичам и маскирует PII перед хранением. Раньше для работы с Ajah требовалось клонировать репозиторий, настраивать Docker и вручную выставлять заголовки в каждом запросе. Теперь — один импорт.

Python SDK

# Установка
pip install ajah-sdk

from ajah import AjahClient

client = AjahClient(
    gateway_url='http://localhost:8080',
    api_key='your-groq-key',
    feature_name='my-app',
    user_id='user-123',
)

response = client.chat(
    model='llama-3.3-70b-versatile',
    messages=[{'role': 'user', 'content': 'Привет'}],
)

Каждый вызов через SDK автоматически внедряет заголовки наблюдаемости Ajah: X-Feature-Name, X-User-ID, X-Session-ID, X-Agent-Step. Эти заголовки управляют всем пайплайном Ajah — атрибуцией затрат, оценкой качества, детекцией PII, трассировкой сессий.

Сессионная трассировка для многошаговых агентов

# Отслеживание многошаговых сессий
with client.session() as session:
    plan = session.chat(
        model='llama-3.3-70b-versatile',
        messages=[{'role': 'user', 'content': 'Спланируй исследование'}],
        step_name='step-1-planner',
    )
    research = session.chat(
        model='llama-3.3-70b-versatile',
        messages=[{'role': 'user', 'content': 'Выполни план'}],
        step_name='step-2-researcher',
    )
    print(f'Просмотр сессии: {session.dashboard_url}')

AjahSession автоматически увеличивает номера шагов, сохраняет ID сессии между вызовами и выдаёт прямую ссылку на визуальное дерево шагов в дашборде Ajah.

Node.js SDK (TypeScript)

# Установка
npm install ajah-sdk

import { AjahClient } from 'ajah-sdk'

const client = new AjahClient({
  gatewayUrl: 'http://localhost:8080',
  apiKey: process.env.GROQ_API_KEY!,
  featureName: 'my-app',
  userId: 'user-123',
})

const response = await client.chat({
  model: 'llama-3.3-70b-versatile',
  messages: [{ role: 'user', content: 'Hello' }],
})

В комплекте идут полные типы TypeScript. AjahSession работает аналогично:

const session = client.session()
const r1 = await session.chat({
  model: 'llama-3.3-70b-versatile',
  messages: [{ role: 'user', content: 'План' }],
  stepName: 'step-1-planner',
})
console.log(session.dashboardUrl)

Что работает за SDK

Каждый вызов через SDK проходит через шлюз Ajah, который выполняет:

• Оценку галлюцинаций — sentence transformers оценивают каждый ответ на предмет фактической обоснованности. Асинхронно, с нулевой добавленной задержкой.
• Детекцию плотности утверждений — помечает ответы, которые делают много конкретных утверждений на малоконтекстные запросы.
• Детекцию лингвистических увёрток — помечает излишне самоуверенные ответы на сложные медицинские, юридические или финансовые вопросы.
• Детекцию дрейфа повествования — сравнивает утверждения между шагами сессии. Помечает, когда модель меняет позицию.
• Атрибуцию затрат — стоимость в USD за вызов, отслеживается по фиче и модели.
• Маскировку PII — email, телефоны, SSN, кредитные карты маскируются перед сохранением.
• RAG-верификацию — если переданы исходные документы, ответы проверяются на соответствие. Противоречия помечаются.
• Метрики Prometheus — все сигналы доступны по пути /metrics для интеграции с Grafana.

Сам хостинг

SDK указывает на ваш собственный запущенный экземпляр Ajah. Никакие данные не проходят через чужие серверы.

git clone https://github.com/VigneshReddy-afk/ajah
cd ajah
docker-compose up -d

Затем используйте SDK, указывая на localhost:8080. Лицензия MIT, бесплатно навсегда.

Практический вывод

Прямо сейчас установите SDK: pip install ajah-sdk (Python) или npm install ajah-sdk (Node.js). Создайте клиент, выполните первый запрос и откройте дашборд Ajah. Вы увидите оценку галлюцинаций, затраты и трейсинг — всё из коробки. Начните с малого, но сразу получите наблюдаемость enterprise-уровня.