Lunary

Lunary — инструмент для наблюдаемости и оценки AI-приложений на базе больших языковых моделей. Он собирает ключевые метрики, логи и поведение пользователей, чтобы команда видела, как реально работает её ИИ в продакшене.

Наблюдаемость за LLM и чат-ботами

Lunary фиксирует запросы к модели, ответы, ошибки и задержки. Разработчик отслеживает, как меняется качество ответов, где пользователи застревают и какие сценарии дают сбои. Отдельные дашборды фокусируются на чат-ботах: видно разрыв между ожиданиями пользователя и фактическими ответами модели.

Управление промтами и эксперименты

В Lunary удобно хранить и версионировать промты, сравнивать их эффективность и запускать A/B‑тесты. Команда видит, какие формулировки снижают ошибки, улучшают удовлетворённость и экономят токены. Это ускоряет цикл итераций над промтами и конфигурациями моделей.

Оценка качества и продуктовая аналитика

Система поддерживает автоматические и ручные оценки ответов, разметку диалогов и анализ качества по сценариям. Продуктовые метрики помогают связать поведение LLM с бизнес‑показателями: удержанием, конверсией, количеством успешных сессий. Lunary подходит как для внутренних AI-инструментов, так и для клиентских приложений.