Lunary — инструмент для наблюдаемости и оценки AI-приложений на базе больших языковых моделей. Он собирает ключевые метрики, логи и поведение пользователей, чтобы команда видела, как реально работает её ИИ в продакшене.
Наблюдаемость за LLM и чат-ботами
Lunary фиксирует запросы к модели, ответы, ошибки и задержки. Разработчик отслеживает, как меняется качество ответов, где пользователи застревают и какие сценарии дают сбои. Отдельные дашборды фокусируются на чат-ботах: видно разрыв между ожиданиями пользователя и фактическими ответами модели.
Управление промтами и эксперименты
В Lunary удобно хранить и версионировать промты, сравнивать их эффективность и запускать A/B‑тесты. Команда видит, какие формулировки снижают ошибки, улучшают удовлетворённость и экономят токены. Это ускоряет цикл итераций над промтами и конфигурациями моделей.
Оценка качества и продуктовая аналитика
Система поддерживает автоматические и ручные оценки ответов, разметку диалогов и анализ качества по сценариям. Продуктовые метрики помогают связать поведение LLM с бизнес‑показателями: удержанием, конверсией, количеством успешных сессий. Lunary подходит как для внутренних AI-инструментов, так и для клиентских приложений.
