Lunary é uma ferramenta de observabilidade e avaliação para aplicações de IA construídas sobre grandes modelos de linguagem. Ajuda equipes a entender como a IA se comporta em produção, coletando métricas importantes, logs e comportamento do usuário.
Observabilidade de LLM e chatbot
Lunary acompanha requisições e respostas do modelo, erros e latência para que desenvolvedores vejam onde a qualidade muda ao longo do tempo e onde os usuários encontram dificuldades.
Registro de requisições e respostas para chamadas de LLM
Monitoramento de erros e latência
Dashboards focados em chatbots para identificar lacunas entre a intenção do usuário e a saída do modelo
Gestão de prompts e experimentos
Armazene e versione prompts, compare desempenho e execute testes A/B para iterar mais rápido no texto dos prompts e nas configurações do modelo.
Biblioteca de prompts com controle de versão
Comparação de desempenho de prompts
Testes A/B para prompts e configurações
Avaliação de qualidade e analytics de produto
Combine avaliações automáticas e manuais, rotule conversas e analise a qualidade por cenário. As métricas de produto ajudam a conectar o comportamento do LLM aos resultados de negócio.
Fluxos de revisão automática e humana
Rotulagem de conversas e análise baseada em cenários
Métricas vinculadas a retenção, conversão e sessões bem-sucedidas
