Langfuse é uma plataforma de código aberto para criar e operar aplicações com IA generativa. Ela ajuda equipes a rastrear o comportamento do modelo, avaliar a qualidade, gerenciar prompts e acompanhar métricas para depurar problemas e melhorar o desempenho ao longo do tempo.
Principais recursos
Rastreamento e monitoramento de LLM para coletar e analisar dados de execução
Versionamento de prompts e gerenciamento colaborativo de prompts
Avaliação de qualidade e desempenho do modelo
Anotação manual com rótulos e comentários personalizados
Criação e gerenciamento de datasets para treinamento e testes
Métricas e estatísticas para análise de desempenho
Sandbox para testes rápidos e experimentação
Como começar
Langfuse está disponível como uma aplicação web de código aberto. A configuração típica inclui:
Criar uma conta e um novo projeto
Instalar um SDK (por exemplo, Python ou JavaScript)
Integrar o SDK ao seu app para rastrear e gerenciar chamadas de LLM
Configurar as opções e começar a usar ferramentas de monitoramento, prompts e avaliação
Langfuse pode ser usado gratuitamente, sem limites, e também pode ser hospedado no próprio ambiente. Ele oferece suporte a inglês e integra com ferramentas comuns de LLM, incluindo LlamaIndex, Langchain e o OpenAI SDK.
