Langfuse

Langfuse é uma plataforma open-source de engenharia de LLM que ajuda equipes a colaborar na depuração, análise e iteração de suas aplicações com LLM.

​

O que é Langfuse?

Langfuse é uma plataforma open-source de engenharia de LLM que ajuda equipes a depurar, analisar e iterar colaborativamente em suas aplicações de LLM. Ela faz parte do ecossistema ClickHouse e usa o ClickHouse como base para oferecer um backend de observabilidade escalável e de alto desempenho.

Ao aproveitar o armazenamento colunar do ClickHouse e seus recursos analíticos rápidos, o Langfuse pode lidar com bilhões de traces e eventos com baixa latência, o que o torna adequado para cargas de trabalho de produção com alto throughput.

​

Por que Langfuse?

• Open source: Totalmente open source, com API pública para integrações personalizadas
• Otimizado para produção: Projetado para ter sobrecarga mínima de desempenho
• SDKs de ponta: SDKs nativos para Python e JavaScript
• Suporte a frameworks: Integrado a frameworks populares como OpenAI SDK, LangChain e LlamaIndex
• Multimodal: Suporte a rastreamento de texto, imagens e outras modalidades
• Plataforma completa: Conjunto de ferramentas para todo o ciclo de desenvolvimento de aplicações com LLM

​

Opções de implantação

O Langfuse oferece opções flexíveis de implantação para atender a diferentes necessidades de segurança e infraestrutura.

Langfuse Cloud é um serviço totalmente gerenciado, com um cluster ClickHouse gerenciado para desempenho ideal. Possui certificações SOC 2 Type II e ISO 27001, está em conformidade com o GDPR e está disponível nas regiões dos EUA (AWS us-west-2) e da UE (AWS eu-west-1).

Self-hosted Langfuse é totalmente open source (licença MIT) e gratuito para implantar na sua própria infraestrutura usando Docker ou Kubernetes. Você executa sua própria instância do ClickHouse (ou usa o ClickHouse Cloud) para armazenar dados de observabilidade, garantindo controle total sobre seus dados.

​

Arquitetura

O Langfuse depende apenas de componentes open source e pode ser implantado localmente, em infraestrutura em nuvem ou on-premise:

• ClickHouse: Armazena grandes volumes de dados de observabilidade (traces, spans, generations, scores). Permite agregação e análises rápidas para dashboards.
• Postgres: Armazena dados transacionais, como contas de usuário, configurações de projeto e definições de prompt.
• Redis: Gerencia o enfileiramento de eventos e o cache.
• S3/Blob Storage: Armazena payloads grandes e dados brutos de eventos.

​

Funcionalidades

​

Observabilidade

A observabilidade é essencial para entender e depurar aplicações com LLM. Diferentemente do software tradicional, aplicações com LLM envolvem interações complexas e não determinísticas que podem ser difíceis de monitorar e depurar. O Langfuse oferece recursos abrangentes de rastreamento que ajudam você a entender exatamente o que está acontecendo na sua aplicação.

📹 Quer saber mais? Assista a uma demonstração completa, de ponta a ponta do Langfuse observabilidade e veja como integrá-lo à sua aplicação.

Detalhes do rastreamento

Os traces permitem acompanhar cada chamada de LLM e outras lógicas relevantes no seu aplicativo.

Sessões

As sessões permitem acompanhar conversas com várias etapas ou workflows agênticos.

Linha do tempo

Depure problemas de latência inspecionando a visualização de linha do tempo.

Usuários

Adicione seu próprio userId para monitorar custos e uso de cada usuário. Se quiser, crie um link direto para essa visualização nos seus sistemas.

Grafos de agentes

Os agentes de LLM podem ser visualizados como um grafo para ilustrar o fluxo desses workflows agênticos complexos.

Dashboard

Veja métricas de qualidade, custo e latência no dashboard para monitorar sua aplicação com LLM.

​

Gerenciamento de prompts

Gerenciamento de prompts é essencial para desenvolver aplicações de LLM eficazes. O Langfuse fornece ferramentas para ajudar você a gerenciar, versionar e otimizar seus prompts ao longo de todo o ciclo de desenvolvimento.

📹 Quer saber mais? Assista ao guia completo do Gerenciamento de prompts do Langfuse e veja como integrá-lo à sua aplicação.

Criar

Crie um novo prompt via UI, SDKs ou API.

Controle de versões

Versione e edite prompts de forma colaborativa via UI, API ou SDKs.

Implantar

Implante prompts em produção ou em qualquer ambiente via labels, sem nenhuma alteração no código.

Métricas

Compare latência, custo e métricas de avaliação entre diferentes versões dos seus prompts.

Testar no Playground

Teste seus prompts instantaneamente no Playground.

Vincular a traces

Vincule prompts a traces para entender como eles se comportam no contexto da sua aplicação de LLM.

Acompanhar alterações

Acompanhe as alterações nos seus prompts para entender como eles evoluem ao longo do tempo.

​

Avaliação e conjuntos de dados

avaliação é crucial para garantir a qualidade e a confiabilidade das suas aplicações de LLM. O Langfuse oferece ferramentas de avaliação flexíveis que se adaptam às suas necessidades específicas, seja para testar em desenvolvimento ou monitorar o desempenho em produção.

📹 Quer saber mais? Assista ao guia completo do Langfuse avaliação e veja como usá-lo para melhorar sua aplicação de LLM.

Análises

Visualize os resultados das avaliações no dashboard do Langfuse.

Feedback do usuário

Colete feedback dos seus usuários. Ele pode ser capturado no frontend com nosso Browser SDK e no servidor por meio dos SDKs ou da API. O vídeo inclui um aplicativo de exemplo.

LLM-as-a-Judge

Execute avaliações LLM-as-a-Judge totalmente gerenciadas em traces de produção ou desenvolvimento. Elas podem ser aplicadas a qualquer etapa da sua aplicação para avaliações em cada passo.

Experimentos

Avalie prompts e modelos em conjuntos de dados diretamente na interface do usuário. Nenhum código personalizado é necessário.

Fila de anotação

Estruture seu fluxo de avaliação com anotações humanas por meio de Filas de Anotação.

Avaliações personalizadas

Adicione resultados personalizados de avaliação; há suporte para valores numéricos, booleanos e categóricos.

POST /api/public/scores

Adicione scores via SDKs de Python ou JS.

Exemplo (Python)

langfuse.score(
  trace_id="123",
  name="my_custom_evaluator",
  value=0.5,
)

​

Guias de início rápido

Comece a usar o Langfuse em minutos. Escolha a opção que melhor atende às suas necessidades atuais:

• Integre o rastreamento de aplicações/agentes com LLM
• Integre o gerenciamento de prompts
• Configure avaliações

​

Saiba mais

• Documentação do Langfuse
• Repositório do Langfuse no GitHub
• Assista ao vídeo de demonstração