Langfuse

Langfuse est une plateforme open source d’ingénierie des LLM qui aide les équipes à déboguer, analyser et améliorer leurs applications LLM de manière collaborative.

​

Qu’est-ce que Langfuse ?

Langfuse est une plateforme open-source d’ingénierie LLM qui aide les équipes à déboguer, analyser et faire évoluer collaborativement leurs applications LLM. Elle fait partie de l’écosystème ClickHouse et s’appuie au cœur sur ClickHouse pour fournir un backend d’observabilité évolutif et performant.

En s’appuyant sur le stockage en colonnes de ClickHouse et sur ses puissantes capacités analytiques, Langfuse peut gérer des milliards de traces et d’événements avec une faible latence, ce qui en fait une solution adaptée aux workloads de production à haut débit.

​

Pourquoi Langfuse ?

• Open source : Entièrement open source, avec une API publique pour des intégrations personnalisées
• Optimisé pour la production : Conçu pour un impact minimal sur les performances
• SDKs de premier ordre : SDKs natifs pour Python et JavaScript
• Prise en charge des frameworks : Intégré à des frameworks populaires comme OpenAI SDK, LangChain et LlamaIndex
• Multimodal : Prise en charge du tracing de texte, d’images et d’autres modalités
• Plateforme complète : Suite d’outils couvrant l’ensemble du cycle de développement des applications LLM

​

Options de déploiement

Langfuse propose des options de déploiement flexibles pour répondre à différents besoins en matière de sécurité et d’infrastructure.

Langfuse Cloud est un service entièrement géré, reposant sur un cluster ClickHouse managé pour des performances optimales. Il est certifié SOC 2 Type II et ISO 27001, conforme au RGPD, et disponible dans les régions US (AWS us-west-2) et EU (AWS eu-west-1).

Version auto-hébergée de Langfuse est entièrement open-source (licence MIT) et peut être déployée gratuitement sur votre propre infrastructure à l’aide de Docker ou de Kubernetes. Vous exécutez votre propre instance ClickHouse (ou utilisez ClickHouse Cloud) pour stocker les données d’observabilité, ce qui vous garantit un contrôle total sur vos données.

​

Architecture

Langfuse repose uniquement sur des composants open source et peut être déployé localement, dans le cloud ou sur site :

• ClickHouse : stocke de grands volumes de données d’observabilité (traces, spans, générations, scores). Il permet des agrégations rapides et des analyses pour les dashboards.
• Postgres : stocke des données transactionnelles, comme les comptes utilisateurs, les configurations de projet et les définitions de prompts.
• Redis : gère la mise en file d’attente des événements et la mise en cache.
• S3/stockage de blobs : stocke des payloads volumineux et les données brutes des événements.

​

Fonctionnalités

​

Observabilité

L’observabilité est essentielle pour comprendre et déboguer les applications LLM. Contrairement aux logiciels traditionnels, les applications LLM impliquent des interactions complexes et non déterministes, qui peuvent être difficiles à surveiller et à déboguer. Langfuse fournit des fonctionnalités de tracing complètes qui vous aident à comprendre exactement ce qui se passe dans votre application.

📹 Vous voulez en savoir plus ? Regardez la démonstration complète de Langfuse observabilité et découvrez comment l’intégrer à votre application.

Détails de la trace

Les traces vous permettent de suivre chaque appel LLM ainsi que toute autre logique pertinente dans votre application.

Sessions

Les sessions vous permettent de suivre des conversations en plusieurs étapes ou des workflows agentiques.

Chronologie

Déboguez les problèmes de latence en inspectant la vue de la chronologie.

Users

Ajoutez votre propre userId pour surveiller les coûts et l’utilisation de chaque utilisateur. Vous pouvez également créer un lien direct vers cette vue dans vos systèmes.

Graphes d’agents

Les agents LLM peuvent être visualisés sous forme de graphe pour illustrer le flux de workflows agentiques complexes.

Dashboard

Consultez les métriques de qualité, de coût et de latence dans le dashboard pour surveiller votre application LLM.

​

Prompt Management

Prompt Management est essentiel à la création d’applications LLM efficaces. Langfuse fournit des outils pour vous aider à gérer, versionner et optimiser vos prompts tout au long du cycle de développement.

📹 Vous voulez en savoir plus ? Regardez la démonstration complète de Langfuse Prompt Management et découvrez comment l’intégrer à votre application.

Créer

Créez un nouveau prompt via l’UI, les SDKs ou l’API.

Contrôle de version

Versionnez et modifiez vos prompts de manière collaborative via l’UI, l’API ou les SDKs.

Déployer

Déployez des prompts en production ou dans n’importe quel environnement via des labels, sans aucune modification de code.

Métriques

Comparez la latence, le coût et les métriques d’évaluation entre différentes versions de vos prompts.

Tester dans Playground

Testez instantanément vos prompts dans le Playground.

Lier aux traces

Liez les prompts aux traces pour comprendre leurs performances dans le contexte de votre application LLM.

Suivre les modifications

Suivez les modifications apportées à vos prompts pour comprendre comment ils évoluent au fil du temps.

​

Évaluation & jeux de données

L’évaluation est essentielle pour garantir la qualité et la fiabilité de vos applications LLM. Langfuse propose des outils d’évaluation flexibles qui s’adaptent à vos besoins spécifiques, que vous effectuiez des tests en développement ou surveilliez les performances en production.

📹 Vous voulez en savoir plus ? Regardez la démonstration complète de Langfuse évaluation et découvrez comment l’utiliser pour améliorer votre application LLM.

Analyse

Visualisez les résultats des évaluations dans le dashboard Langfuse.

Retours utilisateurs

Recueillez les retours de vos utilisateurs. Ils peuvent être collectés dans le frontend via notre Browser SDK, côté serveur via les SDKs ou l’API. La vidéo inclut un exemple d’application.

LLM-as-a-Judge

Exécutez des évaluations LLM-as-a-judge entièrement gérées sur des traces en production ou en développement. Elles peuvent être appliquées à n’importe quelle étape de votre application pour réaliser des évaluations étape par étape.

Expériences

Évaluez les prompts et les modèles sur des jeux de données directement dans l’interface utilisateur. Aucun code personnalisé n’est nécessaire.

File d'annotation

Posez les bases de votre workflow d’évaluation avec des annotations humaines via des files d’annotation.

Évaluations personnalisées

Ajoutez des résultats d’évaluation personnalisés ; les valeurs numériques, booléennes et catégorielles sont prises en charge.

POST /api/public/scores

Ajoutez des scores via le SDK Python ou JS.

Exemple (Python)

langfuse.score(
  trace_id="123",
  name="my_custom_evaluator",
  value=0.5,
)

​

Guides de démarrage rapide

Démarrez avec Langfuse en quelques minutes. Choisissez le parcours qui correspond le mieux à vos besoins actuels :

• Intégrer le tracing des applications/agents LLM
• Intégrer le Prompt Management
• Configurer les évaluations

​

En savoir plus

• Documentation de Langfuse
• Dépôt GitHub de Langfuse
• Voir la vidéo de démonstration