Langfuse

Comment Langfuse fournit l’observabilité et le traçage pour l’Agentic Data Stack

Langfuse est la couche d’observabilité de l’Agentic Data Stack. Il enregistre ce que l’agent a fait dans LibreChat, ce qui vous permet de le déboguer, d’en mesurer la qualité et d’en suivre le coût. Basé sur OpenTelemetry, Langfuse fonctionne sur ClickHouse.

​

Suivez et inspectez chaque exécution

Chaque conversation est capturée sous forme de trace Langfuse : les prompts, chaque appel d’outil (y compris le SQL exécuté par l’agent) et la réponse. Chaque trace enregistre aussi l’utilisation des tokens, le coût et la latence. Ouvrez une exécution pour voir ce qu’a fait l’agent et à quel endroit il a échoué. Triez par utilisateur et par session pour voir qui génère le plus de dépenses.

​

Évaluer la qualité des résultats

Les résultats produits par les modèles sont non déterministes ; Langfuse vous permet donc d’en mesurer la qualité au lieu de vous fier à des suppositions. Attribuez un score aux exécutions à l’aide d’une annotation humaine ou d’un évaluateur automatisé de type LLM-as-a-judge, par exemple pour signaler qu’une réponse est incorrecte ou qu’une analyse n’est pas utile.

​

Dans la stack

La stack relie LibreChat à Langfuse, de sorte que chaque exécution soit automatiquement tracée, sans aucune instrumentation supplémentaire. Les traces sont stockées dans la propre instance ClickHouse de la stack, ce qui permet de conserver vos données d’observabilité aux côtés de celles que vous interrogez. Pour l’exécuter dans le cadre de la stack, consultez le guide de configuration Docker.

Pour envoyer des traces depuis une instance LibreChat autonome, ou pour utiliser un point de terminaison Langfuse régional ou HIPAA, consultez le guide complémentaire Langfuse. Pour en savoir plus sur Langfuse avec ClickHouse, consultez la présentation de Langfuse.

Vous préférez une expérience gérée ? Langfuse Cloud est un déploiement entièrement géré, propulsé par un cluster ClickHouse géré — sans infrastructure à exploiter.