Langfuse

Langfuse es una plataforma de ingeniería de LLM de código abierto que ayuda a los equipos a depurar, analizar e iterar de forma colaborativa sobre sus aplicaciones de LLM.

​

¿Qué es Langfuse?

Langfuse es una plataforma open source de ingeniería para LLM que ayuda a los equipos a depurar, analizar e iterar de forma colaborativa sobre sus aplicaciones de LLM. Forma parte del ecosistema de ClickHouse y utiliza ClickHouse como base para ofrecer un backend de observabilidad escalable y de alto rendimiento.

Gracias al almacenamiento columnar de ClickHouse y a sus rápidas capacidades analíticas, Langfuse puede manejar miles de millones de trazas y eventos con baja latencia, lo que la hace adecuada para cargas de trabajo de producción con alto throughput.

​

¿Por qué Langfuse?

• Código abierto: Totalmente de código abierto, con API pública para integraciones personalizadas
• Optimizado para producción: Diseñado para tener un impacto mínimo en el rendimiento
• SDKs de primer nivel: SDKs nativos para Python y JavaScript
• Soporte para frameworks: Integrado con frameworks populares como OpenAI SDK, LangChain y LlamaIndex
• Multimodal: Compatibilidad con trazas de texto, imágenes y otras modalidades
• Plataforma completa: Conjunto de herramientas para todo el ciclo de vida del desarrollo de aplicaciones con LLM

​

Opciones de implementación

Langfuse ofrece opciones de implementación flexibles para adaptarse a distintas necesidades de seguridad e infraestructura.

Langfuse Cloud es un servicio totalmente gestionado, respaldado por un clúster de ClickHouse gestionado para ofrecer un rendimiento óptimo. Cuenta con certificaciones SOC 2 Type II e ISO 27001, cumple con el RGPD y está disponible en las regiones de datos de EE. UU. (AWS us-west-2) y la UE (AWS eu-west-1).

Autohospedado Langfuse es totalmente de código abierto (licencia MIT) y puede implementarse gratuitamente en tu propia infraestructura con Docker o Kubernetes. Ejecutas tu propia instancia de ClickHouse (o usas ClickHouse Cloud) para almacenar datos de observabilidad, lo que garantiza un control total sobre tus datos.

​

Arquitectura

Langfuse solo depende de componentes de código abierto y puede implementarse localmente, en infraestructura en la nube o en sus propias instalaciones:

• ClickHouse: Almacena grandes volúmenes de datos de observabilidad (trazas, spans, generations, puntuaciones). Permite realizar agregaciones y analítica rápidos para los dashboards.
• Postgres: Almacena datos transaccionales, como cuentas de usuario, configuraciones de proyectos y definiciones de prompts.
• Redis: Gestiona la cola de eventos y el almacenamiento en caché.
• S3/almacenamiento de blobs: Almacena payloads de gran tamaño y datos de eventos sin procesar.

​

Características

​

Observabilidad

La observabilidad es esencial para comprender y depurar aplicaciones de LLM. A diferencia del software tradicional, las aplicaciones de LLM implican interacciones complejas y no deterministas que pueden ser difíciles de monitorizar y depurar. Langfuse proporciona funcionalidades completas de trazas que te ayudan a entender exactamente qué está ocurriendo en tu aplicación.

📹 ¿Quieres saber más? Ve una guía completa de principio a fin de Langfuse observabilidad y de cómo integrarlo con tu aplicación.

Detalles de la traza

Las trazas te permiten rastrear cada llamada al LLM y otra lógica relevante de tu aplicación.

Sesiones

Las sesiones te permiten rastrear conversaciones de varios pasos o flujos de trabajo agentivos.

Cronología

Depura problemas de latencia inspeccionando la vista de cronología.

Usuarios

Añade tu propio userId para monitorizar los costes y el uso de cada usuario. Opcionalmente, crea un enlace profundo a esta vista en tus sistemas.

Grafos de agentes

Los agentes de LLM pueden visualizarse como un grafo para ilustrar el flujo de flujos de trabajo agentivos complejos.

Dashboard

Consulta métricas de calidad, coste y latencia en el dashboard para monitorizar tu aplicación de LLM.

​

Gestión de prompts

La gestión de prompts es fundamental para crear aplicaciones de LLM eficaces. Langfuse ofrece herramientas para ayudarte a gestionar, versionar y optimizar tus prompts a lo largo del ciclo de vida de desarrollo.

📹 ¿Quieres saber más? Ve una guía completa de Langfuse gestión de prompts y cómo integrarlo con tu aplicación.

Crear

Crea un prompt nuevo desde la UI, los SDKs o la API.

Control de versiones

Versiona y edita prompts de forma colaborativa desde la UI, la API o los SDKs.

Desplegar

Despliega prompts en producción o en cualquier entorno mediante etiquetas, sin cambiar el código.

Métricas

Compara la latencia, el coste y las métricas de evaluación entre distintas versiones de tus prompts.

Probar en Playground

Prueba al instante tus prompts en Playground.

Vincular con trazas

Vincula prompts con trazas para entender cómo funcionan en el contexto de tu aplicación de LLM.

Seguimiento de cambios

Haz seguimiento de los cambios en tus prompts para entender cómo evolucionan con el tiempo.

​

Evaluación y conjuntos de datos

La evaluación es fundamental para garantizar la calidad y la fiabilidad de tus aplicaciones con LLM. Langfuse ofrece herramientas de evaluación flexibles que se adaptan a tus necesidades específicas, tanto si haces pruebas en desarrollo como si supervisas el rendimiento en producción.

📹 ¿Quieres saber más? Ve un recorrido completo de Langfuse evaluación y cómo usarlo para mejorar tu aplicación con LLM.

Analítica

Visualiza los resultados de evaluación en el dashboard de Langfuse.

Comentarios de los usuarios

Recoge comentarios de tus usuarios. Pueden capturarse en el frontend mediante nuestro Browser SDK, en el servidor mediante los SDK o la API. El video incluye una aplicación de ejemplo.

LLM-as-a-Judge

Ejecuta evaluaciones de LLM-as-a-judge totalmente gestionadas en trazas de producción o desarrollo. Puede aplicarse a cualquier paso de tu aplicación para realizar evaluaciones paso a paso.

Experimentos

Evalúa prompts y modelos en conjuntos de datos directamente desde la interfaz de usuario. No se necesita código personalizado.

Cola de anotación

Establece una base para tu flujo de trabajo de evaluación con anotaciones humanas mediante las colas de anotación.

Evaluaciones personalizadas

Añade resultados de evaluación personalizados; admite valores numéricos, booleanos y categóricos.

POST /api/public/scores

Añade puntuaciones mediante el SDK de Python o JS.

Ejemplo (Python)

langfuse.score(
  trace_id="123",
  name="my_custom_evaluator",
  value=0.5,
)

​

Guías de inicio rápido

Pon Langfuse en marcha en minutos. Elige la opción que mejor se adapte a tus necesidades actuales:

• Integrar la traza de aplicaciones/agentes LLM
• Integrar la gestión de prompts
• Configurar evaluaciones

​

Más información

• Documentación de Langfuse
• Repositorio de GitHub de Langfuse
• Ver la demostración en video