Langfuse

Langfuse es una plataforma de observabilidad e ingeniería open source pensada para depurar, evaluar y exprimir al máximo agentes de IA y aplicaciones con modelos de lenguaje. En cuanto un agente empieza a encadenar llamadas, consultar bases vectoriales y tirar de herramientas externas, dar con el fallo de razonamiento o entender por qué se disparó la factura de tokens se convierte en una auténtica pesadilla sin registros estructurados. Langfuse soluciona el drama mapeando cada paso del flujo en un grafo de ejecución transparente.

La herramienta centraliza los puntos críticos de cualquier app con IA:

• Trazabilidad e inspección de ejecuciones: registra al detalle y de forma jerárquica cada llamada a modelos, pasos de RAG y tool calls, agrupando sesiones completas de usuario turno por turno.
• Gestión centralizada de prompts: versiona, prueba en un playground interactivo y pasa prompts a producción con etiquetas de entorno, sin tener que tocar código para ajustar una sola instrucción.
• Evaluaciones continuas: combina LLM-as-a-judge automáticos con evaluadores deterministas de código, colas de revisión humana y métricas de feedback directo de los usuarios.
• Control de costes y latencia: paneles de métricas y alertas configurables para pillar a tiempo cualquier anomalía de gasto por modelo, usuario o versión del sistema.

Por debajo corre un motor analítico sobre ClickHouse con colas asíncronas para tragar volúmenes enormes de eventos sin añadirle latencia a tu servicio. A diferencia de herramientas enfocadas en la memoria persistente del agente como Cognee, Langfuse se centra de lleno en la supervisión operativa, los experimentos offline y el análisis milimétrico de cada llamada en producción.