LLM质量评估 工具。

Langfuse

Langfuse是一款开源的LLM应用全生命周期分析管理工具，核心定位为开发者及AI产品团队提供LLM应用的生产环境观测、质量评估与成本优化能力。核心功能包括全链路请求追踪，可还原LLM应用从输入到输出的完整调用链路；多维度指标分析，支持成本、延迟、准确率等核心指标的聚合统计；内置Prompt管理模块，可实现不同版本Prompt的迭代、对比与上线。目标用户覆盖AI应用开发者、产品经理、运维工程师、算法工程师等群体，可用于LLM应用上线前的调试场景、上线后的运行监控场景、迭代过程中的效果对比场景，帮助团队系统化管理LLM应用的全流程运行状态。