一篇介绍开源LLMOps栈的文章
oss-llmops-stack.com/
这是一个由LiteLLM和Langfuse组成的开源技术栈,帮助团队构建基于大型语言模型(LLM)的应用程序。LiteLLM是一个开源的Python SDK和代理服务器,支持100多种LLM API的统一调用,并提供成本管理、模型访问控制等功能。Langfuse则专注于LLM应用的可观测性、评估和提示管理,支持日志记录、提示版本控制和性能评估等功能。两者集成使用,能够为团队提供灵活、可扩展且易于控制的LLM操作解决方案。