LiteLLM

LiteLLM是Berri AI推出的大语言模型网关工具，核心定位是帮助开发者统一对接不同厂商的大语言模型服务，适配OpenAI接口格式。核心功能包括跨100+大模型的统一请求适配、调用权限与身份校验管理、多模型负载均衡调度、调用消费明细追踪统计。目标用户覆盖AI应用开发者、企业AI技术团队、MLOps运维人员、AI产品研发团队等，可应用于多模型融合应用开发、企业大模型调用统一管控、AI服务稳定性运维、研发成本核算统计等场景，降低开发者对接不同大模型的适配成本，提升大模型调用的管控效率。

主要功能

• 统一接口适配：开发者无需分别学习不同大模型厂商的接口规则，只需按照OpenAI的接口格式编写请求代码，在LiteLLM中配置对应厂商的模型标识与密钥信息，即可直接调用Anthropic、Google Gemini、阿里云通义千问等100+大模型服务，大幅减少多模型对接的代码适配工作量，避免厂商接口变更带来的重复开发成本。
• 身份权限管理：管理员可在控制台创建不同权限的API密钥，设置每个密钥对应的可调用模型列表、单月调用额度上限、IP访问白名单等规则，还可对接企业现有OAuth、LDAP等身份认证体系，实现不同研发角色、不同业务应用的调用权限隔离，避免未授权的大模型访问与额度滥用，保障调用安全。
• 负载均衡调度：用户可配置同一模型的多个服务端点或者多个同能力梯队的备选模型，LiteLLM会根据预设的负载策略（如轮询、按权重分配、优先低延迟节点）自动调度请求，当某一模型服务出现超时、限流或报错时，会自动将请求转发到可用的备用节点，降低大模型调用的故障率，提升AI服务的可用性。
• 消费追踪统计：系统会自动记录每一次大模型调用的时间、请求用户、调用模型、Token消耗量、花费金额、调用结果状态等信息，支持按时间维度、用户维度、模型维度、业务项目维度筛选导出统计报表，管理者可直观查看不同业务线的大模型消费占比，为成本分摊、预算管控提供数据支撑。
• 请求日志回溯：所有大模型调用的请求参数、返回结果、耗时数据都会留存可查询日志，开发者在排查AI应用响应异常问题时，可直接筛选对应时间段的调用日志，查看原始请求与返回内容，快速定位是输入参数问题、模型返回问题还是网络传输问题，提升问题排查效率。
• 自定义回调钩子：用户可配置自定义的回调函数，在大模型请求发起前、返回结果后、调用报错时触发预设的处理逻辑，比如对输入内容提前做敏感词检测、对模型返回结果做合规校验、调用失败时自动发送告警通知给运维人员，满足企业个性化的大模型调用管控与合规需求。

怎么使用

1. 访问LiteLLM官网，根据自身部署需求选择云服务版本或者开源自托管版本，云服务可直接注册账号，自托管版本按照文档指引完成服务部署与初始化配置。
2. 进入控制台的模型管理页面，添加需要对接的大模型厂商，填写对应厂商的API密钥、调用endpoint等信息，保存后即可完成模型接入配置。
3. 进入权限管理页面，根据业务需求创建不同权限的API密钥，设置每个密钥的可调用模型范围、额度限制、访问白名单等规则，分发给对应的开发人员或业务系统。
4. 开发者按照OpenAI接口格式编写请求代码，将接口请求地址替换为LiteLLM的网关地址，使用分配到的LiteLLM API密钥即可发起大模型调用，无需适配不同厂商的接口规则。
5. 进入数据统计页面，可查看不同维度的调用统计、消费明细、错误率等数据，也可导出报表用于成本核算，还可配置告警规则及时接收调用异常通知。

适合什么人群

• AI应用开发者（多模型融合应用开发场景）
• 企业AI技术团队（大模型调用统一管控场景）
• MLOps运维人员（AI服务稳定性运维场景）
• AI产品经理（多模型效果对比测试场景）
• 企业成本管理员（大模型消费核算管控场景）
• 独立AI开发者（降低多模型对接成本场景）

总结

在多模型成为AI开发常态的当下，开发者常常需要对接多个大模型厂商的服务，不同厂商的接口规则、参数格式、返回结构都存在差异，每新增一个模型就要做一次适配，同时还要处理不同服务的权限管理、负载容错、成本统计等问题，额外增加了很多开发工作量。而这款大模型网关工具恰好解决了这些痛点，它以OpenAI的接口格式作为统一标准，打通了100+主流大模型的调用通路，开发者只需要维护一套请求代码，就可以灵活切换调用不同的大模型。同时它提供的权限管控、负载均衡、消费追踪能力，也解决了企业级应用在大模型使用过程中的安全、稳定、成本管控需求，不管是个人开发者做小型AI应用，还是企业搭建内部的大模型服务中台，都可以通过它降低开发与运维成本。目前它既有云服务版本可以快速上手，也有开源自托管版本可以满足企业数据安全与定制化需求，适配不同规模的使用场景。

价格与免费额度

LiteLLM提供开源免费版、云服务免费版、云服务付费版三种版本。开源免费版可完全免费自行部署使用，无功能限制，适合有运维能力的小团队或个人开发者使用，需自行承担服务器成本与运维工作。云服务免费版支持每月最多100万Token的调用量，最多接入5个大模型服务，适合个人开发者测试使用。云服务付费版按调用量阶梯计费，月调用量10亿Token以内价格为0.0001美元/千Token，10亿Token以上可联系商务获取阶梯优惠，同时提供企业级专属支持与SLA服务保障，适合中大型企业或调用量较大的团队使用，对于需要长期稳定使用且调用量较大的团队，可选择年度付费方案获取额外折扣。

优点与不足

能帮你做的 8 件事

1. 01统一接口适配
2. 02身份权限管理
3. 03负载均衡调度
4. 04消费追踪统计
5. 05大模型网关场景的常用方案
6. 06LLM工具场景的常用方案
7. 07AI应用开发者（多模型融合应用开发场景）的日常效率工具
8. 08先用免费额度验证需求再决定付费

更新历史

• 2026.06.07LiteLLM 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题