一、项目定位
LiteLLM 为多家模型 Provider 提供统一调用方式,也可以作为集中式 AI 网关,减少业务代码中的厂商差异,并统一常见请求与错误处理。
二、新手能做什么
新手可以从一次 Python 调用开始,再通过替换模型标识比较不同 Provider。团队后续可引入 Proxy,统一虚拟密钥、预算、路由、防护与可观测性。
三、推荐上手路线
创建隔离的 Python 环境,安装当前 SDK,通过环境变量配置一个 Provider 密钥,并发送一次低成本请求。理解直接 SDK 路径后,再考虑部署 Proxy。
四、环境与成本
需要至少一个受支持的模型 Provider 或本地兼容端点。网关模式还会增加服务、配置存储、认证与运维责任。
五、适用人群
适合需要比较或切换模型 Provider 的开发者,以及需要集中管理模型访问的团队。
六、局限与风险
统一接口无法消除模型行为、支持参数、额度和价格差异;开源部分与企业能力的功能和许可安排也并不完全相同。 真实 Provider 密钥只保留在服务端,客户端使用范围受限的虚拟密钥;日志需脱敏,同时配置预算与限流,不能把无认证 Proxy 暴露到公网。
七、项目与许可
仓库内容按 Repository license files; enterprise features differ 提供,具体以项目当前 LICENSE 为准。项目地址:https://github.com/BerriAI/litellm