LiteLLM 1.109.0配置迁移:与1.108.5 LTS、1.106.8及1.110.0-rc.1有什么区别

林舟
林舟
发布时间:2026-11-16| 6人浏览过
原创

给出LiteLLM1.109.0五项迁移配置,说明fallback列表、local缓存、router_settings硬限流、Gemini参数和Lens独立部署,并区分LTS/旧补丁/RC。

LiteLLM 1.109.0升级需要处理fallback格式、缓存、部署硬限流、Gemini参数和Lens五项迁移。1.108.5 LTS、1.106.8与1.110.0-rc.1则是不同维护基线,不能把补丁和候选能力一起当作稳定版配置。先对应完整版本和配置层级,再判断启动、费用及回退结果,才能避免只换镜像而遗漏行为变化。

LiteLLM产品封面

fallback先核对目标值是否为列表

1.109.0要求fallback目标使用模型名称列表。下面是现有fallbacks字段的替换片段,保持它在原配置中的层级;your-primary-model和your-backup-model分别替换为现有model_list中的实际模型组名,不是提供商密钥或固定模型型号:

fallbacks:
  - your-primary-model:
      - your-backup-model

目标值成为列表后,才符合这次迁移要求。模型组存在、路由是否可达和实际故障转移是否成功仍需分别判断,不能把YAML格式正确当作上游调用成功。

LiteLLM 1.109.0官方五项Action required迁移摘要

disk缓存已移除,local不是原来的持久磁盘缓存

仍使用cache_params.type: disk的代理会在启动时失败。若选择本地内存缓存,可把现有litellm_settings中的缓存部分调整为以下片段,其他已有设置保留:

litellm_settings:
  cache: true
  cache_params:
    type: local

local是内存缓存,不保留原磁盘缓存在单机重启后的持久性。需要Redis时应使用redis及对应连接配置,不能只改类型却省略实际连接前提。遗留disk_cache_dir在其他缓存类型旁会被忽略并警告,不会恢复已移除的磁盘后端。

把硬限流检查放入router_settings

仅有enable_pre_call_checks: true不再因部署达到rpm而把它排除。需要继续强制现有部署rpm硬上限时,在router_settings加入或合并这项检查,已有其他optional_pre_call_checks条目保留:

router_settings:
  optional_pre_call_checks:
    - enforce_model_rate_limits

这里的层级是router_settings,而不是litellm_settings。该检查使用已有部署限额,并不自动生成rpm配置;触发对应限额后的429表示限流,不能直接判定提供商中断。

Gemini采样参数应停止发送或按不支持参数处理

官方迁移针对Gemini 3.6 Flash、3.5 Flash-Lite及更新型号中的temperature、top_p和top_k。可停止发送这些参数,或在代理采用下面的全局处理片段:

litellm_settings:
  drop_params: true

drop_params让不受目标模型支持的参数被丢弃,而不是使这些采样控制突然得到支持。全局配置影响范围比单个部署更广,多个litellm_settings片段应合并进同一个映射,不能复制成重复顶层键。仍需核对业务是否依赖那些已经不再生效的控制。

Lens连接配置与独立资源部署分开

两套LiteLLM Helm图表不再部署Lens。已通过独立Lens图表完成部署、获得实际内外访问地址和两个已有Secret名称后,可在LiteLLM的values中配置连接。以下域名和Secret名称均为占位示例,需替换,内容不是Secret值:

lens:
  enabled: true
  url: "https://lens.example.internal"
  publicUrl: "https://lens.example.com"
  gatewaySecret:
    name: "your-lens-gateway-secret"
  serviceTokenSecret:
    name: "your-lens-service-token-secret"

Secret键默认分别为gateway-secret和service-token。该配置用于把网关指向已部署的Lens,不会自行部署Lens或ClickHouse,也不证明连接和鉴权已经成功。仍启用旧lensWorker模式会导致图表渲染失败;升级还会移除原捆绑Lens、ClickHouse和Secret资源,迁移前必须把现有资源与数据保留方案对应清楚,不能直接把一次升级当作无损迁移。

稳定版新增能力与默认展示应单独记录

1.109.0还加入流式响应中途故障转移续写、用于关闭LiteLLM自身主动获取的LITELLM_OFFLINE_MODE,以及带模型中心、生图和用量信息的Chat UI。Chat页面默认展示,已经保存enable_chat_ui: false的部署仍保持隐藏;默认展示不等于取消账号权限。

LTS、旧补丁与RC修复各属于哪个范围

1.108.5 LTS修复工作负载身份认证在图像编辑、音频、文件、批处理等非聊天路由的401问题,以及ollama_chat/流式并行工具调用索引、Messages API额外丢弃参数和部分FLAC转录计费。1.106.8回移转录计费修复,优先采用提供商有效usage.seconds,再依据可靠测得的时长处理。无法取得可靠长度时代理可能记录零费用,这不代表提供商免费,费用记录仍需对账。

1.104.9和1.103.11另有SpendLogs缺失索引在迁移后创建的回补;1.103.11还改善多副本同时连接同一数据库启动的可靠性。它们是其他维护基线的记录,不能把分支号混成统一升级包。

1.110.0-rc.1仍是候选版,其中total_timeout限制整个非流式请求,并有路由、作用域和Redis相关修复。不能把该限制解释为所有流式请求的总超时,也不能仅凭候选版本号更大就替代既定稳定或LTS部署。各段配置示例只说明迁移结构,真实配置兼容、限流、费用与回退结果仍需分别验收。

相关专题:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。