模型网关部署了多个实例，也配置了备用模型，项目组因此认为高可用已完成。演练却发现共享凭证过期会同时影响主备，自动切换后的模型不支持原有工具调用，主模型恢复后频繁来回切换。模型网关高可用必须覆盖网关自身、共同依赖和模型差异。

演练边界：先分开网关故障与上游模型故障，再用状态机规定观察、隔离、接管、恢复验证和回切。

高可用拓扑先排查共同故障点

网关实例可能共享配置存储、模型目录、凭证、身份服务、域名、网络和日志管道；上游主备模型也可能依赖同一供应方或资源池。架构评审要标出这些共同点，避免副本和后端数量制造虚假安全感。

对每个依赖定义探测、影响、备用和恢复主责。网关实例失败、配置错误、凭证过期、上游限流与模型输出异常属于不同故障，不能使用同一个健康信号。

状态机必须包含观察和人工处置

下面的状态机从正常进入观察，满足条件后隔离主路径并尝试备用；备用验证失败则进入人工处置；主路径恢复后先验证，再逐步回切。

故障信号不确定时先观察或人工确认，比主备之间频繁抖动更安全。 策略要设置稳定窗口和回切条件，具体时长由项目实测决定。

备用模型需要兼容等级而非可用标签

兼容评估覆盖端点和字段、流式、工具调用、结构化输出、上下文、内容安全、数据位置、容量和成本。完全兼容可进入自动候选，有限兼容只适合部分场景，不兼容则不能自动切换。

兼容级别应随模型和接口版本复测，不能永久固化。

流式请求、重试和工具动作要单独处理

连接中断后，网关未必能从另一模型继续生成同一响应。自动重试可能重复计费或造成工具再次执行。方案要区分只读生成、结构化事务和有副作用工具，明确哪些可重试、哪些必须返回失败。

审计应记录原模型、失败位置、备用模型、重试和最终结果。调用方需要幂等或人工确认时，由应用承担相应业务控制，网关不能独自保证。

恢复验证完成后再受控回切

主模型恢复信号出现后，先用探测和小流量确认协议、质量、容量与策略，再逐步回切。若恢复后仍抖动，应保持备用或人工模式，避免频繁切换。配置与凭证共同故障则需要先修复依赖。

故障状态与路由动作应关联到 AI模型可观测性 中的指标、日志和调用链；模型入口边界可参考 AI网关入口治理 。

演练记录包含故障类型、状态转换、请求结果、业务差异、人工动作和残余风险。没有业务差异确认时，备用模型不能被默认视为等价高可用路径。

高可用验收结果要进入状态机运行手册

运行手册应把每类故障映射到状态转换：什么信号进入观察，何时隔离，哪种备用模型可以接管，何时必须人工处置，恢复满足什么条件才允许回切。状态之外还要记录模型目录、配置、凭证和身份依赖，防止共同故障被当成上游模型问题。

业务负责人需要确认兼容等级，SRE负责探测和转换动作，网关团队维护策略与版本，模型团队确认能力和容量，安全团队检查数据与审计变化。任何自动切换都应有明确所有者和停止权限，不能只依赖默认配置。

演练报告分别记录连接前失败、流式中断、限流、凭证故障和质量异常。请求是否重试、工具是否可能重复执行、调用方是否收到降级标识，都要与日志对应。无法自动恢复的场景保留人工剧本，并估算值班负担。

主模型或备用模型升级后，先重跑兼容样本和小流量回切。若状态机、配置或人员发生变化，同步更新手册和培训。高可用由此成为可交接流程，而不是一条静态架构线。

采购验收要覆盖共同依赖和人工值守成本

候选方案展示网关多副本和多个模型后端时，采购团队应要求一张共同依赖清单。配置存储、身份、凭证、域名、网络、日志或同一模型供应方发生故障，可能同时击穿主备。每个共同点需说明探测方式、替代路径、责任人和无法自动恢复时的停止条件。

备用模型的交付不能只写“已接入”。供应方与业务团队要共同确认兼容等级，保留协议、流式、工具、结构化输出、数据位置、内容策略和容量的测试样本。有限兼容场景需要业务告知和功能关闭；不兼容场景则在路由规则中明确阻断，不能为了可用率静默绕过。

实施量包括状态机配置、探测校准、模型适配、容量预留、审计关联、业务回归和人工剧本。值班人员还要处理信号不确定、质量下降、工具可能重复执行和恢复抖动。若自动化只能覆盖基础超时，其余依赖专家判断，应把培训、轮值和供应商升级服务纳入成本。

合同退出时应能导出状态机、模型目录、兼容样本和演练记录，撤销上游凭证，并将应用切到明确的替代入口或失败模式。供应商更换或主备关系调整后，原高可用结论失效，需要重建兼容等级并复跑关键故障。退出条款因此与首次验收同等重要。

用业务分级限制自动切换范围

企业可以把应用按只读生成、结构化流程、有副作用工具和高风险决策分组。前两类在兼容证据充分时可扩大自动化，后两类默认要求更严格的幂等、告知或人工确认。状态机因此以业务风险为输入，而不只依赖上游健康信号。

演练记录还要统计人工介入次数、所需权限和恢复步骤。若高可用长期依赖少数专家判断，采购方应要求补充运行服务或内部培训，并把无法自动化的场景明确写进值班手册和合同边界。

下一步建议

画出网关、配置、凭证、身份和主备模型的故障域，给每个信号配置状态转换和停止条件。选择一次上游超时、一次凭证故障和一次有限兼容切换进行演练。完成恢复验证与小流量回切后，再决定哪些场景允许自动化。

常见问题

备用模型能力更弱还能自动切换吗？

只有业务明确接受有限能力，并且网关能够识别场景、关闭不支持功能、告知调用方和记录审计时，才可能在限定范围自动切换。例如普通问答可以接受降级，而工具执行或结构化流程可能必须失败或转人工。

企业应建立兼容等级和回归样本，不按模型统一决定。若备用模型的数据边界、内容安全或输出格式不满足硬要求，即使能返回文本也不能自动使用。自动切换的目标是受控陆续在，不是掩盖差异。

有限能力备用模型只适用于业务已签认的场景，并需关闭不支持功能、告知调用方和记录审计。数据、安全或输出格式不满足硬要求时，即使能够返回文本，也不得自动进入接管路径。

流式请求在切换中断后怎么处理？

多数情况下不能假设另一模型能从原位置无缝继续，因为上下文、随机状态和已输出内容可能不同。网关可返回明确中断，允许调用方基于幂等规则重新发起；若要自动重试，应防止重复输出、重复计费和工具重复执行。

验收要分别测试连接建立前、首Token前和生成中断，不把它们合并。响应或审计中记录实际模型和重试状态，让应用决定展示、重试或人工处理。具体协议行为以候选实现和客户端实测为准。

流式故障要区分连接前、首Token前和生成中断，并记录已输出内容、实际模型和重试状态。工具已有副作用时通常需要幂等或人工确认；网关不能假设另一模型可从原位置无缝继续。

主模型恢复后是否应立即回切？

不应仅凭一个健康信号立即回切。先确认模型版本、接口、容量、错误和依赖稳定，再用探测或小比例流量验证。若刚恢复就承接全部请求，可能触发二次故障；主备频繁切换也会让输出和成本难以解释。

状态机应有恢复观察和稳定条件，并允许人工暂停回切。完成业务样本验证后逐步扩大，持续监控错误与路由。回切失败时保持备用或明确降级，并记录原因。

回切要经过恢复观察、探测请求和小比例业务验证，并允许人工暂停。错误或依赖再次波动时保持备用或明确降级，不能因一个健康信号立即承接全部流量；每次失败原因进入状态机复盘。