Zentrix Gateway 文档

23. 平台运行与日常维护

完整版章节。内容按 2026.10 主线代码与运行环境界面核对;具体入口以当前许可、账号权限和交付环境为准。

返回概览 · 完整版目录 · 下载完整 PDF

本章内容:本章面向运维人员、平台管理员,以及需要了解平台运行方式的租户管理员。内容包括:怎么判断平台是否正常、控制面与数据面的边界、网关节点与入口维护、备份恢复与升级、应急停用、参数调优与多节点高可用。

关于停机与全局影响:本章涉及停机、重启、切换的操作都会影响正在使用平台的成员与调用方。执行前请确认影响面(谁受影响)、停机时长(可接受多久)、验证方式(怎么确认恢复),并在维护窗口内执行;租户界面无法完成的操作由平台侧实施。

入口页面适用账号
:--:--:--
公开页面 /platform-status平台状态页任何人,无需登录
管理后台运行总览;网关域名(从会话详情的网关提示条进入)租户管理员
平台管理台网关节点(含节点日志)、出口代理、运行监控、系统维护(系统更新、备份与恢复)平台管理员
命令行zenova status、zenova doctor平台管理员

23.1 判断平台是否正常

适用场景:值班交接、每日巡检、收到「平台是不是挂了」的询问。

  1. 打开平台状态页 https://<网关地址>/platform-status。公开页面,无需登录,适合放进值班手册或监控大屏。
  2. 登录管理后台看「运行总览 › 总览」的数据面指标与最近告警;看部署本身由平台管理员进入平台管理台的「运行监控」。

你会看到:平台状态页按组件列出 24 小时探活时间线(数据库、权限服务、容器运行时、身份认证、模型网关、数据分析、对象存储等,按部署实际包含的组件显示),绿色健康、红色表示该时段不健康;运行总览给出网关耗时、实时并发与请求结果分布。「平均会话上下文峰值」这类卡片在范围过大时提示「这个时段的数据量太大,请缩短时段」,切到 24 小时即可显示,这是保护提示不是故障。

图 23-1 平台状态页:按组件展示 24 小时探活时间线,当前全部为绿色

租户能看到什么:组件探活、网关耗时与并发、请求结果分布、告警规则与事件可查;网关节点列表、配置落后、回传积压、主机容量告警、备份与升级、出口代理属平台管理台,由平台侧负责。

23.2 控制面与数据面的职责边界

适用场景:规划维护窗口,或控制台打不开而业务仍在跑,需要判断属于哪种故障。

控制面数据面(网关节点)
:--:--:--
承担什么管理后台、管理接口;保存并下发配置;后台任务接收业务调用,鉴权、限流、路由、护栏、转发
不可用时控制台打不开,配置无法修改调用失败
依赖平台数据库、权限服务、身份认证本地已落盘的配置与快照,不依赖数据库

控制面以主备方式运行,主实例通过 45 秒租约维持身份,超期后其他副本接管。控制面不可用期间,网关节点继续按最近一次下发的配置处理调用,已签发的 API 密钥照常可用——短暂重启控制面不中断业务;分析数据库不可用时调用也继续转发,明细本地保留、恢复后补写。

注意

  • 「控制台打不开」与「调用不通」是两个故障面:前者通常不影响业务,后者一定影响,报障时先分清。
  • 数据面能脱离控制面运行,前提是节点上已有可用配置;从未成功连接过控制面的新节点不具备这个能力。
  • 产品不给出统一的 RTO、RPO 承诺值,切换时间与数据丢失量取决于部署拓扑与数据库方案,应以客户环境演练结果为准。

23.3 网关节点与入口

适用场景:新增节点分担流量、节点维护、入口域名与证书变更;节点操作由平台管理员在「网关」中完成。

项目说明
:--:--
心跳判定节点定期上报;30 秒内新鲜,超 120 秒未上报判为离线并告警
列表字段节点名、状态、地域、版本、入口池;「节点地址」「配置落后版本数」「最近心跳」在「列设置」中打开;可按生命周期、地域、入口池、离线筛选
配置落后落后超过 2 个版本时触发「配置落后」告警

排空与退役:在节点详情选择「排空」,节点停止接收新请求,等待在途请求(含流式响应)、回传积压与本地暂存清空,期间可随时「取消排空」;同时由网络管理员把它从 DNS 或负载均衡器摘除;排空完成后选择「退役」。强制退役会吊销节点的实例身份并丢弃尚未回传的记录与本地暂存,只在确认不再恢复时使用。

扩容:点「添加节点」,填写节点名、地址、地域、回连地址与安装方式,取得一次性安装命令(24 小时有效)在目标主机执行;上线后「加入入口池」并自检通过才承接流量。

入口域名与证书(租户侧):网关域名页不在侧栏中,从「运行总览 › 会话」打开任一会话详情,在网关提示条点「查看接入方式」进入。在「域名」页签查看顶部提示,显示「数据面已生效。配置序号 N。各副本的校验已分别对照当前发布。」表示变更已同步到全部副本;「证书」页签查看证书,未上传时为「—」。

图 23-2 网关域名页:顶部提示数据面已生效与配置序号,域名状态为活跃

注意

  • 节点离开入口池、排空或离线时,控制面会标记状态并告警,但不会自动修改 DNS,也不提供虚拟 IP 漂移;摘流由负载均衡器基于 /readyz 完成,或由运维调整 DNS。
  • 排空要等在途流式响应结束,长连接下耗时可能远超预期,安排窗口时把这段时间算进去。

23.4 健康检查与优雅上下线

接口用途返回
:--:--:--
/healthz存活探测进程存活时 200,正文 ok
/readyz就绪探测已装载配置时 200;与控制面失联但仍按本地配置服务时也是 200(降级态,不应摘除);无配置时 503;排空中返回 draining=true
图 23-3 公网 `/healthz` 返回 `200`、正文 `ok`

注意

  • /readyz 只在网关节点的监听端口上提供,经控制台域名访问会落到控制台页面,负载均衡器应直接探测节点端口。
  • 节点停机分两段:先摘流量,/readyz 不就绪、负载均衡器停止派发;再关闭接入,新请求以 503 gateway_draining 拒绝(提示 1 秒后重试),等流式响应完成后退出。
  • 滚动重启或升级时,对每个节点依次执行「排空 → 升级或重启 → 入口自检 → 加入入口池」,确认恢复后再处理下一个;事后可在「运行总览 › 请求」核对发版前后各 10 分钟。

23.5 备份、恢复与升级

这两项能力在租户界面都不可用。「备份与恢复」与「系统更新」是平台管理台「系统维护」(/admin/maintenance)的页签,并依赖部署时安装的更新器组件。当前部署形态下以租户管理员身份访问都会被送回「运行总览」,备份接口返回 availability=updater_unavailable、canStartBackup=false、列表为空,升级接口返回 updater_unavailable。能力是否存在、如何执行,以实际部署方式为准。

备份(写进运维手册的固定条目):明确对象与责任方——平台数据库、分析数据库、对象存储、安装状态(含部署配置与主密钥);前三项若用客户既有服务,由该服务自身的备份机制负责,并与平台备份对齐到同一时间点;明确频率、保留期与演练节奏(平台不提供租户可配置的备份计划),至少每次大版本升级前隔离演练。

升级:确认控制面与网关节点为同一版本、两侧一起处理,跨版本升级先确认是否有必须先升的中间版本;升级前留底并记录备份标识,安排窗口并通知(控制台切换期间可能短暂不可用,网关调用通常不受影响,但滚动更新节点时在途长连接可能中断);按节点滚动执行、一次一个(流程见 23.4),完成后按四项验证恢复:状态页绿色、最小请求返回 200、未授权密钥仍被拒、审计记录连续。

注意

  • 恢复会用备份覆盖本机数据,之后写入的数据丢失,且只能恢复同一版本、同一部署形态的备份;升级与恢复不能并行。
  • 升级后能否回退取决于数据库变更是否已落库,回退方案以实际部署方式为准;两侧版本不一致常表现为「配置落后」告警不消失或节点反复重连。

23.6 应急停用

适用场景:密钥泄露、账号异常、上游不可用或某条规则产生错误拦截,需要立刻止血。

对象停用入口效果恢复方式
:--:--:--:--
API 密钥模型分组 › API 密钥管理「批量禁用」该密钥的调用立即被拒不可恢复,需重新签发
模型分组详情 › 基本信息 › 关闭「发布」经该分组的全部调用被拒重新打开「发布」
模型供应商详情关闭「开启」引用它的模型不可用重新开启
流量规则规则清单中的状态开关请求不再匹配此规则再次打开开关
成员账号成员与部门 › 移至已离职会话、密钥、令牌失效恢复入职

操作步骤(停用一把泄露的密钥):在「模型分组 › API 密钥管理」搜索密钥名称或前缀,勾选后核对「已选择」数量,点「批量禁用」;发一次调用确认被拒绝,再到「操作审计」确认出现「API 密钥 · 吊销」记录。

你会看到

  • 密钥禁用后调用返回 403、reason 为 PERMISSION_DENIED——语义是「身份不被允许」而非「密钥不存在」,向调用方解释时要说清。
  • 关闭「发布」后调用在约十几秒内开始被拒,返回 401、message 为 Invalid or expired gateway credentials.。错误信息不会说明是「服务已停用」,停用后要主动通知调用方;重新打开「发布」后恢复不是瞬时的,需分钟级,期间用最小请求持续探测,不要反复操作开关。
图 23-4 API 密钥管理:勾选密钥后可批量禁用;禁用后不可恢复,需要重新签发

注意

  • 「批量禁用」没有二次确认,点下去立即生效,操作前务必核对勾选数量。
  • 需要「暂停而不作废」某个调用方时不要禁用密钥,改用流量规则「拒绝本次调用」;处置完成后在运维记录中写下原因、范围与恢复时间。

23.7 运行参数调优

参数主要通过流量规则的处置动作控制,属热生效配置。限流与排队见 21.4,超时与熔断见 21.3、21.5。

请求体大小上限:进入「流量规则 › 新建规则」,条件限定到目标调用方(如「调用方 = 某个 API 密钥」且「调用类型 = 模型调用」),添加处置动作「请求体大小上限」,填写上限(KB)后保存。

你会看到:超过上限的请求返回 413,未超过的返回 200。填写明显不合理的数值时字段标红、「保存规则」置灰,字段下方显示内部错误标识而非业务提示,按取值范围改正即可。「确认变更」会列出命中顺序,但该位置显示为「第 N 位 · 未知名规则」。

图 23-5 请求体大小上限填写超出范围时字段标红、保存按钮置灰

注意:上限类参数按调用方生效,建议先用只匹配测试调用方的规则验证,再扩大。

23.8 多节点高可用

层面设计行为
:--:--
控制面可多副本,主实例通过 45 秒租约维持身份,超期后接管;期间控制台不可用,调用不受影响
网关节点配置与快照落盘,重启时先装载本地配置再连控制面;断连 2 分钟内正常,超时判离线并告警,节点继续服务
断连期间请求记录写本地暂存、恢复后补传;暂存写满时按节点设置「拒绝新请求」或「丢弃正文只保留计量」
数据库可用客户既有高可用集群或高可用数据层;主节点故障时数据面继续转发,控制台写失败
入口多节点前置负载均衡器,单节点故障由健康检查摘除,恢复后重新加入入口池
双机房数据面双活、数据层单写并物理复制;整站故障需先隔离故障站点,再由实施人员受控提升备站

以上均需平台管理员或部署方操作。演练建议(上线前在独立环境完成,记录切换时间与失败请求数):① 持续调用时停止一个网关节点,观察摘除时间、失败请求数,以及节点在 120 秒内被判离线并告警;② 停止主控制面,确认约 45 秒后主身份转移且调用不受影响;③ 依次停止控制面、平台数据库、分析数据库,确认调用持续成功、/readyz 保持 200。

注意

  • 产品不提供网关分组:全部节点接收同一份全平台配置、共用一个入口池;按区域就近接入用地域标签、按节点出口策略与客户 DNS/负载均衡器调度。
  • 不要把 /readyz 的降级态当成故障:与控制面失联但仍按本地配置服务的节点返回 200,此时摘除反而损失容量。

23.9 出口与网络范围

  • 出口代理按网关节点配置:平台管理员在「网关 › 出口与代理」页签的「出口代理」中新增代理,在节点详情的「出口策略」中为每个节点配置规则与默认出口,保存后下发。
  • 出口判定:「网关 › 出口与代理」页签的「出口判定」按近 5 分钟真实调用与节点探活,汇总各节点到各出口目的地的状况;某节点到某目的地明显差于其他节点(建连失败率高、首字节偏慢、上游按地区拒绝等)时判为「避开」,该节点不再优先走这个目的地。
  • 出口连通性:「运行监控 › 出口连通性」按「总览」「探测目标」「诊断记录」展示各节点到探测目标的丢包与延迟,可对任意目标发起逐跳诊断;页面上的「启用出口探测」开关控制周期性探测。
  • 模型供应商表单中的「网络范围」(未分类 / 内网 / 公网)只是标注,不决定出口方式,也没有供应商级代理地址字段。
图 23-6 模型供应商的「网络范围」只有未分类、内网、公网三个标注选项,出网方式由节点出口策略统一决定

注意:代理连接失败、目标连接失败、被出站防护拦截在请求详情中有各自的错误类别;测试失败时请管理员检查代理地址、端口与认证。

能力说明

不提供的能力替代做法
:--:--
租户界面的备份恢复与系统更新入口、真实构建版本均由平台侧按实际部署方式实施;运维手册写明备份对象、频率、保留期与演练节奏,版本以发布单为准(见 23.5)
网关分组、自动修改 DNS、内置虚拟 IP 漂移全部节点共用入口池;用地域标签与按节点出口策略调度,由客户负载均衡器基于 /readyz 摘流(见 23.4、23.8)
在租户界面查看与重启网关节点、容量规划工具节点操作由平台管理员执行,控制台不可用时在主机执行 zenova status;容量由实施方按业务量估算
租户侧的主机容量告警租户告警规则的指标不含主机容量,由平台侧运维告警负责(见第 22 章)
统一的 RTO/RPO 承诺值以客户环境演练结果与实施方案约定为准(见 23.8)
按供应商或租户配置出口代理按节点配置出口策略(见 23.9)

---

上一章:22. 告警、通知、留存、导出与操作审计 · 下一章:24. 常用配置的维护与变更