23. 平台运行与日常维护
完整版章节。内容按 2026.10 主线代码与运行环境界面核对;具体入口以当前许可、账号权限和交付环境为准。
本章内容:本章面向运维人员、平台管理员,以及需要了解平台运行方式的租户管理员。内容包括:怎么判断平台是否正常、控制面与数据面的边界、网关节点与入口维护、备份恢复与升级、应急停用、参数调优与多节点高可用。
关于停机与全局影响:本章涉及停机、重启、切换的操作都会影响正在使用平台的成员与调用方。执行前请确认影响面(谁受影响)、停机时长(可接受多久)、验证方式(怎么确认恢复),并在维护窗口内执行;租户界面无法完成的操作由平台侧实施。
| 入口 | 页面 | 适用账号 |
|---|---|---|
| :-- | :-- | :-- |
公开页面 /platform-status | 平台状态页 | 任何人,无需登录 |
| 管理后台 | 运行总览;网关域名(从会话详情的网关提示条进入) | 租户管理员 |
| 平台管理台 | 网关节点(含节点日志)、出口代理、运行监控、系统维护(系统更新、备份与恢复) | 平台管理员 |
| 命令行 | zenova status、zenova doctor | 平台管理员 |
23.1 判断平台是否正常
适用场景:值班交接、每日巡检、收到「平台是不是挂了」的询问。
- 打开平台状态页
https://<网关地址>/platform-status。公开页面,无需登录,适合放进值班手册或监控大屏。 - 登录管理后台看「运行总览 › 总览」的数据面指标与最近告警;看部署本身由平台管理员进入平台管理台的「运行监控」。
你会看到:平台状态页按组件列出 24 小时探活时间线(数据库、权限服务、容器运行时、身份认证、模型网关、数据分析、对象存储等,按部署实际包含的组件显示),绿色健康、红色表示该时段不健康;运行总览给出网关耗时、实时并发与请求结果分布。「平均会话上下文峰值」这类卡片在范围过大时提示「这个时段的数据量太大,请缩短时段」,切到 24 小时即可显示,这是保护提示不是故障。

租户能看到什么:组件探活、网关耗时与并发、请求结果分布、告警规则与事件可查;网关节点列表、配置落后、回传积压、主机容量告警、备份与升级、出口代理属平台管理台,由平台侧负责。
23.2 控制面与数据面的职责边界
适用场景:规划维护窗口,或控制台打不开而业务仍在跑,需要判断属于哪种故障。
| 控制面 | 数据面(网关节点) | |
|---|---|---|
| :-- | :-- | :-- |
| 承担什么 | 管理后台、管理接口;保存并下发配置;后台任务 | 接收业务调用,鉴权、限流、路由、护栏、转发 |
| 不可用时 | 控制台打不开,配置无法修改 | 调用失败 |
| 依赖 | 平台数据库、权限服务、身份认证 | 本地已落盘的配置与快照,不依赖数据库 |
控制面以主备方式运行,主实例通过 45 秒租约维持身份,超期后其他副本接管。控制面不可用期间,网关节点继续按最近一次下发的配置处理调用,已签发的 API 密钥照常可用——短暂重启控制面不中断业务;分析数据库不可用时调用也继续转发,明细本地保留、恢复后补写。
注意
- 「控制台打不开」与「调用不通」是两个故障面:前者通常不影响业务,后者一定影响,报障时先分清。
- 数据面能脱离控制面运行,前提是节点上已有可用配置;从未成功连接过控制面的新节点不具备这个能力。
- 产品不给出统一的 RTO、RPO 承诺值,切换时间与数据丢失量取决于部署拓扑与数据库方案,应以客户环境演练结果为准。
23.3 网关节点与入口
适用场景:新增节点分担流量、节点维护、入口域名与证书变更;节点操作由平台管理员在「网关」中完成。
| 项目 | 说明 |
|---|---|
| :-- | :-- |
| 心跳判定 | 节点定期上报;30 秒内新鲜,超 120 秒未上报判为离线并告警 |
| 列表字段 | 节点名、状态、地域、版本、入口池;「节点地址」「配置落后版本数」「最近心跳」在「列设置」中打开;可按生命周期、地域、入口池、离线筛选 |
| 配置落后 | 落后超过 2 个版本时触发「配置落后」告警 |
排空与退役:在节点详情选择「排空」,节点停止接收新请求,等待在途请求(含流式响应)、回传积压与本地暂存清空,期间可随时「取消排空」;同时由网络管理员把它从 DNS 或负载均衡器摘除;排空完成后选择「退役」。强制退役会吊销节点的实例身份并丢弃尚未回传的记录与本地暂存,只在确认不再恢复时使用。
扩容:点「添加节点」,填写节点名、地址、地域、回连地址与安装方式,取得一次性安装命令(24 小时有效)在目标主机执行;上线后「加入入口池」并自检通过才承接流量。
入口域名与证书(租户侧):网关域名页不在侧栏中,从「运行总览 › 会话」打开任一会话详情,在网关提示条点「查看接入方式」进入。在「域名」页签查看顶部提示,显示「数据面已生效。配置序号 N。各副本的校验已分别对照当前发布。」表示变更已同步到全部副本;「证书」页签查看证书,未上传时为「—」。

注意
- 节点离开入口池、排空或离线时,控制面会标记状态并告警,但不会自动修改 DNS,也不提供虚拟 IP 漂移;摘流由负载均衡器基于
/readyz完成,或由运维调整 DNS。 - 排空要等在途流式响应结束,长连接下耗时可能远超预期,安排窗口时把这段时间算进去。
23.4 健康检查与优雅上下线
| 接口 | 用途 | 返回 |
|---|---|---|
| :-- | :-- | :-- |
/healthz | 存活探测 | 进程存活时 200,正文 ok |
/readyz | 就绪探测 | 已装载配置时 200;与控制面失联但仍按本地配置服务时也是 200(降级态,不应摘除);无配置时 503;排空中返回 draining=true |

注意
/readyz只在网关节点的监听端口上提供,经控制台域名访问会落到控制台页面,负载均衡器应直接探测节点端口。- 节点停机分两段:先摘流量,
/readyz不就绪、负载均衡器停止派发;再关闭接入,新请求以503 gateway_draining拒绝(提示 1 秒后重试),等流式响应完成后退出。 - 滚动重启或升级时,对每个节点依次执行「排空 → 升级或重启 → 入口自检 → 加入入口池」,确认恢复后再处理下一个;事后可在「运行总览 › 请求」核对发版前后各 10 分钟。
23.5 备份、恢复与升级
这两项能力在租户界面都不可用。「备份与恢复」与「系统更新」是平台管理台「系统维护」(/admin/maintenance)的页签,并依赖部署时安装的更新器组件。当前部署形态下以租户管理员身份访问都会被送回「运行总览」,备份接口返回 availability=updater_unavailable、canStartBackup=false、列表为空,升级接口返回 updater_unavailable。能力是否存在、如何执行,以实际部署方式为准。
备份(写进运维手册的固定条目):明确对象与责任方——平台数据库、分析数据库、对象存储、安装状态(含部署配置与主密钥);前三项若用客户既有服务,由该服务自身的备份机制负责,并与平台备份对齐到同一时间点;明确频率、保留期与演练节奏(平台不提供租户可配置的备份计划),至少每次大版本升级前隔离演练。
升级:确认控制面与网关节点为同一版本、两侧一起处理,跨版本升级先确认是否有必须先升的中间版本;升级前留底并记录备份标识,安排窗口并通知(控制台切换期间可能短暂不可用,网关调用通常不受影响,但滚动更新节点时在途长连接可能中断);按节点滚动执行、一次一个(流程见 23.4),完成后按四项验证恢复:状态页绿色、最小请求返回 200、未授权密钥仍被拒、审计记录连续。
注意
- 恢复会用备份覆盖本机数据,之后写入的数据丢失,且只能恢复同一版本、同一部署形态的备份;升级与恢复不能并行。
- 升级后能否回退取决于数据库变更是否已落库,回退方案以实际部署方式为准;两侧版本不一致常表现为「配置落后」告警不消失或节点反复重连。
23.6 应急停用
适用场景:密钥泄露、账号异常、上游不可用或某条规则产生错误拦截,需要立刻止血。
| 对象 | 停用入口 | 效果 | 恢复方式 |
|---|---|---|---|
| :-- | :-- | :-- | :-- |
| API 密钥 | 模型分组 › API 密钥管理「批量禁用」 | 该密钥的调用立即被拒 | 不可恢复,需重新签发 |
| 模型分组 | 详情 › 基本信息 › 关闭「发布」 | 经该分组的全部调用被拒 | 重新打开「发布」 |
| 模型供应商 | 详情关闭「开启」 | 引用它的模型不可用 | 重新开启 |
| 流量规则 | 规则清单中的状态开关 | 请求不再匹配此规则 | 再次打开开关 |
| 成员账号 | 成员与部门 › 移至已离职 | 会话、密钥、令牌失效 | 恢复入职 |
操作步骤(停用一把泄露的密钥):在「模型分组 › API 密钥管理」搜索密钥名称或前缀,勾选后核对「已选择」数量,点「批量禁用」;发一次调用确认被拒绝,再到「操作审计」确认出现「API 密钥 · 吊销」记录。
你会看到
- 密钥禁用后调用返回
403、reason为PERMISSION_DENIED——语义是「身份不被允许」而非「密钥不存在」,向调用方解释时要说清。 - 关闭「发布」后调用在约十几秒内开始被拒,返回
401、message为Invalid or expired gateway credentials.。错误信息不会说明是「服务已停用」,停用后要主动通知调用方;重新打开「发布」后恢复不是瞬时的,需分钟级,期间用最小请求持续探测,不要反复操作开关。

注意
- 「批量禁用」没有二次确认,点下去立即生效,操作前务必核对勾选数量。
- 需要「暂停而不作废」某个调用方时不要禁用密钥,改用流量规则「拒绝本次调用」;处置完成后在运维记录中写下原因、范围与恢复时间。
23.7 运行参数调优
参数主要通过流量规则的处置动作控制,属热生效配置。限流与排队见 21.4,超时与熔断见 21.3、21.5。
请求体大小上限:进入「流量规则 › 新建规则」,条件限定到目标调用方(如「调用方 = 某个 API 密钥」且「调用类型 = 模型调用」),添加处置动作「请求体大小上限」,填写上限(KB)后保存。
你会看到:超过上限的请求返回 413,未超过的返回 200。填写明显不合理的数值时字段标红、「保存规则」置灰,字段下方显示内部错误标识而非业务提示,按取值范围改正即可。「确认变更」会列出命中顺序,但该位置显示为「第 N 位 · 未知名规则」。

注意:上限类参数按调用方生效,建议先用只匹配测试调用方的规则验证,再扩大。
23.8 多节点高可用
| 层面 | 设计行为 |
|---|---|
| :-- | :-- |
| 控制面 | 可多副本,主实例通过 45 秒租约维持身份,超期后接管;期间控制台不可用,调用不受影响 |
| 网关节点 | 配置与快照落盘,重启时先装载本地配置再连控制面;断连 2 分钟内正常,超时判离线并告警,节点继续服务 |
| 断连期间 | 请求记录写本地暂存、恢复后补传;暂存写满时按节点设置「拒绝新请求」或「丢弃正文只保留计量」 |
| 数据库 | 可用客户既有高可用集群或高可用数据层;主节点故障时数据面继续转发,控制台写失败 |
| 入口 | 多节点前置负载均衡器,单节点故障由健康检查摘除,恢复后重新加入入口池 |
| 双机房 | 数据面双活、数据层单写并物理复制;整站故障需先隔离故障站点,再由实施人员受控提升备站 |
以上均需平台管理员或部署方操作。演练建议(上线前在独立环境完成,记录切换时间与失败请求数):① 持续调用时停止一个网关节点,观察摘除时间、失败请求数,以及节点在 120 秒内被判离线并告警;② 停止主控制面,确认约 45 秒后主身份转移且调用不受影响;③ 依次停止控制面、平台数据库、分析数据库,确认调用持续成功、/readyz 保持 200。
注意
- 产品不提供网关分组:全部节点接收同一份全平台配置、共用一个入口池;按区域就近接入用地域标签、按节点出口策略与客户 DNS/负载均衡器调度。
- 不要把
/readyz的降级态当成故障:与控制面失联但仍按本地配置服务的节点返回 200,此时摘除反而损失容量。
23.9 出口与网络范围
- 出口代理按网关节点配置:平台管理员在「网关 › 出口与代理」页签的「出口代理」中新增代理,在节点详情的「出口策略」中为每个节点配置规则与默认出口,保存后下发。
- 出口判定:「网关 › 出口与代理」页签的「出口判定」按近 5 分钟真实调用与节点探活,汇总各节点到各出口目的地的状况;某节点到某目的地明显差于其他节点(建连失败率高、首字节偏慢、上游按地区拒绝等)时判为「避开」,该节点不再优先走这个目的地。
- 出口连通性:「运行监控 › 出口连通性」按「总览」「探测目标」「诊断记录」展示各节点到探测目标的丢包与延迟,可对任意目标发起逐跳诊断;页面上的「启用出口探测」开关控制周期性探测。
- 模型供应商表单中的「网络范围」(未分类 / 内网 / 公网)只是标注,不决定出口方式,也没有供应商级代理地址字段。

注意:代理连接失败、目标连接失败、被出站防护拦截在请求详情中有各自的错误类别;测试失败时请管理员检查代理地址、端口与认证。
能力说明
| 不提供的能力 | 替代做法 |
|---|---|
| :-- | :-- |
| 租户界面的备份恢复与系统更新入口、真实构建版本 | 均由平台侧按实际部署方式实施;运维手册写明备份对象、频率、保留期与演练节奏,版本以发布单为准(见 23.5) |
| 网关分组、自动修改 DNS、内置虚拟 IP 漂移 | 全部节点共用入口池;用地域标签与按节点出口策略调度,由客户负载均衡器基于 /readyz 摘流(见 23.4、23.8) |
| 在租户界面查看与重启网关节点、容量规划工具 | 节点操作由平台管理员执行,控制台不可用时在主机执行 zenova status;容量由实施方按业务量估算 |
| 租户侧的主机容量告警 | 租户告警规则的指标不含主机容量,由平台侧运维告警负责(见第 22 章) |
| 统一的 RTO/RPO 承诺值 | 以客户环境演练结果与实施方案约定为准(见 23.8) |
| 按供应商或租户配置出口代理 | 按节点配置出口策略(见 23.9) |
---