Zenova 文档

把平台与租户的指标、日志、调用记录、审计、护栏命中、用量、告警、智能体日志与客户端会话持续发送到自有系统

集成与导出

「集成与导出」把平台产生的数据持续发送到企业自己的系统,例如 Kafka、Elasticsearch、云日志服务、SIEM、对象存储或可观测性平台。平台与租户各有一页,结构相同,数据互不可见:

平台「集成与导出」租户「集成与导出」
入口平台管理 → 系统 → 集成与导出租户管理 → 系统 → 集成与导出
谁可以操作平台管理员租户管理员
可发送的数据平台指标、平台日志、平台操作审计、平台告警事件调用记录、操作审计、护栏与敏感数据命中、小时用量、告警事件、智能体运行日志、客户端会话观测
目录分组可观测性、指标、日志消息队列、搜索与日志、安全 SIEM、存储、通用
导出数据(一次性 ZIP)全部租户或指定租户的调用记录、小时用量本租户的调用记录、小时用量

平台管理员看不到任何租户的集成条目与发送计数;租户管理员只看到本租户的条目。平台页的「导出数据」是唯一可以读取租户数据的入口,见下文「导出数据」。

页面分为「已启用」与「导出记录」两个页签,右上角是「导出数据」与「新建集成」。

智能体运行日志只在 Zenova 中提供;Zentrix Gateway 的目录里没有这一项。

接入一个目的地

  1. 点击右上角「新建集成」,进入创建页。左栏按类别列出全部产品,可按名称搜索,产品旁显示已配置的条数;不可选的产品置灰并说明原因。选择产品,例如「阿里云 Kafka」。
  2. 在右栏填写连接信息与凭据。字段说明随表单显示,常见产品的默认端点已预先填入。
  3. 选择要发送的数据。调用记录可按部门过滤(包含其下级部门),也可只发送失败的调用;其余数据不提供过滤,按全部记录发送。
  4. 选择起点:「从现在开始」只发送启用之后产生的数据;「从保留期起点补发」先补发该类数据保留期内的全部历史记录,再持续发送新数据。选择了多类数据时,补发起点取其中最晚的保留期起点。
  5. 点击「测试发送」。平台按「地址解析与出网校验 → 建立连接 → 认证 → 写入测试记录」四步检查,并逐步显示结果。测试记录带有 "test": true 标记。
  6. 测试通过后「启用」才可点击。测试结果在 15 分钟内有效;测试之后再修改连接字段或凭据,需要重新测试。
  7. 保存后回到列表页。表单有未保存的修改时,点击返回或取消会先请求确认。

编辑已有条目时,在行菜单或详情中点击「编辑」进入编辑页,产品不可更换。凭据只需填写要更换的字段,留空的字段沿用已保存的值。

每个租户最多配置 20 条。达到上限后创建页左栏的产品均不可选,并显示原因。

运行方式与投递语义

  • 实时:数据入库后约 10 秒内开始发送。只有对端确认收到,平台才会前进到下一批;对端故障期间数据在平台侧保留,恢复后从中断处继续发送,不会丢失。
  • 定时报表:按日、周或月在指定时刻生成一份报表文件,投递到对象存储、Webhook 或「平台托管下载」。只支持调用记录与小时用量两类数据:调用记录导出为 NDJSON,可按终端用户筛选;小时用量可导出为 CSV 或 NDJSON,可选择归集方式与筛选条件。对象存储与 Webhook 的连接字段与凭据和实时模式完全相同;Webhook 的完成通知必须签名,需填写签名密钥。

定时报表适合周期性投递;只需要一次性拿到一份文件时,使用下文的「导出数据」,不必新建条目。

原「报表导出」页面的定时任务已全部转为定时报表,计划与目的地保持不变。投递到平台托管下载的报表保持原启用状态;由原报表导出迁移来的对象存储报表需要在编辑中补全服务地址、区域与访问密钥后重新启用,Webhook 报表需要补填签名密钥后重新启用。补全之前,详情中显示「连接不完整」,「恢复」与「立即运行」不可用。

投递语义由目的地决定,重新导出前的确认弹窗会给出提示:

目的地重复数据
Elasticsearch、OpenSearch、ClickHouse、对象存储、Prometheus 写入按记录 ID 覆盖,不产生重复
Kafka、云日志服务、Syslog、Webhook、Splunk HEC、OTLP、Loki至少一次投递,故障恢复或重新导出时可能收到重复记录,请按记录 ID 去重

每条记录都带稳定的记录 ID:Elasticsearch 的文档 ID、Kafka 的消息键、Webhook 载荷中的 id 字段都使用它。

导出数据

「导出数据」一次性生成一份 ZIP 文件,适合临时取数、对账与审计取证,不需要新建集成条目。

  1. 点击右上角「导出数据」。
  2. 选择数据与格式:调用记录导出为 NDJSON,可按终端用户筛选;小时用量可导出为 CSV 或 NDJSON,并可选择归集方式。
  3. 选择开始时间与结束时间。单次最长 93 天,结束时间不能晚于当前时间。
  4. 平台页还需选择租户:「全部租户」(默认)或「指定租户」(最多 100 个,可按名称搜索)。ZIP 中每个租户一个文件,没有数据的租户也会生成文件(CSV 只有表头,NDJSON 为空文件),以便区分「没有数据」与「未导出」。
  5. 点击「开始导出」,页面切换到「导出记录」页签。新记录依次显示为排队中、运行中、成功,页面自动刷新状态。
  6. 成功后点击「下载」获取 ZIP 文件。文件保留 90 天,过期后显示「文件已过期」,下载不可用,可通过「重新导出」按同样的条件再生成一份。

失败时记录中显示原因,例如时间段内的数据已超过保留期并被清理、超出单次导出的行数上限(平台页按全部选中租户合计)、数据读取失败、平台存储未配置。超出行数上限时,请缩短时间段或减少租户后重新导出。删除记录会同时删除文件。

创建、删除与下载导出都记录在操作审计中。

状态

状态含义与处理
未配置尚未填写连接信息
待验证已保存,尚未有成功的发送
验证失败从未发送成功,详情中显示失败原因
发送失败曾经成功,最近一次发送失败;平台按退避间隔自动重试,数据不丢失
正常最近一次发送成功
已暂停不再发送;恢复时可选择从暂停处续接,或跳过暂停期间的数据
重新导出中正在从选定时刻起补发,详情中显示进度

失败原因分为:目的地不可达、认证被拒绝、对端返回错误、对端拒收数据、发送超时。认证被拒绝时请在编辑中更换凭据,更换凭据不会导致重发。

重新导出

在条目详情中选择「重新导出」,选定起始时刻后,平台显示预计条数与重复提示,确认后从该时刻起重新发送全部选中的数据。重新导出期间状态为「重新导出中」,追平后自动回到「正常」。同一条目同时只能有一次重新导出。

修改目的地地址或增减数据类型时,平台会提示「将从起点重新发送」,确认后生效;只修改名称、过滤条件或凭据不会重发。

平台目录

类别产品协议
可观测性OTLP、Datadog、Grafana Cloud、New Relic、Elastic APM、阿里云 ARMS、腾讯云 APMOTLP/HTTP
指标VictoriaMetrics、Thanos / Mimir、夜莺、阿里云 PrometheusPrometheus Remote Write
指标Prometheus 抓取平台提供条目专属的抓取地址,由 Prometheus 定期拉取
日志Grafana LokiLoki 推送接口

平台页的「已启用」表中同时列出 Sentry 错误上报,操作与其他条目一致。

租户目录

类别产品说明
消息队列Kafka、Redpanda、阿里云 Kafka、腾讯云 CKafka、华为云 DMS每类数据写入一个主题,消息键为记录 ID
搜索与日志Elasticsearch、OpenSearch、阿里云 Elasticsearch批量写入,文档 ID 为记录 ID
搜索与日志阿里云 SLS、腾讯云 CLS、华为云 LTS、火山引擎 TLS使用各云厂商的访问密钥签名写入日志服务
安全 SIEMSyslog、奇安信、安恒、深信服、SplunkRFC 5424 格式,支持 TCP 与 TLS
存储S3、阿里云 OSS、腾讯云 COS、华为云 OBS、MinIOS3 兼容接口,按批写入文件;也可用于定时报表
存储平台托管下载仅定时报表,文件在平台保存并提供限时下载链接
存储ClickHouseHTTP 接口写入,按记录 ID 去重
通用WebhookHTTP POST,请求头带 HMAC-SHA256 签名,可用于定时报表(定时报表必须签名)
通用Splunk HECSplunk HTTP Event Collector

客户端会话观测

客户端会话观测按事件完整发送,包含会话正文。启用前请确认目的地的访问控制与保留策略满足企业的数据要求。

网络与安全

  • 租户填写的目的地地址不能指向平台内部服务、内网保留地址或部署内置组件;Kafka 集群返回的节点地址、对象存储的虚拟主机地址同样受此限制。被拒绝时失败原因显示为「目的地不可达」。
  • 平台不跟随目的地返回的重定向。
  • 凭据保存在平台的密钥服务中,编辑时不回显。
  • 每个租户的发送速率上限为每秒 2,000 条,平台为每秒 20,000 条;超出部分顺延到下一个周期发送,不会丢弃。