Zenova 文档

28. 用量与成本

完整版章节。内容按 2026.10 主线代码核对;具体入口以当前许可、账号权限和交付环境为准。

返回概览 · 完整版目录 · 下载完整 PDF

本章内容:本章面向平台管理员、财务与运营人员,以及需要核对本人消费的成员和智能体负责人。读完后你能做到:在「运行总览」找出钱花在哪些模型、部门、成员和接入凭据上;说清 Token 与费用记在谁头上、员工对话与智能体的消耗怎样区分;用标签与终端用户标识把费用拆到业务场景和最终使用者;用配额在调用发生时把钱挡住;读懂性能与缓存指标,并按期出账与汇报。配额的规则细节见第 26.14 节,模型定价见第 5 章。

28.1 用量与成本的查看入口

适用场景:先确定自己该去哪里看,以及能看到多大范围的数据。

入口位置适合谁能看到什么
:--:--:--:--
运行总览「管理后台 › 观测中心 › 运行总览」租户管理员、观测与财务类角色全租户或所选范围的费用、Token、性能、预算与调用明细
使用情况顶部导航「首页」›「用量 › 使用情况」所有成员当前工作空间近 30 天的调用、成功率、Token、费用,常用客户端与智能体,近一年活跃度
模型用量「首页」›「用量 › 模型用量」所有成员按模型分组、计费归属、模型、API 密钥拆分的消费明细
调用日志「首页」›「用量 › 调用日志」所有成员逐条模型调用记录
用量统计「智能体」中打开某个智能体 ›「用量统计」智能体负责人该智能体每个对话的 Token 消耗

数据范围:「首页」下的三个用量分区按当前工作空间统计。管理员、财务与只读审计角色看到工作空间全部成员的数据,页面说明为「当前工作区全部成员的模型调用、能力调用与近一年活跃度。」;其他成员只看到本人发起的调用,说明为「你在当前工作区的模型调用、能力调用与近一年活跃度。」。按本人统计时,没有发起人的调用(如部分定时运行的智能体调用)不可见。

注意:各入口与计费使用同一份数据,只是统计范围与维度不同;用量汇总有分钟级延迟,核对刚发生的调用以调用详情为准。

28.2 读运行看板

适用场景:需要在一页里掌握整体规模、成功率和主要消耗方,或向外汇报当期运行情况。

前提:账号为租户管理员,或具备观测、财务类角色。

统一的范围设置:开始分析前先固定范围,保证比较的是同一批数据。

设置位置说明
:--:--:--
时间范围工具栏日期按钮最近 24 小时、最近 7 天、最近 30 天、本年度或自定义范围;时间边界按浏览器显示时区计算
数据范围工具栏「全公司」按钮在「组织架构」中选部门或成员(含下级部门),或切到「工作空间」「职能组」
调用条件工具栏「筛选」客户端、模型、接入凭据、终端用户、标签等;添加后整页指标随之收敛

操作步骤

  1. 打开「运行总览 › 总览」,选择时间范围。指标卡连同走势小图和相较上一周期的变化一起刷新。
  2. 读顶部四张消耗卡:「总消耗费用」「总 Token 消耗量」(副标题为请求总次数)、「输入 / 输出 Token」「缓存命中 Token」(附命中率)。
  3. 读下一排性能卡:首字延迟、生成速率、「模型调用交付成功率」(附五类失败归因)、MCP 工具调用。
  4. 读第三排:网关耗时 P95(分模型、MCP、A2A)、端到端 P99(副标题给出「95% 的请求在 N 秒内」)、活跃用户、覆盖部门。
  5. 读末排:「平均单次费用」「网关实时并发」(副标题为最忙时段平均)、「平均会话上下文峰值」「提示词缓存节省」。
  6. 向下滚动浏览其余面板:客户端分布、工具调用排行、预算、供应商、调用流向、小时热力、单场会话花费、提示词缓存按客户端、推理强度分布、响应时间分布等。
  7. 需要把当期结果交给他人时,点右上角「导出汇报」。
图 28-1 最近 24 小时的指标卡:总消耗费用、总 Token 与请求次数、输入 / 输出 Token、缓存命中 Token,以及首字延迟、生成速率、交付成功率与分位耗时

你会看到

  • 每张指标卡的副标题给出补充说明,例如成功率卡片下方按平台配置、上游故障、调用方、传输中断、未归类拆分失败数。
  • 「小时热力」按星期 × 小时统计请求分布,颜色深浅表示请求量。
  • 「单场会话花费」按会话轮数分档,给出一场会话的典型整场花费;子任务与辅助调用计入所属会话,不足 5 场的档位不显示。
  • 某张卡片不支持当前筛选时,卡片上提示「不受「标签」筛选影响。」这类说明。
图 28-2 同一看板切到最近 7 天后的形态,各指标卡与走势随之更新

注意:页面数据接近实时刷新,两次读取之间数字会因新调用而不同,核对时请在同一时刻读取。指标卡覆盖所选范围内的全部真实流量,包括员工对话、智能体运行与外部客户端,也包括长上下文与排队中的请求,反映整体体验,不等于网关自身开销。

28.3 看懂消耗排行与高消耗凭证

适用场景:月初复盘或费用异常增长时,先回答「钱主要花在哪里、是哪一把密钥在跑量」。

前提:模型已在模型供应商处定价(第 5 章);未定价的调用仍计入次数与 Token,金额记为 0。

操作步骤

  1. 在「总览」向下滚动到「模型费用排行」「部门费用排行」「人员费用排行」三张表,每项同时给出金额与调用次数,含未定价调用时注明「含 N 次未定价」。点击任意一项会切到「请求」页签并带上对应筛选,可以逐条核对。
  2. 要判断消耗由哪个业务系统在跑量时,滚到「调用流向」面板:它按「接入凭据 → 客户端 → 模型 → 供应商」四列展示分布,每列只显示调用量最高的若干项,其余合并为「其他 N 个」;右上角可「导出 CSV」。
  3. 回到工具栏点「筛选」,添加「接入凭据 = 该凭据」,整页指标收敛到这把凭据,此时「总消耗费用」才是它的费用量级。
图 28-3 「总览」下方的三张费用排行:每项同时给出金额与调用次数,末位出现无法归属的项

你会看到

  • 模型排行的项名形如「模型名 · 供应商账号」,最多展示前若干项并标注总项数。
  • 「调用流向」的节点名形如「所属人 · 凭据名」,统计的是调用次数,不是金额或 Token;「未经接入凭据」「未标识客户端」「未知模型」「未分配供应商」四类节点收纳缺少对应信息的调用。员工对话与平台托管智能体的调用不经过 API 密钥,归在「未经接入凭据」下。
图 28-4 「筛选」提供客户端、模型、接入凭据、终端用户、标签等条件,选「接入凭据」后整页指标按该凭据收敛

注意:判断某把凭据花了多少钱,要看第 3 步收窄后的指标卡;节点名里的「所属人」是凭据归属人,不等于每次调用的实际操作人。排行只提供金额维度,按 Token 比较的做法见本章能力说明。

28.4 核对 Token 与费用归属

适用场景:判断消耗是被输入还是输出驱动、请求是否变多、缓存是否发挥作用,以及核对某一笔调用记在谁头上。

操作步骤

  1. 在「总览」顶部读指标卡:「输入 / 输出 Token」分列并给出比值,「缓存命中 Token」附命中率。
  2. 读「提示词缓存节省」卡片,它给出与不使用缓存相比少花的金额与比例,以及无法计价的调用数。
  3. 用「筛选」依次添加模型、客户端、接入凭据,对比请求次数与 Token 的变化幅度:两者同比例增长说明请求变多;次数不变而 Token 增长说明单次请求变长。
  4. 打开一条代表性调用,切到「Token 与用量」页签,核对单次用量、推理 Token、费用与计入的模型分组。
图 28-5 单次调用的「Token 与用量」:输入与输出 Token 分列、推理 Token 单列,费用注明按哪家供应商、哪个模型的单价计算

你会看到

  • 「输入 / 输出 Token」的比值显著大于 1,说明开销集中在输入侧,通常意味着上下文过长或缓存未命中。
  • 「提示词缓存节省」是独立卡片,节省金额不计入「总消耗费用」,两者不能相加。
  • 单次调用的费用说明写成「按〈供应商〉/〈模型〉单价」,并注明本次计入哪个模型分组。

注意

  • 归集方式:每笔调用在调用结束时按当时的有效单价计费,记到发起人、发起人所属部门与所使用的接入凭据上。部门费用一笔只计一次,不向上级部门汇总。
  • 无法归属是正常现象:服务账号发起的调用、发起人已离开组织、历史调用缺少归属记录,都会落到无法归属的项中。

28.5 成员查看本人用量

适用场景:成员想知道自己最近用了多少、花了多少,或核对某把 API 密钥的消费。

操作步骤

  1. 在顶部导航进入「首页」,左侧「用量」分组默认打开「使用情况」。
  2. 读页面顶部的问候与「最近 30 天使用情况」:「模型调用次数」「成功率」「Token」「费用」四项指标,每项附「较前 30 天」的变化。
  3. 读下方两张清单:「近 7 天调用最多的客户端」与「近 7 天调用最多的智能体」,以及「最近一年活跃度」热力图与「近一年模型调用」「近一年 Token」「活跃天数」「最长连续活跃」四项汇总。
  4. 需要看费用明细时,点左侧「模型用量」,选择时间范围(「今天」「最近 7 天」「本月」,默认本月),按「模型分组」「计费归属」「模型」「API 密钥」筛选。
  5. 需要逐条核对时,点左侧「调用日志」。
图 28-6 成员视角的「模型用量」:时间范围与四张指标卡,下方按计费归属与模型拆分金额

你会看到

  • 「模型用量」顶部为「可用模型分组」「可用 API 密钥」两项资源概览,以及「消费金额」「模型调用次数」(附成功率)「总 Token」(附输入与输出)「平均单次成本」四张指标卡;下方为「计费归属」「模型占比」「消费趋势」与「消费明细」,可「导出明细」。
  • 计费归属取调用时选择的公共、个人、部门、职能组或「试跑」;历史调用缺少记录时显示「未记录归属」。
  • 有调用缺少费用时,指标卡注明「有 N 次调用缺少费用,金额和图表仅统计已记录费用。」。
  • 近 30 天没有任何调用时,「使用情况」显示「近 30 天没有调用」,并提供「接入客户端」入口。

注意:「使用情况」的费用指标只给总额,明细见「模型用量」。「使用情况」的头部指标包含员工对话、智能体运行与外部客户端发起的全部模型调用;下方「客户端」清单只统计客户端发起的调用,「智能体」清单统计智能体的能力调用次数。

28.6 员工对话与智能体的用量

适用场景:区分员工直接提问的开销与智能体在后台产生的开销,找出子代理、上下文压缩、重试等隐性消耗。

按智能体查看

  1. 在顶部导航进入「智能体」,打开目标智能体,切到「用量统计」。
  2. 读顶部汇总:「总用量」「输入 / 输出」「平均每对话」「最高消耗对话」。
  3. 在列表中按「对话」「输入 Token」「输出 Token」「总 Token」「最近使用」查看每个对话的消耗,可用「搜索对话...」查找。

你会看到:智能体还没有产生对话时,页面显示「暂无 Token 用量记录」与「该智能体产生对话后,会在这里显示每个对话的 Token 消耗。」。

按调用目的拆分

平台对每次模型调用都记有「调用目的」,取值如下:

类别调用目的
:--:--
员工与智能体员工对话、子代理、上下文压缩、重试
平台检测与判断工具调用防护、意图识别、内容安全识别、敏感信息识别、问答语义匹配、图片理解
其他影子分派、控制台试用、平台探针、平台内部调用

其中平台探针与平台内部调用不计入租户账;检测与判断类调用由流量规则中的检测动作产生(第 25、26 章),计入租户用量。

操作步骤

  1. 在「运行总览 › 请求」的「筛选」中添加「用途」,可选值为:对话、向量、重排、文生图、图片编辑、语音合成、语音转写、判断、视频生成。该字段表示端点用途,与「调用目的」不是同一概念。
  2. 打开「管理后台 › 观测中心 › 使用洞察」的问题列表,查找辅助类问题(例如「辅助调用『…』带着整段上下文」),点进详情。
  3. 在「分布特征」中读「调用来源」维度,它给出「子代理内置调用」这类来源在该问题中、以及在全部会话中的占比。
  4. 需要逐轮核对时,打开会话详情的「概要」页签读「重试 · 切换渠道 · 排队」计数;再导出 JSONL 的「轮次运维明细」,每行一轮,带子代理、辅助调用、上下文压缩三项分道计数与该轮重试次数(第 30 章)。
图 28-7 使用洞察问题详情的「分布特征」:按调用来源、报错类别、客户端等维度给出占比,可定位子代理内置调用

注意:员工在「对话」中的提问与平台托管智能体的调用,由平台区分员工对话、子代理与上下文压缩。通过外部 API 密钥接入的客户端(例如编程助手),其调用一律按「员工对话」计量,这类客户端自己产生的子代理、压缩、标题生成调用在网关侧无法与主对话区分;需要按用途拆分时,改由平台托管的智能体发起调用,或开启客户端上报(第 29 章)。

28.7 按部门、项目与标签拆账

适用场景:财务分摊需要把费用按部门、工作空间或业务场景拆开并出账。

前提:账号为租户管理员;已按组织架构维护好成员所属部门。

按部门与项目

  1. 在「总览」读「部门费用排行」,每行给出部门名(含上级路径)与金额、调用次数。
  2. 需要按项目查看时,点工具栏「全公司」,切到「工作空间」(或「职能组」)并选择目标,整页指标收敛到该范围。逐个读取「总消耗费用」即得项目维度的金额。
图 28-8 部门费用排行:每行给出部门路径与金额、调用次数,末位为无法归属的调用

部门归属规则:API 密钥记在部门账上的,计入该部门;否则计入使用人所在部门;使用人属于多个部门时,计入这些部门最深的共同上级。

按标签:同一把 API 密钥服务多个业务场景、部门与成员维度切不开时使用。

  1. 进入「管理后台 › 流量 › 标签」,点「新建标签」,填写「英文标识」(用稳定、不含敏感信息的短名,如 biz_scene)与「中文名」,「适用范围」选「调用方」,勾选「允许调用方在请求头中声明」。
  2. 打开标签详情,点「新建可选值」逐个添加业务取值。详情页顶部给出的请求头示例可以直接交给调用方:
curl https://<网关地址>/v1/chat/completions \
  -H "Authorization: Bearer <YOUR_API_KEY>" \
  -H "Content-Type: application/json" \
  -H "x-zenova-tags: biz_scene=code_review" \
  -d '{"model":"通用对话","messages":[{"role":"user","content":"你好"}]}'
  1. 在标签详情右上角点「查看用量」,页面跳到「运行总览」并自动带上该标签筛选;日常检索时在「运行总览 › 请求」的「筛选」中添加「标签」,取值分「标签名(任意值)」与「标签名:值」两种粒度。
图 28-9 标签详情:顶部给出可直接交给调用方的请求头示例,下方维护可选值与启用状态

生成出账文件

  1. 进入「管理后台 › 审计与合规 › 报表导出」,点「新建导出」。
  2. 「数据」选「用量汇总」,「归集方式」按需要选逐条明细、按部门、按用户、按接入凭据或按标签;选「按标签」时再指定标签键。
  3. 设置「频率」(单次 / 每天 / 每周 / 每月)、「范围」与「去向」(收件箱 / 对象存储 / 回调地址),提交。
  4. 任务完成后在列表中下载文件;定期任务按频率自动生成新文件。
图 28-10 报表导出列表:每行给出名称、数据、范围、频率、最近一次结果与去向,已完成的带「下载」按钮

你会看到:「按部门」「按标签」等用量汇总文件的表头一致:归集对象、调用次数、输入 Token、输出 Token、缓存 Token、费用、币种、统计区间。每行一个归集对象,另有一行「未归属」。文件中的统计方式与页面一致。

注意

  • 标签只对声明之后的调用生效,不回溯历史调用;新建后要通知调用方更新请求头,否则费用仍归在「未打标签」。
  • 未开放「允许调用方在请求头中声明」的标签键,调用方带了会被拒绝(HTTP 400,VALIDATION_FAILED,原因 tag_not_declarable);声明了不在可选值内的取值仍然放行,但该次调用只落在「标签名(任意值)」下。
  • 「归集方式」中没有「按模型」,按模型出账请导出「完整调用记录」后自行分组;工作空间维度没有并列排行,也不能直接按工作空间出账。
  • 删除导出任务不会删除已生成的文件;定期任务首次生成前,列表的「最近一次」为空,属正常。

28.8 按终端用户计量

适用场景:一个业务系统用同一把 API 密钥服务大量最终用户,需要按最终使用者统计次数与费用。

前提:已有一把可用的 API 密钥;业务系统能为每个最终用户生成稳定的内部编号。

操作步骤

  1. 让业务系统在每次请求中传入终端用户标识,两种方式任选其一,同时出现时以请求头为准:请求头 x-zenova-end-user: <终端用户标识>,或 OpenAI 协议请求体顶层的 user 字段。
  2. 在「运行总览 › 总览」点「筛选」,添加「终端用户」条件并选中目标用户,整页指标收敛为该用户的调用量与费用。
  3. 打开终端用户详情,读「调用次数」「失败次数」「费用」「首次出现」「最后出现」与「按日走势」。
  4. 点「查看请求」,跳到「请求」页签并按该终端用户筛选,逐条核对。
图 28-11 终端用户详情:调用次数、失败次数、费用、首次与最后出现时间,下方按日给出消耗与请求走势

你会看到:详情页头的标识即业务系统传入的原值;「按日走势」同时给出消耗与请求两条曲线;「查看请求」后列表只包含该终端用户的调用,条数与「调用次数」一致。

注意

  • 标识由业务系统自行定义,平台不校验真实性。不要在标识中放手机号、身份证号等敏感信息,用内部编号即可。
  • 终端用户与「发起人」不是一回事:发起人是 API 密钥所属的平台成员,终端用户是业务系统转述的最终使用者。终端用户也参与会话识别,共用密钥的不同终端用户不会被归入同一会话(第 26.5 节)。
  • 「终端用户」筛选按需检索候选值,展开时不会预列全部,直接输入完整标识最稳妥。

28.9 用预算与硬墙控制成本

适用场景:给某个成员、部门、职能组或工作空间限定周期内的 Token 或金额;给试用服务、批处理服务设硬上限,防止意外跑量;在全租户月度费用接近预算时收到通知。

前提:账号为租户管理员,或对该模型分组有管理权限。设置金额预算前,分组中模型的上游必须已有发布价;未定价时对话框提示「此分组的上游都还没有发布价,金额预算暂时不能填」,需先到「价格」页定价(第 5 章)。

操作步骤

  1. 进入「管理后台 › 组织与权限 › 模型分组」,打开目标分组,选择「可用范围与配额」页签。
  2. 在需要限制的对象所在行点「配额编辑」,确认「启用策略」开关为开启。
  3. 在「Token 预算」中按周期填写上限(单位十亿 B,例如 0.000003 表示 3,000 Token),在「金额预算(人民币)」中按周期填写金额上限。不需要限制的周期留空,点「确认」。
  4. 需要限制整个服务(不区分对象)时,在服务详情的「基本信息」页签点「编辑配额」,在「服务级配额」中填写后确认。
图 28-12 「编辑配额」对话框:启用策略、Token 预算与金额预算均可按小时 / 天 / 月 / 累计设置,留空表示该周期不限

你会看到

  • 保存后对象行按「本小时 / 今日 / 本月 / 累计」四行显示已用与限额,超限时该行标红。
  • 超额后调用返回 HTTP 429,响应头 x-should-retry: false 表示不可重试。错误体中 budget 区分触发的是 Token 预算(token)还是金额预算(money),period 给出周期,window_end 给出窗口结束时间:
{
  "error": {
    "type": "insufficient_quota",
    "code": "insufficient_quota",
    "reason": "POOL_EXHAUSTED",
    "details": [{
      "reason": "pool_exhausted",
      "metadata": { "budget": "money", "period": "hour", "used": "…", "limit": "…", "window_end": "…" }
    }]
  }
}
  • 员工在「对话」中额度用尽时,界面提示哪一层的哪个周期额度已用尽,以及恢复时间或「请联系管理员调整额度」。
图 28-13 配额耗尽后调用方收到的 429:错误体中带 budget、period、used、limit、window_end,客户端可直接判断恢复时机

查看预算执行情况:在「运行总览 › 总览」的「预算」面板中,按预算池列出部门、用户、工作空间、职能组、模型分组、接入凭据等对象的当期用量与状态(「未超限」「接近限额」「额度耗尽」「已停用」「未配置预算池」),可以提前发现即将触顶的对象。

注意

  • 记账时机:额度在调用结束后按实际用量记账,单次调用可能把已用量推过限额,从下一次调用起拒绝。超出量至多为一次请求的用量,单次用量很大的场景要给限额留余量。
  • 留空与填 0 含义相反:留空是该周期不限,填 0 是该周期一次也不允许。要取消全部周期的限制请关闭「启用策略」,而不是把每个周期都清空。关闭「启用策略」后设置仍保留,但不再限制请求,额度池也停止记账。
  • 小时、天、月按自然周期滚动,「累计」从启用起一直累加。配额保存后不是瞬时生效,调整后稍等片刻再核对。
  • 金额预算只对已定价的模型计量,未定价模型的调用不计费、也不占金额预算,会正常放行;要堵住这类消耗,先到「价格」页补齐发布价。配额只管总量,速率与并发限制在流量规则中配置(第 26 章)。
  • 单个对象的配额没有接近阈值的推送,请定期查看「预算」面板。

28.10 读性能指标与分位值

适用场景:判断变慢发生在网关侧还是上游侧,或把平台读数与客户端侧的记录对照。

操作步骤

  1. 在「总览」读性能卡:「首字延迟」为时间窗内流式调用首字时间的均值;「生成速率」为每秒输出 Token 数;「网关耗时 P95」分别给出模型、MCP、A2A 三类调用;「端到端 P99」副标题给出 95 分位。
  2. 向下滚到「请求耗时构成」。该面板按上游(流式含生成)、失败重试、排队、接入层处理、网关处理分段堆叠,每段是均值且可以相加,图例注明覆盖的请求比例。
  3. 滚到「响应时间分布」。直方图按 <500ms、0.5–1s、1–2s、2–3s、3–5s、5–10s、10–30s、≥30s 分档,并标出 P50、P95、P99 三条参考线。
  4. 滚到「流量潮汐与双向承压」。同一张图给出网关 QPS、上游生成 Token/秒与上游预填充 Token/秒。
  5. 需要看某个调用方或某个模型的表现时,用「筛选」添加「接入凭据」或「模型」,整页性能指标随之收敛。
  6. 需要逐次核对单次耗时构成时,打开该次调用详情的「时延与成败」页签(第 30 章)。
图 28-14 响应时间分布直方图:按耗时区间统计请求数,并标出 P50、P95、P99 参考线

你会看到

  • 「请求耗时构成」把网关自身耗时与端到端耗时分开,可以直接看出耗时增长落在网关还是上游。
  • 收敛到单个调用方后,可读该方自己的成功率、首字延迟、生成速率、网关耗时 P95 与端到端 P99。时间窗内没有流式调用时,首字延迟显示「时间窗内没有首字延迟样本」。
图 28-15 按单个接入凭据收敛后的看板:该调用方的请求数、交付成功率、网关耗时 P95 与端到端 P99

注意

  • 分位值只出现在全局「响应时间分布」图上,没有按模型、渠道或项目并列的分位表;首字延迟只给均值。
  • 「网关耗时 P95」卡片包含排队时间,而调用详情中排队单列,两者对不上时以详情为准。
  • 样本量很小时分位值波动较大,不宜据此做容量结论。
  • 客户端测得的总耗时 = 网关总耗时 + 客户端到网关之间的网络往返、握手与前置代理时间。两者之差反映网络路径,不是网关处理时间。

28.11 分析提示词缓存命中

适用场景:长上下文调用的费用主要来自重复输入,需要确认缓存是否在起作用,以及缓存为何反复失效。

操作步骤

  1. 在「总览」读「提示词缓存节省」卡片:给出与不使用缓存相比少花的金额与比例,以及无法计价的调用笔数。
  2. 滚到「提示词缓存 · 按客户端」。表中按「客户端 × 模型」组合列出调用次数、输入 Token、命中率、写入 / 读取、节省、无法计算,右上角给出合计节省。
  3. 按「命中率」排序,找出命中率明显偏低的组合。命中率 = 缓存命中 Token ÷ 输入 Token。
  4. 缓存反复失效的会话由使用洞察自动识别:进入「管理后台 › 观测中心 › 使用洞察」的问题列表,查找「提示词缓存反复失效」类问题。系统按原因分为三类:系统提示词不稳定、工具定义不稳定、输入命中缓存的比例低。
  5. 点进问题详情,读「概况」中的费用、影响会话、次数、每日发生次数、原因分析与修复建议;切到「概况」右侧的页签查看命中的会话。
  6. 按建议调整客户端配置后,在右上角「标记为」中选择「已处理,开始观察」,系统在观察期后自动复查。
图 28-16 「提示词缓存 · 按客户端」:每个客户端与模型组合的调用、输入 Token、命中率与节省金额,右上角为合计节省
图 28-17 使用洞察的问题列表:缓存类问题按原因分三类,均标明负责方为「客户端配置」并给出影响会话与费用

你会看到

  • 节省金额单独列示,不计入「总消耗费用」。
  • 表内「无法计算」列标出缺少定价而无法折算节省的调用。节省为负值说明当期缓存写入的开销大于读命中带来的节省,常见于缓存刚建立或频繁失效的时间窗。
  • 问题详情的原因分析会指明问题集中在哪个客户端,并给出针对性的修复方向。

常见修复方向

  • 固定系统提示词,把时间戳、随机数等易变内容移到对话末尾;
  • 固定工具定义的字段顺序与序列化格式,MCP 工具集合按名称排序后再注册;
  • 同一客户端统一版本,避免多个版本交替注册不同的工具定义。

注意:问题详情中的原因分析带有生成时间,其后数据仍在更新,以页面上方的关键数字为准。命中会话的页签列出会话与次数,但不提供逐请求的未命中定位,也不展示系统提示词与工具定义的哈希对比。缓存统计没有按端点(对话 / messages / responses)的拆分。

28.12 定价快照与历史账单

适用场景:与业务方约定按内部单价结算,或解释「为什么调价后旧账单没有变」。

每次调用在发生时按当时的有效单价计费并记录。调整单价后,只有之后的调用按新价计费,已产生的调用费用不重算。

有效单价的确定顺序

  1. 对象专属价:在模型分组的「可用范围与配额」中为某个对象单独设置的价格。同一次调用命中多个对象时取最具体的一个:用户 > 职能组 > 部门 > 工作空间 > 本分组全部成员。
  2. 供应商标准价:在模型供应商的模型定价中设置的价格(第 5 章)。

操作步骤

  1. 打开「管理后台 › 组织与权限 › 模型分组」,进入目标分组的「可用范围与配额」页签,在目标对象所在行点「设置专属价」。
  2. 选择网关模型、累计周期与累计方法、计价方式(单价 / Token 倍率)、跨档计价(分段计价 / 整笔计价)。
  3. 在档位信息中填写用量区间与输入、输出、缓存命中、缓存写入单价(每百万 Token);需要阶梯价时点「添加档位」。
  4. 点「确认」。之后发生的调用按新档表计价。
图 28-18 「对象专属价」对话框:按档位填写各类 Token 单价,优先于供应商标准价,并注明改档表后历史账单不变

你会看到

  • 对话框内注明「为该对象在本模型分组中的调用单独设置阶梯价,优先于模型供应商处的标准价」,以及「改档表后历史账单不变」「已结算的调用不重新计价」。
  • 对未在供应商处定价的模型,「设置专属价」提示该模型尚无标准价,并提供「去定价」入口。
  • 调用详情「Token 与用量」的费用行给出本次费用与计价依据。
图 28-19 调用详情「Token 与用量」:输入 / 输出与推理 Token、按供应商单价计算的费用,以及计入的模型分组

注意:专属价保存后对之后的调用立即生效,历史调用的费用保持原值;未定价的模型不能设置专属价,需先在供应商处定价;以美元计价的模型按「全局设置」中的汇率折算为结算币种。涉及与供应商的实际结算时,以供应商账单为准。

28.13 服务水平监控与运营报表

适用场景:判断某个调用方当前是否达到约定的成功率与耗时水平,或按期把运行数据交给管理层、财务或审计。

服务水平核对

  1. 在「总览」用「筛选」添加「接入凭据」,或用「全公司」选择成员,把整页收敛到该调用方。
  2. 读该调用方的「模型调用交付成功率」与「端到端 P99」,作为当期是否达标的依据。
  3. 需要分组维度的数据时,打开模型分组详情的「调用情况」,查看该分组的调用量、成功率与耗时统计。

运营报表

  1. 当期快照:在「总览」选定范围后点「导出汇报」,得到与指标卡同范围的 CSV。CSV 为长格式,列包括分区、项目、数值、单位、占比;分区含关键指标、模型排名、客户端排名、部门分摊,关键指标与看板逐项一致。
  2. 定期报表:在「报表导出」中新建任务,「数据」选「用量汇总」或「完整调用记录」,设置频率与去向。文件按频率自动生成,落在收件箱、对象存储或回调地址。
  3. 需要经营指标时,用「平均单次费用」与「总 Token 消耗量」自行计算单位 Token 成本。
图 28-20 新建导出的配置项:数据、归集方式、频率、范围与去向,按单次或按天 / 周 / 月生成文件

注意:平台提供「模型调用交付成功率」指标,但没有服务水平目标设置、达标率计算与报告,判断是否达标需要人工比对约定值;没有按调用方并列对比的表格,只能逐个筛选查看。「导出汇报」反映点击那一刻的数据,与随后打开的看板可能有细微差异;报表导出生成的是文件,不是实时数据流。

建议每周关注:费用或 Token 是否突增、失败率是否上升、尾部耗时是否恶化、某一模型或部门是否占用异常、新上线的模型、模型分组与智能体是否有真实使用。

能力说明

不提供的能力替代做法
:--:--
自定义看板与查询构建器使用「运行总览」的固定看板与筛选;需要自定义分析时导出「完整调用记录」后在外部工具中处理(28.7 节)
按 Token 排序的消耗排行用「筛选 › 模型」逐个收窄后读「总 Token 消耗量」,或导出用量汇总后排序(28.7 节)
按接口类型拆分的排行在「请求」页签按「上游端点」查看,或导出完整调用记录后分组(第 30 章)
按模型归集的用量汇总导出导出「完整调用记录」后按模型字段分组(28.7 节)
按工作空间或职能组的并列费用排行与出账逐个切换「全公司」中的「工作空间」或「职能组」读取金额;需要文件时导出逐条明细后自行汇总(28.7 节)
无法归属记录的原因说明打开代表性调用,看「概要」中的发起人、接入凭据与客户端字段判断(28.4 节)
外部客户端隐性消耗按调用目的拆分用会话导出的分道计数估算,或改由平台托管智能体发起(28.6 节)
单个对象配额接近阈值的推送查看「预算」面板的「接近限额」状态(28.9 节)
包月套餐与套餐剩余额度由管理员在模型分组中为对象设置周期配额,并设置「对象专属价」(28.9 节、28.12 节)
按模型、渠道、项目并列的分位表,以及 P90、首字延迟分位用「筛选」逐个收窄后读 P95 / P99,或导出调用记录后自行计算(28.10 节)
峰值 QPS 数字卡读「流量潮汐与双向承压」中的 QPS 走势,取最高点(28.10 节)
服务水平目标设置、达标率与报告用「筛选」收敛到该调用方后读成功率与 P99,人工比对约定值并留档(28.13 节)
用量预测用「流量潮汐与双向承压」的历史走势人工外推
运营大屏 / 全屏展示模式使用「运行总览」页面,或定期导出汇报(28.13 节)
单位 Token 成本、算力利用率等经营指标卡用「导出汇报」中的总费用与总 Token 自行计算(28.13 节)
逐请求的缓存未命中定位与提示词哈希对比依据使用洞察的原因分类与修复建议处理,并对比相邻请求的系统提示词与工具定义(28.11 节)

---

上一章:27. 网关扩展与开放 API · 下一章:29. 可观测入口、数据来源与权限边界