工具

Gemini Decisions API 深度解析:如何评测 Agent 决策

Google 将 Gemini 的决策调用封装为独立 API。对 Agent 团队来说,重点不是多一个接口,而是建立可复现、可调试、可评测的决策流程。

字号

Google 发布 Gemini Decisions API,把决策调用单独做成 API。对 Agent 团队来说,重点不是多一个接口,而是建立可复现、可调试、可评测的决策流程。

官方介绍:https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

这次发布多了什么

普通 Gemini API 的核心单位是消息。开发者输入上下文,模型生成文本或结构化输出。

工具调用通常也是这个模式。通过 Function Calling 描述工具名称、参数和用途,再让模型决定是否调用。模型返回一次 tool call,应用执行工具,把结果追加回上下文,然后进入下一轮推理。

Gemini Decisions API 把“决策”作为独立接口交付,面向包含多个判断步骤的 Agent 工作流。它想降低 Gemini 接入这类流程的开发门槛。

三者关注点不同:

  • Gemini API 是模型能力入口。
  • Tool Calling 描述模型可以调用哪些动作。
  • Decisions API 面向包含多个判断步骤的 Agent 工作流。

至少从产品定位看,Google 正把决策从 Prompt 中的一段逻辑,拆成独立接口。

别把决策 API 当成工作流引擎

接口名称容易制造错觉。名字叫 Decisions API,不等于模型已经处理了状态管理、失败恢复和执行策略。

Agent 能否稳定运行,仍取决于应用层控制。

第一是接口契约。模型给出的决定必须能被程序验证。自由文本不适合直接驱动生产动作。开发团队应使用 JSON Schema、结构化输出或明确的 action type,并为未知动作、缺失字段和越权操作设置拒绝路径。

第二是状态管理。Agent 要知道当前任务处于哪一步、调用过什么工具、哪些工具失败过。状态不能只藏在对话历史里。

超时、工具报错、重复调用和循环执行,需要由工作流引擎处理。

第三是可复现控制。相似输入得到相似决策,不代表业务结果一致。随机性、模型版本、上下文长度和工具返回值,都可能改变后续路径。

生产系统需要固定模型与依赖版本,记录每次决策使用的上下文、工具参数和执行结果,再对决策轨迹做回放。

这里最容易犯的错误,是把“回答看起来不错”当成“决策系统可用”。回答质量只覆盖末端输出。Agent 更常见的问题是中途选错工具、漏掉必要步骤,或者在错误状态下继续执行。

因此,Decisions API 不是更长的 Prompt,也不会自动带来完整工作流引擎。更准确的定位是:提供决策模型调用的标准入口,让开发者围绕它构建状态、执行、重试和评测层。

Agent 开发要从 Demo 转向评测

接入之后,最有价值的产物不是一段 Demo,而是一套决策评测集。

团队可以把历史工单、脱敏日志和人工处理记录整理成固定样本。每条样本包含初始状态、可用工具、目标条件和期望结果。让 Agent 在隔离环境中执行,再记录完整决策轨迹。

至少要单独观察以下指标:

  1. 任务成功率:规定步骤、预算和超时内完成目标的比例。
  2. 错误成本:错误动作造成的实际损失,而不是只统计答错次数。
  3. 平均调用次数:工具、模型和外部 API 的平均总调用数。
  4. P95 延迟:从请求开始到任务完成的第 95 百分位耗时。
  5. 人工接管率:Agent 无法继续或需要人工审批的比例。

这些指标要一起看。一个方案可能多调用十次模型,把成功率从 92% 提到 96%,但 P95 延迟和推理成本已经不可接受。另一个方案错误成本更低,却把大量异常任务推给人工。

一个实用的测试结构如下:

import json
from dataclasses import asdict, dataclass

@dataclass
class DecisionCase:
    case_id: str
    initial_state: dict
    expected_outcome: str
    max_tool_calls: int = 8

def evaluate_decision(case, decision, tool_calls):
    checks = {
        "task_success": decision.get("outcome") == case.expected_outcome,
        "call_budget": len(tool_calls) <= case.max_tool_calls,
        "action_allowed": decision.get("action") in {
            "complete",
            "request_information",
            "escalate",
        },
    }
    return {
        "case_id": case.case_id,
        "passed": all(checks.values()),
        "checks": checks,
        "tool_calls": len(tool_calls),
    }

case = DecisionCase(
    case_id="refund-001",
    initial_state={"order_status": "delivered", "policy": "return_allowed"},
    expected_outcome="refund_eligible",
)

decision = {
    "outcome": "refund_eligible",
    "action": "complete",
}

result = evaluate_decision(case, decision, tool_calls=[])
print(json.dumps(asdict(result), ensure_ascii=False, indent=2))

这段代码不是 Decisions API 客户端。官方文章用于了解接口定位与使用方式,具体请求格式、参数和模型名称仍应核对官方文档。在没有验证 SDK 和参数的情况下,不应伪造一段“能跑”的 API 示例。

真正能跑的工程测试应保存三类数据:每次模型决策、每次工具调用和最终业务结果。这样才能回答两个问题:Agent 为什么选了这条路径,升级模型后是否真的更好。

价格、延迟和锁定风险

现有素材没有提供足够信息,核对 Gemini Decisions API 的官方单价、速率限制和区域可用性。这些数据应以官方定价页、配额文档和实际调用结果为准,不能直接套用普通 Gemini API 的价格。

成本分析要从完整链路计算:

def estimated_cost(cases, model_price_per_million, tool_price_per_call):
    total = 0.0
    for case in cases:
        total += case.input_tokens / 1_000_000 * model_price_per_million
        total += case.output_tokens / 1_000_000 * model_price_per_million
        total += case.tool_calls * tool_price_per_call
    return total

需要确认 input_tokens、output_tokens 和工具调用次数如何映射到官方计费项。不同工具本身还可能收费。

P95 延迟也要拆开测。模型推理、工具执行、串行步骤和重试都会累加。

锁定风险也比普通聊天更明显。Agent 一旦依赖某个专有决策接口,状态序列化、错误语义、工具协议和评测集可能围绕它设计。迁移到其他模型时,不只是换 model 参数。

可以提前降低耦合:

  • 用内部 action schema 隔离供应商字段。
  • 保留完整的请求、响应和工具轨迹。
  • 评测集与具体 SDK 解耦。
  • 对关键路径准备第二模型或规则兜底。
  • 把权限校验放在应用层,模型不能直接获得执行权。

编辑思考

这次发布的重要性,不只是多了一个模型入口,而是 Google 正把 Agent 的决策层从 Prompt 逻辑拆成独立软件组件。过去不少团队把流程控制写进提示词,再靠人工观察运行结果。任务一旦进入退款、采购和运维,最先暴露的往往不是语言能力,而是动作不可复现、错误无法归因、升级后无法比较。

我的判断是,这类接口会推动团队建立更严格的契约测试和轨迹评测。Agent 工程的重心会从“Prompt 写得多漂亮”,转向“状态、动作和结果是否可验证”。这和新增一个聊天模型不同,因为它要求团队回答三个问题:决策错误由谁承担,如何重放,何时转人工。

但现在不宜把它理解成成熟的工作流平台。官方定位、SDK 细节、价格、配额和区域可用性仍需以最新文档与实测为准。公开介绍也没有提供足够证据,说明它是否支持生产级持久状态、确定性回放和细粒度工具权限。真正的分水岭不是 API 是否上线,而是团队能否用真实业务样本证明它比现有 Prompt 流程更可靠、更便宜。

来源

https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

来源: https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/