能上线的 AI 能力,往往不是最亮眼的那一个,而是最不会把系统拖下水的那一个。
用 JEV 决策模型接管 Agent 路由判断(三):放量、兜底与合规
前两篇把设计和实现讲完了。最后一篇讲上线:怎么用影子数据证明它判得稳、怎么让外呼故障不放大到用户脸上、以及两条不能破的合规红线。
一、先影子,再闸门
这套能力的默认形态是「零变化」:不配置即完全等价现状。开启之后也不是直接接管,而是先进入 shadow 档——判定照跑、结果只落审计,用来采集「决策模型选了谁 vs 小Z 实际路由给谁」的对照语料。
硬约定是:关闭态零副作用——不构造 state、不发起外呼、不新增耗时、不改动原有工具决策链路一行代码。所以「先开影子采数据」这件事本身没有任何业务风险。
判断质量必须先用真实数据证明,再谈接管。
二、把影子数据变成阈值
影子期攒下来的对照语料,要靠三档标签才能变成结论:
| 标签 | 来源 | 可信度 | 缺陷 |
|---|---|---|---|
| 弱标签 | 小Z 的实际路由结果 | 中 | 小Z 自己也会错,只能当参考系 |
| 隐式反馈 | 专家正常答完 = 弱正确;拒答 / 转回 / 空正文 = 弱错误 | 中 | 需要先定义「拒答信号」 |
| 金标签 | 人工抽检高分歧样本(置信度中间带、或判定与小Z 不一致) | 高 | 贵、量少 |
指标只看三个,且分母口径必须写死:
| 指标 | 算法 | 说明 |
|---|---|---|
| 采信率 | 采信接管轮次 / 应路由轮次 | 分母必须先过滤「小Z 实际也没路由」的轮次——本来就该自答的提问被判 self 是正确行为,不是损失 |
| 精度 | 路由正确轮次 / 采信接管轮次 | 目标 ≥ 0.95(精度下限) |
| 降级率 | handoff=false 接管轮次 / 采信接管轮次 | 最慢路径的直接度量,与精度互补:精度看「选得对不对」,降级率看「选对了有没有答成」 |
至于阈值本身,用 reliability diagram 算出来:把置信度分档,画「预测置信度 vs 实际正确率」。如果 0.8 档的实际正确率只有 0.6,说明模型系统性过自信,阈值就该上调;反过来就该下调。
采样也要有纪律:影子档连续运行 ≥2 周(或 ≥500 轮,先到为准),每个置信度分桶 ≥30 轮,否则该档不出结论;样本不足时退化为人工抽检小样本校准,并如实标注结论受限。
三、兜底:别让外呼故障放大到用户脸上
判定压在关键路径上,所以它的失败形态比成功形态更重要:
- 超时从 5s 收紧到 1s,且 gate 档不重试。判定跑在请求线程上,故障时每轮先付「超时上限 + 退避 + 第二次尝试」等于把故障放大到用户脸上;
shadow是旁路,重试无感,保留。 - 熔断器:连续 3 次失败后停判 5 分钟,到期放一个半开探测请求(探测期间其余请求按熔断处理);计数用 Redis 原子自增(禁止
GET+SET两步,否则并发下计数与过期会错位),并按模型配置主键隔离——切模型不该被上一个模型的失败拖累。 - 语义要写清:熔断 = 失败不判定;未熔断的单次失败 = 回落小Z。二者没有依赖关系,失败如何处置统一由熔断器表达。
提供方宕机期间,判定环节彻底归零,而不是每轮都付一次超时。
换成用户体感的口径就是:故障期被硬加的等待,从「每轮 5 秒多」压到 1 秒以内——这是本篇最划算的一处改造,因为它守的是尾部,而体验从来不是被中位数决定的。
四、少外呼一次是一次:粘性路由
追问场景其实不需要判定:
- 触发条件:本轮原话 ≤12 字、且未显式点名任何候选(用
agent_name/agent_code做字面子串匹配,不引入关键词表)、上轮由判定路由过且置信度 ≥0.9; - 命中即复用上轮专家、根本不外呼(因此不存在出境通道,也与脱敏无关),但仍保留候选有效性校验——上轮专家可能已被删除 / 停用 / 不再可见。
已知残余(登记而非隐藏):这套判据只覆盖「点名找谁」,不覆盖「短句换话题」——4 个字的「发个公告」既没有专家名、也没有 agent_code,仍可能被粘到上轮专家。收口要靠「有上轮 / 无上轮」分桶对比来评估是否可接受。
五、顺手砍掉一半装配查询
查了一遍关键路径,发现一个纯浪费:一轮里同一个智能体的装配查询被执行了两遍(审计落库时一次、真正装配时又一次),第二次的缓存能命中实例、但查询照旧执行。
合并为一次(审计前先取一次 holder、把快照传给审计、装配时复用)就省掉一半查询——零并发、低风险,比任何「装配与判定并行」的改造都划算,所以先做这个。
顺带说清「更激进的那条路」为什么没走:判定压在关键路径上,落在「已经开始响应、但用户还看不到内容」的窗口里,它本身就是首字延迟。想把它「藏掉」,唯一的办法是乐观并发——判定与入口轮同时跑、判定接管后取消入口轮。我们评估后明确不做:取消一个已经飞出去的推理并不保证它真的停下(除非全链路可中断),复杂度高而收益不确定;相比之下,删掉重复的那一遍装配是确定性收益。
所以这里只有两条路:压绝对值(超时收紧)与减少触发频次(分档阈值 + 粘性跳过)。体验优化不总是加东西,很多时候是删掉重复的那一遍。
六、两条合规红线
1. 判断可以出境,数据不行
state 里必然含用户原话,这份数据要送到外部模型服务——这是本方案唯一新增的数据出境面。处理方式:
- 出境前强制脱敏(手机号 / 身份证 / 邮箱 / 银行卡 / IP),不设开关。它是合规硬约束,不能因为一次配置疏漏而失效;
- 脱敏只作用于外呼通道:下发给小Z 的原话、落库正文一律保持原文,不为出境脱敏而损伤业务数据;
- 命中留痕(安全事件表,场景枚举
JEV_OUTBOUND),事后可核验「确实脱敏后才出境」。
2. 判断不授予任何权限
官方口径也很明确。专家的三档授权、写操作人工确认(HITL)、只读边界,全部不变——决策模型只产出「选择与概率」,不产出可下发文本,因此也不新增内容过审面。
七、几个实测口径,和一个反直觉结论
- 判定服务端耗时:单次抽样 62ms;端到端判定 95~460ms(实机 302ms、均值 208ms);
- 库内
judge_latency_ms:n=14 时 p50 ≈186ms、p95 ≈1139ms(样本尚小,仅作基线);异常时 p95 会接近超时上限,这也是把超时收到 1s 的理由; - 改造后,故障时单轮额外耗时压在 1s 以内。
反直觉的结论是:精度的价值被严重低估。每多一次正确接管,省掉的是一整轮秒级 ReAct;而整条链路里最慢的路径是降级(专家失败后还要补跑一轮整合)。所以压掉一次误接管,省下的不只是一点体验,而是一整条最慢链路——这也是为什么「margin 二次过滤」的收益主要在降级规避,而不是采信率。
最后登记一条已知限制:preselect(候选预筛,先缩到 top-k 再判)档未实现——运行期配置里能填这个值,但会按影子语义执行并打 WARN,首用不静默。等专家规模真的涨起来再评估。
八、系列收束
三篇下来,这条路的形状是清楚的:判断与推理分离(一)→ 按真实协议把怪癖适配掉(二)→ 影子校准 + 失败兜底 + 合规(三)。只想看用户侧到底省了什么,可以读(四)体验向单篇——结论只有三条:该路由的轮次少等一整轮推理、故障期不再被超时拖住、追问零额外等待。
它换来的不是「更聪明」,而是把一次判断变成可测量、可回退、可审计的动作:省一轮秒级推理,判断可校准可留痕,任何失败都回落原路径、零新增失败面。
企业里能上线的 AI 能力,往往不是最亮眼的那一个,而是最不会把系统拖下水的那一个。
关于 BizBuddy
BizBuddy 是一个全量开源的企业级智能体平台(MIT License):开源中后台底座(Spring Boot 4.1.1 / JDK 21)做底座,AgentScope Java Harness 做智能体内核,纯 Java 全栈、不含 Python。这套 JEV 判定能力(含本文讲的影子校准、失败兜底与合规口径)全部随仓库开源。
欢迎来 Issue 聊聊——尤其是你怎么看「判断与推理分离」这条路。