用户不关心「路由怎么判断」,只关心「我发出去之后多久有反应」。
少等两秒:把「选哪个专家」变成一次 200ms 的判定
企业里用 Agent 平台的人,评价通常很朴素:「它快不快」。而「快不快」在体感上只有一个刻度——从按下回车,到屏幕上出现第一个字,中间那段空白有多长。
我们在 BizBuddy 里做了一件看起来很小、但直接作用在这段空白上的事:把「这个活该交给哪个专家」的判断,从大模型的推理里搬了出来。
一、用户等的不是「答案」,是「开始回答」
先说清一件事:这段空白里,真正在花时间的是大模型推理,秒级。而「选谁」这一步原本也压在推理里——入口智能体小Z 要在自己的推理循环里先想一轮「我是自己答,还是转给某位专家」,想完才轮到专家开始说话。
对用户来说,这就是两次推理串起来:一次用来做决定,一次用来出内容。而第一次推理的产出,用户一个字都看不到。
所以我们把这次「看不见的推理」单独拎出来,交给一个只做选择的模型(JEV 决策模型):它不生成任何文本,只回答「从这几个候选里选哪一个」,并给出一个概率分布。
二、一次正确的接管,省掉的是一整轮推理
先把话说实在:省的不是毫秒,省的是秒。
- 判定的一次外呼,量级在 几百毫秒(下面有实测);
- 而它替代掉的那一步,是一整轮秒级推理。
也就是:判断得准,用户就少等一整轮「模型在想要交给谁」的时间。这不是优化掉的延迟,是根本不发生的延迟。
而判定为「不路由」(小Z 自己就能答)的那些轮次,用户体感与原来完全一致——这正是我们刻意保留的:决策模型只负责加速,不负责改写体验。
三、判定的绝对值:200ms 级,但真正咬人的是尾部
实测口径(样本不大,仅作基线,不当作结论用):
- 决策服务端耗时:单次抽样 62ms;
- 端到端判定(含网络与序列化):95~460ms,实机 302ms、均值 208ms;
- 库内判定延迟:n=14 的样本上 p50 ≈186ms、p95 ≈1139ms。
中位数很好看——但体验从来不是被中位数决定的。用户抱怨的那次,一定落在尾部。
尾部最难看的一段,是故障:判定服务一旦超时,原来每轮要先付一个 5 秒的超时上限,再退避 300ms 重试一次。也就是说,提供方挂了的时候,每轮问答都被硬加了 5 秒多——故障被放大到了用户脸上。
对应地我们做了两件事:
- 超时从 5 秒收到 1 秒,且接管模式下不重试(重试是直接加在用户等待上的,诊断价值不值这个价);
- 连续 3 次失败就熔断 5 分钟:故障期间判定环节彻底归零,不再每轮都付一次超时,到期放一个探测请求自动恢复。
一句话:故障时的额外等待,从「每轮 5 秒多」压到 1 秒以内。
四、追问场景:这一步本来就不该发生
体验设计里最划算的优化,往往是让某一步根本不发生。
用户跟同一个专家聊了几轮之后追问一句「那这个呢」——这种场景再去做一次判定,纯属浪费:既多余,又要多等一次外呼。
所以我们加了粘性路由:当本轮很短(≤12 字)、且用户没有点名任何专家、且上一轮刚刚高置信地路由给某位专家时,直接复用上轮专家,压根不发起判定。
用户体感上,这类追问没有任何额外等待。而且因为不外呼,它也不涉及数据出境。默认是关的,按需打开。
五、最贵的不是慢,是失败后的重跑
还有一条更反直觉的账。
链路上最慢的路径不是「判定慢」,而是降级:专家选对了、但回答失败,于是要撤销接管、补跑一轮小Z 的整合——等于多跑一整轮推理。
所以「判定得准」这件事的价值被严重低估了:每压掉一次错误的接管,省下的不只是一点体验,而是一整条最慢的链路。
这也是我们把「勉强第一」的判定挡在外面的原因:光看「第一名得分够不够高」不够,还要看它和第二名拉开差距没有。0.76 比 0.15 和 0.76 比 0.70 是两种完全不同的确定程度——后者一旦放行,多半就是一次要重跑的误接管。
六、也想过「同时跑、谁快用谁」,最后没做
最直接的体验优化思路是:让判定和入口推理并行跑,判定先回来就取消推理,谁快用谁。
这个方案我们评估后明确不做:取消一个已经在飞的推理,并不保证它真的停下,复杂度很高,而收益不确定;相比之下,先把「一轮里重复跑了两遍的装配查询」合并掉,是零并发、低风险的净收益,所以优先做那个。
体验优化不总是加东西——很多时候是删掉重复的那一遍。
七、它怎么上线,而不拿用户当试验品
这是最要紧的一条:默认关闭。
不配置就完全等价于现状:不构造请求、不发起外呼、不新增任何耗时。开启之后也不直接接管,而是先进影子模式——判定照跑,但只写审计、不影响任何用户可见行为。
影子期攒够了对照数据,确认「它判得对不对」,再切到接管模式。
对用户来说,这套灰度是完全透明的:他们只会在某个版本之后发现「好像变快了」,而不会经历一段「有时快有时慢」的试错期。
八、小结
把「选谁」从推理里拿出来,用户侧只感受得到三件事:
- 该路由的轮次,少等一整轮推理(秒级,不是毫秒级);
- 故障时不再被超时拖住(5 秒级 → 1 秒以内,故障期间直接归零);
- 追问不再重复付一次判断的钱(粘性复用,零外呼)。
其余那些——闭集、概率、阈值、熔断器、审计字段——都是为了让这三件事在真实系统里成立,而不是只在演示里成立。
BizBuddy 是一个全量开源的企业级智能体平台(MIT License),代码已在 Gitee 开源:https://gitee.com/zl3624/biz-buddy。想看这条路的完整技术版本,可以看同系列的三篇:原理、实现、上线。