为什么越来越多团队用 Java 写企业级 Agent:十个绕不开的现实因素
这两年我被问过好几次同一个问题:做 Agent,为什么不用 Python?我一般会反问一句,这个 Agent 上线之后,写不写业务库、走不走审批、进不进现有的权限体系。如果答案都是肯定的,语言这件事其实没多少可选。
BizBuddy 就是全 Java 的:Spring Boot 4.1 + AgentScope Java Harness,40 张 ai_* 表和业务表在同一个库里。下面这十条,是我在落地过程中真实碰到的,不是选型报告里的条目。
1、业务系统在哪,Agent 就在哪
Agent 一旦要查订单、改工单、发起审批,就得碰业务数据。而我见过的核心业务系统,基本都跑在 JVM 上。Agent 换成 Python 写,中间就多一层 RPC:多一套接口、多一份 DTO、多一次超时和重试的故障点。
我们所有 ai_* 表和 sys_* 在同一个库,写工具走同一个事务管理器。省掉的就是这一层,不是理论上的优雅,是少一个半夜要排查的环节。
数据权限也一样。同一条“只能看本部门数据”的规则,在 Java 侧是一段 MyBatis 拦截器,Python 侧要照着实现一遍。两份规则只要有一边改了没同步,线上就会出现两套口径。
2、团队和运维不用重建
Java 团队已有的 CI/CD、日志采集、告警、发布流程,Agent 服务可以直接接进去。换成 Python,这些都要再搭一遍,而且往往是另一拨人维护,出了问题先要分清是谁的责任。
发版的时候我们跑的还是原来那套门禁:一千五百多条集成测试、20 层 HTTP 端到端、18 条 UI 用例。流程没变,只是多了一个服务。
3、采购和合规认这套东西
企业采购看的是 JDK 版本、LTS 周期、漏洞响应和商业支持,不是 GitHub 上的 star 数。JDK 21 是 LTS,Spring Boot 的维护周期写得清楚,这些在评审会上比性能数字管用。
这一条听着不技术,但它经常是项目能不能立项的分水岭。
4、类型和编译期能挡住一部分错
Agent 里到处是结构化数据:工具入参、模型返回的 JSON、上下文对象、跨线程传递的身份。Java 的类型系统加上 record 和枚举,能在编译期挡掉一批拼写和类型错误。
举个具体的:跨线程传身份时,我们把 userId 放进 RuntimeContext 显式传递,方法要什么参数,签名里写得清清楚楚,不会有人偷偷从 ThreadLocal 里摸一个出来。动态语言里这种隐式依赖很常见,改起来也容易漏。
5、写业务数据就需要事务
Agent 一旦有写操作,问题就从“生成得对不对”变成“写进去之后能不能回滚”。
我们给无人值守的写工具默认 DENY,只放行白名单里的 write_daily_digest;对话里的写操作要走 HITL 确认。这些都要和本地事务、审计日志配合,Java 这边事务、幂等、审计都是现成的,不用自己发明一套。
审计也是同理。谁发起的、模型建议了什么、最终写了什么、有没有人工确认,这四件事要能串起来查。写操作和审计记录必须在同一个事务里落库,跨进程就做不到强一致,只能靠补偿,而补偿逻辑是另一堆 bug。
6、Agent 也要能被观测和治理
上线之后总要回答三个问题:这次调用花了多少 token、慢在哪、失败原因是什么。如果答不上来,Agent 就是个黑盒。
会话状态按 TTL 续期、图片超量后裁剪掉旧图、Redis 满了不静默淘汰而是直接报错——这些治理动作都需要有地方挂。Spring 的指标、日志、健康检查是一整套的,接进去就能用。
我们的健康自检页会逐项检查模型连通、Redis、Milvus、安全引擎,有一项 FAIL 就不让发版。页面本身不复杂,难的是每项检查都能拿到真实的运行时状态,而不是只看端口通不通。
7、长任务和并发有现成解法
Agent 的请求动辄几十秒,SSE 一挂就是几十分钟。我们用的是 Jetty,threads.max 直接按并发任务数配;虚拟线程默认关着,因为长连接会一直占槽位,这个数不能拍脑袋定。
同一会话并发进来,会被 CONVERSATION_BUSY 挡住,这是应用层的互斥,不靠数据库锁。这类问题在任何语言里都要处理,但 Java 里有现成的线程池、信号量和调度框架。
8、框架到了能上生产的阶段
放在两年前问这个问题,答案可能是“再等等”。现在 Spring AI、LangChain4j、AgentScope Java 都已经过了只能做 Demo 的阶段,MCP、工具调用、RAG 都有稳定的实现。
我们选 AgentScope Java,是因为它的 Harness 层把会话、状态、工具执行封好了,不用自己从头造一遍。框架成熟这件事,直接决定了选型讨论能不能往下走。
具体一点说,流式输出不能断、工具入参的 schema 要能校验、失败要能重试、会话要能持久化。这四件事齐了才算能上生产,少一件,最后都得自己补。
9、安全和多租户不是外挂
企业 Agent 一定要回答:这个人能看哪些数据、能执行哪些动作。
我们做了两层:接口层用 Sa-Token 拦请求,执行层在工具调用前再判一次权限。只靠提示词约束模型,等于没约束。数据权限、租户隔离这些也是一样,得落在代码里,不能指望模型自觉。
10、交付方式没变
最后一条最实际:运维不需要为 Agent 学一套新东西。
两个数据库栈,PostgreSQL 和 MySQL 各一套 compose,结构变更走 Flyway 的 V1 基线加增量迁移,空库和存量库都验证过。对运维来说,这还是一个普通的 Spring Boot 服务,会起容器就会部署。
灰度也一样,新版本先切一个租户,观察半天再放量,用的还是那套网关和配置中心。
边界在哪儿
说了这么多 Java 的好话,也得说清楚它不适合的地方。
模型效果验证、数据清洗、批量跑评测,Python 的生态还是更顺手,改一行就能跑,换 Java 要重新搭工程。这个差距是真实存在的,不用回避。
我的建议是分工:Python 做实验和评测,Java 做线上执行,两者之间用接口或消息隔开,不要混在一个进程里。这样各自用最合适的工具,也不用为了统一而统一。
还有一种情况是推理服务本身。如果团队要自己部署模型、做 GPU 调度,那是另一套技术栈,跟 Agent 的业务编排不是一回事,别混为一谈。
最后
回到开头那个问题。Agent 选什么语言,取决于它长在哪里。
如果它只是回答问题,什么语言都行;如果它要动业务数据、走审批、进权限体系,那它本质上就是一个企业系统。企业系统选 Java,不是信仰,是三十年来积累的这些东西刚好都在。
关于 BizBuddy
BizBuddy 是一个全量开源(MIT)的企业级智能体平台,Spring Boot 4.1.1 + AgentScope Java Harness,前端 开源中后台底座,PostgreSQL 14 与 MySQL 8.0 双栈交付。
仓库地址:https://gitee.com/zl3624/biz-buddy
如果你也在做类似的选型,欢迎拿这套代码对照,发现问题直接提 issue。