淘小蜜分流模型实践，看懂 Jev 和 System One 决策模型

淘小蜜这类客服分流场景，非常适合用来理解 Jev 和 System One 的价值，传统方案要么硬写大量规则，要么调用通用大模型做意图识别，前者维护成本高、泛化差，后者延迟高、开销大还容易输出异常文本，而 System One 模型就是专门承接这类有限答案空间的快速判断任务，Jev 是这个品类里面最早出圈的代表，它不逐字生成文本，直接对预设选项打分、返回带概率的结构化结果，刚好匹配工单路由、意图分类、紧急度打分这类分流需求；落地的时候先把分流任务拆成一组固定判断，定义候选标签与打分区间，把用户会话、订单状态等上下文喂给模型，拿到结果之后交给业务代码执行路由，高置信度直接分流，低置信度交给人工或者慢速大模型做二次复核，整套流程跑通之后，就能在淘小蜜式的高并发客服场景里压低延迟、降低成本，同时减少幻觉带来的错分问题。

• 基础概念：什么是 System One、Jev
• System One（系统一模型）：是一类决策模型的统称，名字来自《思考，快与慢》，主打快速、固定选项判断，不做开放式文本生成，适合路由、分类、打分、概率判定，同一个请求可以并行跑多条判断，增加问题数量几乎不会拉高延迟。
• Jev：TypeSafe AI 发布的第一款 System One 模型，创始人是参与过 InstructGPT、RLHF 的 Diogo Almeida；它只支持三类输出：选择、打分、布尔概率，输出天然结构化，程序可以直接读取，省去 JSON 解析、重试修复的步骤。
• 和普通大模型区别简表

• 淘小蜜分流场景怎么套用这套思路
• 任务拆解：把客服分流拆成多个独立判定，例如用户意图、是否投诉、是否索要退款、会话紧急等级，每一项都提前限定候选集合。
• 构造输入 State：灌入原始对话、订单信息、签收状态、商品类型，只传入已经拿到的业务数据，不要把未知信息放进上下文。
• 批量提交 Typed Question：一次请求把所有分流判断发给模型，并行拿到所有标签、置信概率。
• 业务分支路由：置信度高于阈值自动分到售前、售后、退换货、高危人工队列；置信度偏低，就流转人工或者调用通用大模型再确认。
• 迭代与评估：持续采集错分样本，校准概率，补充业务标签，调整分流阈值，保障大促高并发稳定。
• 落地优势，对应淘小蜜分流痛点
• 延迟更低：不需要逐 token 生成，官方测试对比普通大模型最高提速接近 200 倍，适合涌入量大的客服入口。
• 成本可控：Jev 输出免费，只按输入 token 计费，大批量分流场景下费用远低于持续调用生成式大模型。
• 结构化稳定：不会乱输出自由文本，不会出现格式崩坏，业务代码不需要写大量容错、重试逻辑。
• 不确定性可控：自带校准后的概率，系统可以基于置信度做降级，而不是强行给出一个不可靠的分类结果。
• 需要避开的误区清单
• Jev 和 System One 不是万能大模型，不能用来写回复、做开放式复杂推理；它只适合答案空间提前锁定的判断。
• 它不能替代业务接口：就算模型判定是退换货，仍然需要单独调用订单、售后接口核验权限，模型判断不等于业务审批。
• 如果业务规则极度固定、几乎不会变化，硬编码规则依然是性价比更高的方案。
• 如果候选类别太多、标签模糊，System One 的准确率也会下滑，需要精简标签、补充样例校准。

【相关 FAQ】

问题 1：在淘小蜜分流模型实践里，Jev 和 System One 能替代原来的意图识别大模型吗？

回答 1：在淘小蜜分流模型实践中，Jev 和 System One 适合接管意图分类、工单路由、紧急度打分这类固定选项判断，不能完全替代生成大模型；用户咨询、话术回复这类开放任务，仍然要交给通用 LLM，二者属于搭配关系。

问题 2：淘小蜜分流模型接入 Jev，一次请求最多可以做多少个分流判断？

回答 2：基于 System One 的设计，Jev 支持在同一个请求里并行提交多条判断，增加判断数量带来的延迟增幅很小；淘小蜜分流模型可以一次性判定意图、退款意向、情绪等级、风险等级，不用串行多次调用接口。

问题 3：用 Jev 做淘小蜜分流，出现低置信度结果该怎么处理？

回答 3：淘小蜜分流模型实践里，如果 Jev 返回的 System One 判断置信度不足，标准做法是不强行自动分流，可以转到人工坐席，或者调用通用生成大模型做第二轮复核，避免把高风险工单错分到错误队列。

问题 4：Jev 作为 System One 模型，接入淘小蜜分流之后会不会出现幻觉？

回答 4：相比生成式大模型，Jev 的幻觉风险大幅降低，它只在预设选项之间打分；但如果标签定义模糊、上下文不全，Jev 依然会给出错误判断，淘小蜜分流模型上线后，依然需要持续用真实工单样本校准。

【参考资料】

[2026-11-03]（Teaching Agents to Decide: From JEV Integration to the Full Harness Decision Flow）阿里云社区

[2026-10-03]（新版 llama.cpp 支持 Jev 本地部署）抖音硬核 Ai 鹏哥

[2026-10-01]（Jev 与 System One：决策模型如何接入 Agent）抖音 AI 架构师 Leo

[2026-09-23]（跟风把 Jev 当成便宜版 GPT 接进系统，三天后我默默拆了重做）掘金

[2026-09-22]（Jev 爆火，具身智能迎来大救星？）36 氪

[2026-09-21]（最火哑巴模型 Jev 加上微信，直接治好了我的低情商）36 氪

[2026-09-16]（不生成文本，只做决策，前 OpenAI 研究员发布 System One 模型 Jev）抖音 Enter.AI

【免责声明】

以上内容仅为技术方向与落地思路参考；淘小蜜属于阿里客服机器人体系，本文仅类比分流业务场景，不代表阿里官方采用 Jev / System One；模型延迟、成本、准确率受上下文、标签设计、样本校准、并发量影响，线上投产前必须完成压测与 A/B 实验。