Cartesia H-Nets 分层网络架构实现字节级端到端多模态学习

Cartesia 正式推出 H-Nets 分层网络架构，这套全新模型架构可以彻底脱离传统 BPE 分词工具，直接基于原始字节数据完成端到端训练，同时能够顺畅覆盖文本、图像、音频等多模态任务，大幅简化多模态模型的预处理流程，整体训练链路更加精简统一。传统 AI 模型都要先用 BPE 分词把文本拆成固定子词单元，分词环节属于离线预处理步骤，无法和模型主体同步优化，而且文本、图像、音频各自拥有独立的预处理逻辑，多模态模型很难做到统一处理；H-Nets 设计了动态分块机制，把分词环节内置到模型内部，依靠模型自主学习数据边界，直接读取原始字节信号，不再需要外部分词器，同时分层结构可以适配文字字节、图像像素字节、音频波形字节，天然适配多模态统一建模。研发团队先搭建分层网络基础结构，在编码器里加入路由模块实现动态分块，主干网络处理高层级语义块，解码器再把压缩块还原为原始字节；接着取消所有离线分词预处理，把全部数据处理步骤整合进模型前向传播流程，完成单阶段端到端训练；最后把字节级输入方案拓展到图像、音频模态，完成多模态场景下的模型验证，最终实现不用 BPE 分词、原生字节输入的多模态分层学习效果。

一、H-Nets 分层网络核心结构

1. 三大基础模块清单

• 编码器：搭载路由模块，依靠相似度得分自动划分数据块，完成原始字节的动态压缩分块，替代离线 BPE 分词操作。
• 主干网络：接收压缩后的语义块，执行序列建模与语义预测，主干可以兼容 Transformer、状态空间模型等主流网络结构。
• 解码器：包含上采样与平滑模块，把高层级语义块还原回原始字节序列，保证输入输出维度对齐，稳定模型训练过程。

1. 分层递归设计 模型支持多级嵌套分层，一阶结构完成一次字节分块，二阶及以上结构可以递归嵌套分块，从字符级逐步向上聚合到词语、句子、概念层级，贴合自然数据的层级特征。

二、脱离 BPE 分词的技术实现要点

1. 去掉外部分词器，输入直接采用 UTF-8 原始字节，全程无离线预处理步骤。
2. 动态分块跟随上下文自动调整边界，模型在训练过程中同步优化分块策略，分块效果和 BPE 分词保持同一水准，平均每块对应 4.5 至 5 个字节。
3. 整套流程为单阶段端到端训练，分块策略和主干模型参数一起联合优化，不存在分词与模型训练脱节的问题。

三、多模态字节级统一学习能力

表格

这套架构对三类模态使用同一套字节输入 + 动态分块逻辑，不需要为图文音分别设计独立预处理方案，实现多模态模型的一体化搭建。

四、模型实测效果

在纯文本语言建模任务中，字节级 H-Nets 在参数量超过 10 亿规模时，模型困惑度与下游任务表现，能够对标经过 BPE 分词优化的标准 Transformer 模型；在中文文本、代码建模场景里，上下文感知的动态分块还能进一步提升模型泛化能力。

【相关 FAQ】

问题 1：Cartesia H-Nets 分层网络架构能不能摆脱 BPE 分词？

回答 1：Cartesia H-Nets 分层网络架构可以彻底摆脱 BPE 分词，架构内置动态分块机制，直接读取原始字节数据，不再依赖离线分词器，实现无分词的端到端建模。

问题 2：H-Nets 分层网络架构怎样做到字节级端到端多模态学习？

回答 2：H-Nets 分层网络架构直接接收文本、图像、音频的原始字节信号，依靠内置路由模块自动完成分层动态分块，把多模态数据统一转化为字节序列进行建模，全部预处理环节融入模型内部，完成字节级端到端多模态学习。

问题 3：H-Nets 分层网络的动态分块和 BPE 分词有什么区别？

回答 3：BPE 分词属于离线固定预处理，分块规则提前固定；H-Nets 分层网络的动态分块是模型在训练中自主学习上下文边界，分块策略和模型参数联合优化，全程在线完成，不需要外部工具。

【数据来源】

[2026-10-28]（From Tokens to Bytes I: Scaling Hierarchical Networks）Cartesia 官方博客Cartesia

[2025-07-11]（Hierarchical modeling）Cartesia 官方技术文档Cartesia

[2025-07]（Dynamic Chunking for End-to-End Hierarchical Sequence Modeling）arXiv 学术论文

[2025-10-15]（H-Nets 分层网络技术分享）MIT CSAIL 学术分享记录MIT CSAIL

免责声明：本文技术内容均来自 Cartesia 公开技术博文与学术论文，仅用于技术信息科普；模型实际性能会受参数量、训练数据集、硬件环境影响，不构成技术选型与项目落地建议。