Halcyon 多模态预训练模型正式发布，实现从零训练无需大规模语言预训练

本次发布的 Halcyon 多模态预训练成果，核心结论是这套早期融合自回归多模态模型可以完全从零开始训练，不需要先做互联网规模的纯语言预训练，就能拿到高水平文生图效果，同时大幅降低预训练算力开销，小参数量版本就能超越多款主流文生图模型，还能兼顾图像字幕生成能力arXiv。现在主流文生图模型都要先用海量文本数据训练大语言模型，再把语言模型和图像生成模块做融合，前期语言预训练会占用绝大部分算力成本，研究团队为了验证纯语言预训练是不是必不可少，专门搭建了 Halcyon 模型家族，用 1 亿图文配对数据集从头完成全部预训练，全程没有接入任何提前训练好的大语言模型权重，最终拿到了优于同类模型的评测结果。

一、Halcyon 整体技术架构

1. 模型基础结构 Halcyon 采用早期融合自回归架构，把文本和图像统一转换成离散 token，放在同一个 Transformer 网络里做联合建模，不再把文本编码器和图像生成器拆分成两个独立模块，减少多模态对齐带来的性能损耗。
2. 模型参数版本清单 表格 0
3. 配套训练数据集 训练全程使用 GPIC 数据集，数据集总量为 10000 万组图文配对样本，仅使用图文成对数据，没有额外补充纯文本语料，保证实验条件的纯粹性。

二、完整训练实施步骤

1. 数据预处理阶段 对 GPIC 数据集做统一清洗，过滤掉图文内容不匹配、画质模糊的样本；把图片编码成 1024 个离散图像 token，文本内容转为词元序列，统一两种模态的 token 格式。
2. 模型从零初始化 不加载任何外部预训练权重，随机初始化 Transformer 网络全部参数，文本分支和图像分支共用一套基础网络权重，实现多模态信息共享。
3. 双任务联合监督训练 第一任务：文生图任务，用文本序列预测图像 token 序列；第二任务：图像字幕生成任务，把 caption dropout 替换成图像转文本的监督信号，保证模型同时掌握双向生成能力。
4. 对照变量实验 设置多组对照组，一组只做图文联合训练，一组额外增加纯文本预训练，最终实验数据证明，额外增加纯语言预训练，并不会提升文生图的生成质量，进一步验证项目核心猜想arXiv。

三、最终落地结论

Halcyon 模型家族充分证明，高质量文生图多模态模型完全可以脱离大规模纯语言预训练，只依靠千万级图文配对数据从头训练就能完成搭建；在参数量更小、预训练算力大幅缩减的前提下，模型生成效果依然优于同类型主流方案；同时模型可以在不增加训练预算的前提下，同时完成文生图与图像字幕两大任务，大幅降低多模态生成模型的研发门槛与算力成本。

【相关 FAQ】

问题 1：Halcyon 多模态预训练模型最大的技术突破是什么？

回答 1：Halcyon 多模态预训练模型最大突破是无需互联网规模的纯语言预训练，仅依靠千万级图文数据从零完成全流程预训练，用极少算力就能超越多款主流文生图模型。

问题 2：Halcyon 多模态预训练模型使用的训练数据集是什么？

回答 2：Halcyon 多模态预训练模型全程使用 GPIC 数据集，包含 1 亿组图文配对样本，全程没有引入纯文本训练数据，保证实验变量可控。

问题 3：Halcyon 多模态预训练模型能不能同时实现文生图和图像字幕生成？

回答 3：Halcyon 多模态预训练模型可以同时实现两项能力，只需要把 caption dropout 替换成图像转文本监督信号，在同等训练预算下兼顾文生图质量与图像字幕生成效果。

【数据来源】

[2026-10-19]（Text-to-Image Generative Modeling Without Language Pretraining）alphaXiv

[2026-10-20]（TEXT-TO-IMAGE GENERATIVE MODELING WITHOUT LANGUAGE PRETRAINING）CatalyzeX

[2026-10]（TEXT-TO-IMAGE GENERATIVE MODELING WITHOUT LANGUAGE PRETRAINING）arXiv 预印本平台arXiv

免责声明：本文所有技术数据、模型参数均来自公开学术预印本内容，仅做技术成果解读，不构成任何技术落地投资建议；模型代码与权重以项目官方发布内容为准。