Together Compute 上线 Post-Training 训练服务，支持 SFT 与 RL 完成开放模型定制

Together Compute 全新上线 Post-Training 模型后训练服务，整套服务同时兼容 SFT 有监督微调与 RL 强化学习两大主流训练方案，开发者可以基于各类开源开放大模型完成全流程定制对齐，一站式完成指令微调、偏好优化与模型能力打磨，省去自行搭建分布式训练集群的大量运维成本，让开放模型的后对齐开发效率得到成倍提升。过去开发者想要对开源大模型做 SFT 与 RLHF 优化，不仅要搭建多节点 GPU 集群，还要自行调试分布式框架、优化奖励函数、打通训练与推理环境，整个流程环节多、调试周期长；而本次上线的 Post-Training 服务把全套训练环境做了预制封装，硬件资源采用专属算力调度，同时内置成熟的损失函数与训练脚本，用户只需要上传自有数据集，就能一键启动 SFT 指令微调、RL 偏好强化训练，全程不用管理底层 GPU 调度、分布式通信、显存优化等基础设施问题。这项服务全面覆盖全量权重微调与 LoRA 轻量化适配器训练两种模式，适配主流开源开放模型，训练完成之后可以直接把模型权重部署到同平台推理服务，实现从后训练到线上业务的无缝衔接，大幅缩短模型迭代周期。

一、Post-Training 服务两大核心能力模块

（一）SFT 有监督微调模块

1. 基础训练能力 支持指令集、对话样本、行业专属语料的全量微调与 LoRA 微调，自带序列打包功能，有效提升长文本样本的训练效率，减少文本截断带来的数据浪费。
2. 配套参数配置 内置交叉熵损失函数，支持自定义上下文长度、训练轮次、学习率与批次大小；支持用户自定义 prompt 格式，模型能够快速适配企业专属对话模板。
3. 适用场景 行业知识库注入、对话话术定制、垂直领域指令对齐，是开放模型定制的首要基础环节。

（二）RL 强化学习训练模块

1. 内置优化算法 原生支持 GRPO、DPO、DPPO 等主流偏好优化算法，同时支持自定义奖励函数与自定义损失策略，还可以实时跟踪每一轮训练的奖励值与 KL 散度，保障训练过程稳定不发散Together A...。
2. 两种训练模式 既可以开展完整 PPO 式 RLHF 训练，也可以采用无奖励模型的离线偏好优化方案；支持多 LoRA 适配器并行实验，在同一批算力资源下同时测试多组超参数，快速筛选最优模型版本。
3. 训练稳定性保障 训练与推理使用统一计算精度，消除训练阶段与线上推理阶段的计算差异，保证模型训练效果可以直接复现到生产环境Together A...。

二、支持的开放模型与训练模式清单

表格

三、Post-Training 服务完整操作步骤

1. 登录 Together Compute 平台，开通 Post-Training 后训练服务权限，申领训练专属算力配额。
2. 准备自有训练数据集：SFT 任务准备指令 - 回答样本，RL 任务准备偏好对比数据，平台支持 JSONL 标准格式，无需额外格式转换。
3. 选择基础底座模型，选定训练模式：初次模型对齐优先选择 SFT 模式完成指令学习；后续优化模型输出偏好，再开启 RL 强化学习流程。
4. 配置训练参数：选择全量微调或者 LoRA 轻量化微调，设置学习率、训练步数、KL 约束阈值，开启并行多实验功能。
5. 提交训练任务，通过平台看板实时查看损失曲线、奖励指标、GPU 资源利用率，中途可以动态调整超参数。
6. 训练任务结束后，直接导出模型权重或者 LoRA 适配器，一键部署到平台推理接口，完成模型上线测试。

四、整体落地结论

Together Compute 本次推出的 Post-Training 服务，打通了开放模型从 SFT 指令微调再到 RL 偏好对齐的完整技术链路，把原本复杂的分布式后训练工程做成开箱即用的标准化服务；专属算力资源保障训练任务稳定运行，并行实验能力大幅加快模型迭代速度，同时训练产出的模型可以直接对接线上推理服务，形成端到端闭环开发流程。不管是创业团队做垂直领域模型定制，还是企业优化自有开源大模型的对话表现，都可以借助这套服务低成本完成开放模型的个性化对齐，不用投入大量精力维护底层算力集群。

【相关 FAQ】

问题 1：Together Compute Post-Training 服务，能够同时完成 SFT 与 RL 两阶段开放模型定制吗？

回答 1：Together Compute Post-Training 服务可以完整支撑 SFT 有监督微调与 RL 强化学习两个阶段的训练工作，开发者可以先通过 SFT 完成开放模型的指令能力对齐，再接续启动 RL 偏好优化任务，连贯完成整套模型后训练流程，全程不需要切换平台与算力环境。

问题 2：使用 Post-Training 服务做开放模型微调，支持 LoRA 轻量化训练吗？

回答 2：Post-Training 服务同时提供全量权重训练和 LoRA 适配器轻量化训练两种方案，开发者可以选用 LoRA 模式开展 SFT 与 RL 训练，只更新少量参数，大幅节约算力成本，同时保留开放模型底座的原有能力。

问题 3：Post-Training 训练完成后的开放模型，能不能直接部署上线？

回答 3：Post-Training 服务和平台推理体系打通，SFT 与 RL 训练产出的开放模型权重、LoRA 适配器，都可以一键导入推理服务，无需额外做环境适配，直接接入业务接口开展线上调用，实现训练到部署的一站式闭环。

【数据来源】

[2026-10-19]（Together Compute 上线 Post-Training 服务，支持 SFT 与 RL 定制开放模型）Unite.AI

[2026-10-19]（Together Post-Training：开放模型 SFT 与 RL 一站式训练平台）TSN 资讯站

[2026-10-19]（Post-Training 服务功能详解）Together AI 官方博客Together A...

[2026-10-19]（开放模型 SFT 与 RL 训练支持列表）Together Compute 产品文档Together A...

免责声明

本文仅客观整理 Together Compute Post-Training 服务的公开功能、技术方案与配套能力，不构成技术采购与模型训练方案选型建议；训练效果取决于数据集质量、超参数设置与底座开放模型本身；服务算力规格、计费标准与可支持的模型清单均以 Together Compute 官方最新发布内容为准。