首页 >> 综合 > 快讯 >

Hugging Face 发布 TRELLIS.2 3D 模型 LoRA 端到端微调完整指南

2026-11-17 21:37:40 来源:网易 编辑:昌荷娥 

Hugging Face 官方放出微软 TRELLIS.2 图生 3D 模型的 LoRA 端到端微调指南,配套训练脚本、Docker 容器、HF Jobs 运行方案,这份指南采用冻结主干大模型、只训练少量 LoRA 适配器的思路,相比全量微调大幅降低显存开销与算力成本,示例基于 GSO 鞋子数据集验证,只针对稀疏结构、几何形状两个 DiT 模块接入 LoRA,纹理分支直接冻结,避免数据集自带烘焙光照干扰材质学习、引发灾难性遗忘,整套流程包含数据集准备、网格转隐变量预处理器、分阶段 LoRA 训练、评估导出,支持本地 Docker 或者 Hugging Face 云端任务提交,训练完成的 LoRA 可以直接挂载到原生 TRELLIS.2 上,实现特定品类 3D 资产的定向生成优化。

TRELLIS.2 三阶段模型与 LoRA 分配清单

  1. 稀疏结构 DiT:注入 r=8 的 LoRA,作用于注意力层与 MLP 层,学习物体基础轮廓、空间占位
  2. 形状几何 DiT:注入 r=16 的 LoRA,仅注意力层接入,学习曲面细节、轮廓形态
  3. 纹理材质 DiT:完全冻结不训练,防止把贴图里烘焙光照当成材质属性学习

端到端微调执行步骤

  1. 数据集准备:整理 GLB 网格资产,划分训练集、验证集,示例使用 179 个鞋子样本训练、9 个样本留作评估
  2. 数据集预训练处理:运行预处理器容器,用冻结的 TRELLIS.2 编码器把网格批量转为 O-Voxel 隐变量缓存,缓存可以复用,减少重复计算;单样本随机抽取 16 个视角中的一个作为条件输入
  3. LoRA 适配器注入:依靠 PEFT 库的 inject_adapter_in_model 接口注入适配器,TRELLIS.2 自定义前向逻辑,不能直接用标准 PeftModel 封装器
  4. 训练配置启动:优化器 AdamW,梯度累积 4 步、梯度检查点、梯度裁剪,损失函数对齐原生模型的 rectified flow-matching;每 500 步保存 LoRA 权重断点
  5. 评估与导出:在验证集计算 F-score 对比基线模型,导出单独 LoRA 适配器文件上传 HF 仓库

硬件与耗时参考表

硬件任务耗时备注
A100 80GB数据集预处理约 1h一次性生成隐变量缓存
A100 80GB稀疏结构 LoRA 训练约 7.2hrank=8
A100 80GB形状几何 LoRA 训练约 3.6hrank=16

【相关 FAQ】

问题 1:TRELLIS.2 3D 模型 LoRA 端到端微调为什么冻结纹理分支?

回答 1:TRELLIS.2 3D 模型 LoRA 端到端微调冻结纹理分支,是因为普通扫描数据集贴图自带烘焙光照,训练纹理分支容易混淆光照和材质,造成灾难性遗忘。

问题 2:TRELLIS.2 LoRA 端到端微调需要什么 GPU 硬件?

回答 2:TRELLIS.2 LoRA 端到端微调推荐 A100 80GB,该指南示例全部基于 A100 80GB 在 Hugging Face Jobs 上完成训练。

问题 3:TRELLIS.2 LoRA 端到端微调的 LoRA 参数设置是什么?

回答 3:TRELLIS.2 LoRA 端到端微调稀疏结构 DiT 使用 rank8 LoRA,形状 DiT 使用 rank16 LoRA,总可训练适配器参数约 930 万。

【参考资料】

[2026-11-12](Hugging Face Publishes LoRA Fine-Tuning Scripts for TRELLIS.2)AI Breaking Wire

[2026-11-12](TRELLIS.2 Fine-Tuning Guide Adds LoRA Scripts and GSO Demo)Extrapolator AI

[2026-11-12](Fine-tuning TRELLIS.2 with LoRA adapters on footwear scans)BPDATA AI News

【免责声明】

本文为 TRELLIS.2 3D 模型 LoRA 端到端微调指南资讯整理,指南配套代码为 MIT 协议开源,微调需要 DINOv3 权限;训练效果受数据集质量、GPU 环境、超参影响,实际产出以复现训练结果为准。

 
最新文章
站长推荐