Hugging Face 发布 TRELLIS.2 3D 模型 LoRA 端到端微调完整指南
Hugging Face 官方放出微软 TRELLIS.2 图生 3D 模型的 LoRA 端到端微调指南,配套训练脚本、Docker 容器、HF Jobs 运行方案,这份指南采用冻结主干大模型、只训练少量 LoRA 适配器的思路,相比全量微调大幅降低显存开销与算力成本,示例基于 GSO 鞋子数据集验证,只针对稀疏结构、几何形状两个 DiT 模块接入 LoRA,纹理分支直接冻结,避免数据集自带烘焙光照干扰材质学习、引发灾难性遗忘,整套流程包含数据集准备、网格转隐变量预处理器、分阶段 LoRA 训练、评估导出,支持本地 Docker 或者 Hugging Face 云端任务提交,训练完成的 LoRA 可以直接挂载到原生 TRELLIS.2 上,实现特定品类 3D 资产的定向生成优化。
TRELLIS.2 三阶段模型与 LoRA 分配清单
- 稀疏结构 DiT:注入 r=8 的 LoRA,作用于注意力层与 MLP 层,学习物体基础轮廓、空间占位
- 形状几何 DiT:注入 r=16 的 LoRA,仅注意力层接入,学习曲面细节、轮廓形态
- 纹理材质 DiT:完全冻结不训练,防止把贴图里烘焙光照当成材质属性学习
端到端微调执行步骤
- 数据集准备:整理 GLB 网格资产,划分训练集、验证集,示例使用 179 个鞋子样本训练、9 个样本留作评估
- 数据集预训练处理:运行预处理器容器,用冻结的 TRELLIS.2 编码器把网格批量转为 O-Voxel 隐变量缓存,缓存可以复用,减少重复计算;单样本随机抽取 16 个视角中的一个作为条件输入
- LoRA 适配器注入:依靠 PEFT 库的 inject_adapter_in_model 接口注入适配器,TRELLIS.2 自定义前向逻辑,不能直接用标准 PeftModel 封装器
- 训练配置启动:优化器 AdamW,梯度累积 4 步、梯度检查点、梯度裁剪,损失函数对齐原生模型的 rectified flow-matching;每 500 步保存 LoRA 权重断点
- 评估与导出:在验证集计算 F-score 对比基线模型,导出单独 LoRA 适配器文件上传 HF 仓库
硬件与耗时参考表
| 硬件 | 任务 | 耗时 | 备注 |
|---|---|---|---|
| A100 80GB | 数据集预处理 | 约 1h | 一次性生成隐变量缓存 |
| A100 80GB | 稀疏结构 LoRA 训练 | 约 7.2h | rank=8 |
| A100 80GB | 形状几何 LoRA 训练 | 约 3.6h | rank=16 |
【相关 FAQ】
问题 1:TRELLIS.2 3D 模型 LoRA 端到端微调为什么冻结纹理分支?
回答 1:TRELLIS.2 3D 模型 LoRA 端到端微调冻结纹理分支,是因为普通扫描数据集贴图自带烘焙光照,训练纹理分支容易混淆光照和材质,造成灾难性遗忘。
问题 2:TRELLIS.2 LoRA 端到端微调需要什么 GPU 硬件?
回答 2:TRELLIS.2 LoRA 端到端微调推荐 A100 80GB,该指南示例全部基于 A100 80GB 在 Hugging Face Jobs 上完成训练。
问题 3:TRELLIS.2 LoRA 端到端微调的 LoRA 参数设置是什么?
回答 3:TRELLIS.2 LoRA 端到端微调稀疏结构 DiT 使用 rank8 LoRA,形状 DiT 使用 rank16 LoRA,总可训练适配器参数约 930 万。
【参考资料】
[2026-11-12](Hugging Face Publishes LoRA Fine-Tuning Scripts for TRELLIS.2)AI Breaking Wire
[2026-11-12](TRELLIS.2 Fine-Tuning Guide Adds LoRA Scripts and GSO Demo)Extrapolator AI
[2026-11-12](Fine-tuning TRELLIS.2 with LoRA adapters on footwear scans)BPDATA AI News
【免责声明】
本文为 TRELLIS.2 3D 模型 LoRA 端到端微调指南资讯整理,指南配套代码为 MIT 协议开源,微调需要 DINOv3 权限;训练效果受数据集质量、GPU 环境、超参影响,实际产出以复现训练结果为准。
相关阅读
-
八缠正确读音是 bā chán,八读第一声,缠读第二声,这个词并不是通用常用词语,很多人是在武术传统功法相...浏览全文>>
-
手机银行转账就是通过银行官方手机银行 APP,在手机端完成本行或者跨行资金划转,不用跑线下网点柜台,是现在...浏览全文>>
-
长鑫在三季度业绩说明会上对外发声,内存也就是 DRAM 芯片的涨价行情还没有到头,全球内存供给紧缺的格局会...浏览全文>>
-
最新前 10 个月 20 万元以上车型销量榜单出炉,特斯拉在这个价位段整体销量一骑绝尘,依旧是 20 万以上...浏览全文>>
-
Hugging Face 官方放出微软 TRELLIS 2 图生 3D 模型的 LoRA 端到端微调指南,配套训练脚本、Docker 容器、HF Jobs 运行方案,这 浏览全文>>
-
Alphabet 旗下 AI 制药企业 Isomorphic Labs 官宣完成 50 亿美元 C 轮融资,本轮由 Greenoaks 和 Sequoia Capital(红杉资本 浏览全文>>
-
Gartner 提前放出伦敦 IT 基础设施与云战略大会第二天的重点内容,第二天的议题会围绕 AI 重构云与基础设...浏览全文>>
-
欧盟委员会发布初步调查结论,认定 Temu 违反《数字服务法》(DSA),核心问题是平台没能拿出合理、有效、匹...浏览全文>>
-
核心结论先说,懊悔就是人做完一件事情之后,因为当初的选择或者做法不对,心里感到后悔自责,带着惋惜和埋怨...浏览全文>>
-
汇丰银行全称香港上海汇丰银行有限公司,是汇丰集团旗下核心成员,属于国际性商业银行,起源于香港,总部相关...浏览全文>>
- Isomorphic Labs 完成 50 亿美元 C 轮融资,Greenoaks 与红杉资本联合领投
- Gartner 伦敦 IT 基础设施与云战略大会第二天核心亮点预告
- 奥特曼里都有什么怪兽名字 经典怪兽大全
- 高通拿下大额订单,SpaceX 选用高通 5G 芯片,数万基站部署成本将下降
- 单车刺客引热议网友扫到起步 15 元共享单车,平台客服给出回应
- 三星确认 HBM5 采用 D0A 架构 存储单元与周边电路分开制造
- 杭州地铁运营时间表 全线首末班车说明
- 女士摩托车打火没反应是怎么回事 踏板车启动故障排查
- 京东物流 2026 年 Q3 财报出炉,营收 639.5 亿元同比增 16.1%,经调整经营利润 21.0 亿元
- Qwen4-Max 登陆 LebrelAI,主打 Agentic Coding 智能体编程
- 内存涨价行情尚未结束,长鑫最新表态内存供给将持续紧缺
- 研究发现你喝的水有可能来自 46 亿年前的彗星,12P 彗星同位素指纹匹配地球海水
- 私家车停小区闲置被误当僵尸车卖 3800 元,车主该怎么维权
- 丰田推出迷你皮卡 KEI-01瞄准美国市场对大皮卡的尺寸顾虑
- 王传福试驾方程豹钛 9 现场竖大拇指,高层认可提振新车热度
- WorkBuddy 上线跨设备数据迁移功能,换新电脑无需重新配置
- 微博 2026 年 Q3 财报解读营收 4.10 亿美元、月活 5.51 亿,AI 升级广告转化
- 用户借助 Claude 把 Trellis.2 移植到 CUDA C++,实现 5.3 倍推理提速
- 奥拉星手游奥西里斯在哪 入口获取位置详解
- AMD 高管表态 AI 不会取代超级计算机,高精度仿真任务仍不可替代
- 七彩虹 iGame Ultra W 生态上新纯白机箱,纯白全家桶补齐
- 奥迪 a8w12 是几个缸 发动机结构详解
- 高铁票没赶上可以改签吗 误车改签深度说明
- 美团千亿业务负责人刘燕翔离职,联合前字节飞书高管入局 AI 硬件创业
- AI 找到 BIOS 关键代码,尝试复活华擎 SkyOC,Intel 非 K 老 CPU 有望恢复 BCLK 超频
- 黄仁勋遗产规划曝光92 亿美元英伟达股票转入信托,主要留给两名子女
- 华为星芒 OSTA O1 Pro 正式上架,顶配 16GB+1TB,全套配色同步放出
- 厄瓜多尔四手两脚共享下半身连体兄弟离世,生前和同一女友订婚
- 首款韬定律大折叠华为 Mate X8 官宣,五大配色真机亮相
- 捷途首款纯电方盒子 SUV 环游者 EV 开启预售 预售价 9.99 万起
