PyTorchCon 2026 开设专题研讨，深挖优化器底层的线性代数内核实现

PyTorchCon 2026 专门设置技术专题，围绕各类深度学习优化器底层的线性代数内核展开深度研讨，把优化器从上层算法拆解到矩阵运算、向量迭代、矩阵正交化等基础线性代数算子，为开发者优化算子性能、编写自定义 CUDA 内核、提升大模型训练速度提供完整技术方案。本次研讨跳出单纯调参的层面，把 AdamW、Muon、Dion 等主流优化器的迭代更新过程，全部拆解为矩阵乘法、矩阵求逆、牛顿迭代、分块矩阵投影等线性代数计算，开发者可以顺着这条技术链路，找到优化器训练耗时高、显存占用大的核心根源，再通过算子融合、分块计算、寄存器复用等手段重构内核代码，进一步提升训练效率。优化器之所以高度依赖线性代数内核，首先是自适应优化器的动量项、二阶矩项都离不开向量内积与矩阵压缩运算；其次新一代正交化优化器 Muon、Dion，核心步骤就是牛顿 - 舒尔茨矩阵正交迭代，整套逻辑完全建立在线性代数矩阵运算之上；最后多任务多损失优化场景下，梯度雅可比矩阵的求解、梯度投影操作，同样需要稠密与稀疏线性代数算子支撑。开发者可以按照清晰的步骤完成优化器内核优化：第一步把优化器的 Python 代码拆解成独立的线性代数算子清单；第二步用 torch.compile 与 foreach_map 算子做算子水平融合，消除中间张量内存占用；第三步把高频矩阵迭代逻辑改写为 CUDA 底层内核，把计算放到 GPU 寄存器中执行；第四步在多硬件平台下完成内核适配，保障 GPU、TPU、NPU 上都能稳定运行；第五步完成基准测试，对比优化前后的迭代速度与显存开销。依托本次大会的研讨成果，开发者能够把优化器的算法理论和底层线性代数计算结合起来，打造出计算开销更低、数值稳定性更强的自定义优化器内核，有效缩短大模型与深度学习模型的整体训练周期。

一、本次研讨覆盖的优化器与对应线性代数内核清单

表格

二、优化器线性代数内核的性能瓶颈拆解

1. 内存带宽瓶颈：逐轮迭代会生成大量中间张量，频繁读写全局显存，拖慢迭代速度；
2. 算子碎片化：Python 层拆分出几十次独立算子调用，GPU 启动开销大幅增加；
3. 矩阵运算冗余：矩阵正交迭代存在大量重复计算，未做分块与循环展开优化；
4. 跨硬件适配问题：CPU 与 GPU 线性代数库接口不一致，自定义内核很难跨芯片复用。

三、优化线性代数内核的实操技术方案

1. 算子融合优化

使用 torch._foreach 系列接口 + foreach_map 高阶算子，把多段逐元素矩阵运算融合成单次 GPU 核函数调用，消除临时张量的显存占用，可将单步优化器耗时降低七成以上PyTor...。

2. 矩阵迭代的底层内核改写

把牛顿 - 舒尔茨正交迭代从高层张量运算改成 CUDA 寄存器内计算，采用分块矩阵策略，把大矩阵切分成小块分批运算，降低 HBM 显存压力。

3. 数值稳定性优化

在线性代数矩阵运算中加入数值裁剪，避免矩阵求逆出现奇异值，保证优化器在深层网络训练时不会出现数值溢出问题。

4. 多平台内核复用

借助 FlyDSL、CuteDSL 这类领域专用语言，编写一套线性代数算子代码，自动编译生成适配 NVIDIA、AMD、Intel 硬件的 GPU 内核，减少多平台重复开发工作量PyTorch。

四、本次研讨输出的落地应用方向

1. 重构 PyTorch 原生优化器内核，把 AdamW 的逐元素线性代数操作全部做算子融合，提升 Eager 模式下的训练速度；
2. 为 Muon、Dion 正交优化器开发开源 CUDA 线性代数内核，把矩阵正交迭代的执行效率拉满；
3. 搭建优化器线性代数算子基准测试套件，自动测算矩阵乘、迭代投影算子在不同硬件上的延迟与显存开销；
4. 把优化器内核与 TorchDynamo 编译链路打通，实现优化器计算图的全自动编译优化。

【相关 FAQ】

问题 1：PyTorchCon 2026 研讨优化器背后的线性代数内核，重点聚焦哪些优化器？

回答 1：PyTorchCon 2026 研讨优化器背后的线性代数内核，重点覆盖 AdamW、Muon、Dion、多损失 Jacobian 优化器，把这些优化器的更新逻辑全部拆解为矩阵运算、正交迭代等线性代数计算。

问题 2：优化器的线性代数内核主要存在哪些性能问题，大会给出了哪些优化手段？

回答 2：优化器的线性代数内核主要存在显存读写量大、算子碎片化、矩阵计算冗余等问题；大会给出算子水平融合、CUDA 寄存器内迭代计算、分块矩阵运算、DSL 跨硬件编译这几套优化方案。

问题 3：吃透优化器背后的线性代数内核，能给 PyTorch 模型训练带来哪些提升？

回答 3：吃透优化器背后的线性代数内核，开发者可以重构算子、消除中间张量、减少 GPU 调用次数，大幅降低优化器单步迭代耗时，同时提升矩阵迭代的数值稳定性，进一步缩短大模型整体训练时长。

【数据来源】

[2026-09-16]（Open Research, Tooling & Optimization at PyTorch Conference North America 2026）PyTorch 官方博客PyTorch

[2026-09-04]（Your Guide to Hardware Acceleration & Compute Infrastructure at PyTorch Conference North America 2026）PyTorch 官方博客PyTorch

[2026-10-06]（Modernizing Table Batched Embeddings with FBTriton）PyTorch 官方技术博文PyTorch

[2026-08-20]（PyTorch Conference North America 2026 Keynote Speaker Sessions Announced）PyTorch 基金会官网PyTorch

免责声明：本次 PyTorchCon 2026 研讨内容、优化方案与内核性能数据均来自大会公开议程与官方技术文档；不同 PyTorch 版本、不同硬件环境下，线性代数内核的实际运行效率会存在小幅差异，实际性能以本地实测结果为准。