麻省理工学院与卡内基梅隆大学的研究人员正式识别并修正了导致原生8位浮点（FP8）训练在大型语言模型中无法匹配全精度结果的数学根源——残差精度差距。若该方法在生产规模下依然有效，所有运行前沿大模型预训练的机构均可利用FP8硬件两倍的算术吞吐量，且无任何质量损失。
八位LLM训练的最后障碍
现代AI硬件配备专用的FP8计算单元，其算术吞吐量是主导当前生产环境的16位脑浮点（BF16）操作的两倍。以NVIDIA H100为例，FP8张量核心在稀疏场景下的算力达3,958 TFLOPS，而BF16仅为1,979 TFLOPS。原则上，完全原生的FP8训练流水线可在不增加GPU数量的情况下，将硬件需求减半或使有效批量大小翻倍。在当前前沿模型预训练成本高达数千万美元的背景下，这一优势至关重要。
然而，注意力机制一直是技术瓶颈。线性层对低精度适应较好，但基于softmax的注意力核心则不然。目前的生产训练流水线普遍采用混合策略：前向传播使用FP8，敏感的向后传播则回退至BF16或FP32。作为行业标准工具，NVIDIA的cuDNN和Transformer Engine也遵循此模式。尽管混合方法缩小了精度差距，但从未彻底消除。
9月29日发布在arXiv上的论文《Delta-Matching：关闭LLM原生8位训练的最终差距》，通过严格的数学证明确定了这一残差差距的根本原因。
“陈旧Delta”及其随规模扩大的恶化效应
核心洞察在于FP8量化注意力块时特有的前向-后向不一致性。在前向传播中，注意力矩阵值通过缩放因子（即“Delta”，Δ）量化以适应8位范围。在后向传播期间，FlashAttention为节省内存会重新计算中间值，而非直接存储。当保存的前向输出基于一种缩放因子量化，而后向梯度计算隐含假设另一种缩放因子时，便产生了论文所称的前向-后向缩放失配，即“陈旧Delta”。
这种失配以特定数学方式破坏梯度，违反了softmax雅可比矩阵的零行和不变性。softmax函数的平移不变性要求其雅可比矩阵行之和为零，但标准FP8量化在后向传播中破坏了这一性质，引入系统性梯度偏差并在训练中不断累积。
损害的规模依赖性使得该问题在小规模实验中易被忽视。在5.69亿参数模型中，朴素FP8与BF16的差距适中；但在16.7亿参数时，差距显著——朴素FP8验证交叉熵为1.8970，而BF16为1.4178。到了52.9亿参数规模，恶化变得灾难性：在RULER-8K长上下文基准测试中，受陈旧Delta影响的模型得分仅16.3%，远低于BF16基线的53.5%，跌幅达37个百分点。
研究发现，QK归一化、NoPE（无位置编码）和低学习率等常见架构缓解措施仅能延迟退化，无法根除。误差积累于优化器状态中，而非源自单一设计选择。NAVER Cloud在2024年发表的论文《To FP8 and Back Again》也独立记录了类似现象：FP8训练因噪声数据导致不可恢复的发散，即便增加6倍迭代次数也无法解决。这证实了陈旧Delta效应是真实的生产故障模式，而非基准测试的人工产物。
Delta-Matching：恢复数学不变性
作者并未提出另一种混合变通方案，而是推导出了封闭形式的校正方法。Delta-Matching通过调整陈旧的缩放因子，精确恢复softmax梯度的零行和不变性。该修复作用于块缩放FP8矩阵乘法层面，使每个注意力核心操作（包括Q·Kᵀ、P·V乘积及其后向传播转置）均能原生以FP8运行，无需降级为BF16。
针对FP8格式的非对称性，该方法直接调和了用于前向传播的高精度E4M3格式与用于后向传播的大动态范围E5M2格式，确保两者在边界处的缩放因子一致。实际上，Delta-Matching无需更改架构、缩减全局批量大小或依赖辅助前向输出，被视为现有流水线的兼容式“即插即用”改进。
定量对比显示，NVIDIA标准的混合方法在基准测试中验证交叉熵为1.6105，虽优于朴素FP8的1.8970，但仍明显高于BF16基线的1.4178。而Delta-Matching在所有测试规模（5.69亿、16.7亿和52.9亿参数）上，其训练损失和下游基准性能均与BF16/FP32混合精度基线相匹配。
这种一致性能否在数千亿甚至万亿参数的前沿模型规模下保持，有待作者发布实现代码、训练检查点和数据配方后进一步验证。
高效AI的深厚根基与快速落地路径
论文作者来自麻省理工学院、卡内基梅隆大学和NVIDIA研究。其中，麻省理工学院副教授Song Han与NVIDIA高级研究科学家Han Cai领导了相关贡献。Song Han团队此前开发的SmoothQuant和AWQ量化方法已集成至NVIDIA TensorRT-LLM生产推理堆栈，AWQ更获MLSys 2024最佳论文奖。此外，该团队发表的COAT方法通过压缩优化器状态和激活，实现了训练阶段的内存节省与速度提升，与解决数值精度问题的Delta-Matching形成互补。
相比学术研究通常需两三年才能转化为生产部署，Delta-Matching的落地路径可能极短。鉴于作者团队与NVIDIA的紧密隶属关系，以及实验室已有成果整合进NVIDIA生产堆栈的先例，Delta-Matching拥有从预印本直接整合到主流训练硬件的制度化捷径。
全精度一致性重塑训练经济性
能够以FP8原生运行每个注意力核心矩阵乘法且无精度损失，对训练大型模型的组织具有双重意义：
首先是吞吐量提升。NVIDIA H100 FP8张量核心算力是BF16的两倍，直接应用于占据Transformer训练大部分计算量的注意力核心操作，理论上可将计算时间缩短近半，或在同等预算下训练更大模型。
其次是流水线简化。当前框架需同时维护多精度级别并路由敏感操作，增加了工程开销。完全原生的FP8注意力核心移除了这一复杂度，降低了实施、测试和调试成本。
当然，上述优势取决于在前沿规模下的成功复制。论文实验上限为52.9亿参数，而当前前沿模型已达数千亿至万亿级。在这些规模下的独立验证及生产级框架整合，将是Delta-Matching真正部署前的关键关卡。
常见问题解答
什么是零行和不变性，为何它对LLM训练至关重要？
softmax函数的雅可比矩阵具有每一行之和为零的数学性质，源于其平移不变性：向所有输入添加常数不改变输出，故相对于均匀偏移的净导数必须消失。注意力机制的后向传播依赖此性质以产生无偏梯度估计。标准FP8量化因前后向缩放因子失配引入微小但一致的偏移，经数千步训练后，该偏移在优化器状态中累积成系统性扭曲，导致大模型和长训练周期中的性能退化。
Delta-Matching是否需要更改Transformer架构或超参数？
不需要。Delta-Matching仅调整注意力块内部矩阵乘法操作的量化方案，不涉及外围架构。它无需QK归一化、NoPE、修改全局批量大小或依赖辅助前向输出。作者将其描述为标准Transformer架构下的兼容插件式升级，无需修改模型定义或重新调整学习率。
Delta-Matching何时可能出现在NVIDIA Transformer Engine等生产框架中？
作者尚未公布具体时间表，但制度背景暗示了比典型更快的路径。鉴于核心作者均在NVIDIA研究任职，且同一实验室的SmoothQuant和AWQ已整合进TensorRT-LLM，加之论文明确将Delta-Matching定位为对NVIDIA现有混合方法残留差距的校正，其整合前景乐观。代码、检查点和数据配方即将发布，而在前沿模型规模下的独立复制将是生产整合前的关键技术关卡。
陈旧Delta问题与COAT、SmoothQuant和AWQ解决的问题有何不同？
SmoothQuant和AWQ是后训练量化方法，旨在压缩已训练好的全精度模型权重以优化推理部署；COAT是训练时方法，通过压缩优化器状态和激活来降低峰值内存占用。这三者均未触及注意力核心后向传播的数值准确性。陈旧Delta问题是训练时的准确性缺陷，导致梯度计算偏差，使模型效果不及全精度训练。Delta-Matching纠正了这一特定错误，四种方法解决的是互补而非竞争的问题。
论文《Delta-Matching：关闭LLM原生8位训练的最终差距》已在arXiv发布，代码、训练模型和数据配方即将由作者公开。