z-loss

输出softmax的不稳定性 §

是softmax的分母，称为归一化常数。

Softmax 具有平移不变性（Shift Invariance）：给所有的 logits 同加一个常数 ，计算出的概率分布完全不变：

由于交叉熵损失（Cross-Entropy）只关注模型的相对概率分布，它无法约束 logits 的绝对数值大小，在模型在拟合目标时倾向于将 logits 绝对值推得非常大，导致 急剧膨胀。在 FP16 或 BF16 有限的数值精度下，极大的数值会导致 计算上溢或梯度爆炸，最终触发 NaN 或 Loss 突刺致使训练崩溃。

z-loss §

z-loss显式地对 的平方进行惩罚，强制把 logits 的绝对数值拉回合理范围内。