2

混合精度训练

  • bf16:参数、激活值和梯度
  • fp32:优化器状态