#AI 残差量化 (Residual Quantization, RQ / RVQ)

残差量化的码本是“纵向叠加”的。

  • 逻辑:第一层量化后剩下的误差(残差),交给第二层去补救;第二层还剩下的误差,交给第三层……
  • 公式:假设原始向量为 ,各层码本量化后的向量为 ,则:
  • 特点:每个码本都在处理相同维度的向量,精度随码本数量增加而线性提升。