MNR(Multiple Negatives Ranking)的核心思想是通过 对比一个正例和多个负例 来学习有效的表示,从而让模型能够区分相关和不相关的样本。
MNR 通常使用 排序损失函数 (Ranking Loss) 来训练模型。排序损失函数的目标是让正例对的相似度得分高于负例对的相似度得分。常见的排序损失函数包括:
- InfoNCE (Noise Contrastive Estimation):将正例和负例的相似度得分进行对比,并鼓励正例得分远高于负例得分。
- Margin Ranking Loss:直接设定一个 margin,要求正例得分比负例得分高出至少 margin 的距离。
InfoNCE Loss 的形式如下(简化版):
其中,