论文阅读：Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search

Sun, 05 Jul 2026 23:05:22 +0800

基本信息

论文标题：Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search
作者单位：阿里
论文链接：https://arxiv.org/abs/2511.13885
来源：Arxiv

Motivation：论文要解决的问题是什么

在emb召回场景，之前的范式基本上是q2i对比学习训练，在此基础上会做难负例的挖掘，以及在loss中融入多种业务目标。例如，通过人工先验构造难负例；在loss中融入相关性等其他loss任务。

这种范式存在两个问题，一是难负例挖掘依赖人工先验知识，效率太低；二是loss融入多目标之后，训练过程存在跷跷板效应，即A目标变好之后可能导致B目标变差等。

本文在传统对比学习预训练的基础上，引入了Retrieval-GRPO对齐，通过检索TopK相似item，然后进行GRPO训练，一是可以自动挖掘难负例，二是将多种业务目标融合成一个reward，避免了跷跷板效应。

整体流程

整体流程包括两个部分，一是常规的对比学习预训练，让emb模型具备基本的相似度判别能力；二是在预训练基础上，进行Retrieval-GRPO对齐，让emb模型对齐不同的业务目标。

对比学习预训练（SFT）

这部分比较常规，就是从线上日志中挖掘出一批正样本二元组：query $q_i$和item $d_j^+$，然后通过InfoNCE loss进行对比学习预训练

$$ \mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)} \qquad (4) $$

本文的重点就是说不需要手动挖掘难负例，通过后面的Retrieval-GRPO自动挖掘难负例，所以上述公式中只有in-batch负例，没有人工构造难负例。

但是，作者认为，in-batch只包含有行为的负例（即其他query的正例），大量无行为的item被忽略了，导致对中长尾商品的效果不佳。因此，作者在in-batch负例基础上，又从全局商品池随机采样了一些作为全局负例，新的公式如下：

$$\mathcal{L} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\underbrace{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)}_{\text{positive and in-batch negatives}} + \underbrace{\sum_{d_k^- \in \mathcal{G}} \exp(s(q_i, d_k^-) / \tau)}_{\text{global negatives}}} \qquad (5)$$

其中$\mathcal{B}$是in-batch负例，$\mathcal{G}$是全局随机采样的负例。

Retrieval-GRPO on bitJoy

论文阅读：Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search

基本信息

Motivation：论文要解决的问题是什么

整体流程

对比学习预训练（SFT）