GALA

基本信息 论文标题：GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System 作者单位：阿里 论文链接：https://arxiv.org/abs/2607.29213 来源：ICDE 2026 Motivation：论文要解决的问题是什么 目前在电商模型中使用多模态特征主要遵循两阶段范式：首先进行多模态预训练，这一阶段主要目的是对齐图文语义空间；然后将预训练的多模态表征加入到排序模型中，这一阶段主要目的是对齐基于用户行为的排序目标。 作者认为这两个阶段比较割裂，任务目标也不一致，导致效果欠佳。因此本文的方法就是在两阶段中间新增了一个阶段，变成了三阶段范式。新增的中间阶段是用第一阶段的emb在排序任务上进行GRPO微调，相当于将emb一定程度上对齐了排序目标，对原有的两阶段范式进行了桥接。此外，也对原有的两阶段进行了各自的优化。 主要应用场景是淘宝闪购外卖场景。 整体流程 三阶段的整体流程如图Fig2所示： Stage1：多模态预训练，对齐图片、文本等各种模态 Stage2：多模态后训练，针对下游基于用户行为的排序任务微调多模态表征 Stage3：多模态排序应用，设计了Gating机制自适应融合多模态表征和ID表征 多模态预训练 样本构造 外卖与电商有个很大的区别是，外卖搜索结果页是店铺排序，而电商是商品排序。 作者基于搜索下单日志，对每个店铺，拿到其最高频下单的10个query，以及这10个query下最高频购买的5个商品。由此拿到了三元组<query, shop, item>，其中shop有店铺文本描述信息text；item有商品图片image和文本text。 对齐任务 有了上述三元组样本之后，多模态预训练有两个对齐任务，第一个任务是商品本身的图片和标题的对齐，差不多是标准的CLIP或者对比学习了，没有难负例，直接用的in-batch负例。 $$ \begin{equation} \mathcal{L}_{\mathrm{I2T}} = -\log \frac{\exp(t \cdot i_{+})/\tau}{\sum_{j=0}^{K} \exp(t \cdot i_{j})/\tau}, \end{equation}\tag{1} $$第二个任务是query到shop的对齐，包含三个子任务：query对齐店铺描述、query对齐高频商品图片、query对齐图文融合表征。如下图Fig4所示，图文融合作者采用的是Google T5的cross attention方式。最后把三个loss以不同系数加权起来。第二个任务的对比学习方式与第一个任务完全一样，也是InfoNCE loss和in-batch负例。 $$ \begin{equation} \mathcal{L}_{\text{Q-Align}} = w_1 \mathcal{L}_{\text{Q-Text}} + w_2 \mathcal{L}_{\text{Q-Image}} + w_3 \mathcal{L}_{\text{Q-Fusion}}. \end{equation}\tag{2} $$本文的多模态backbone是GME模型。 ...