论文阅读:CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation

基本信息 论文标题:CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation 作者单位:阿里 论文链接:https://arxiv.org/abs/2609.04083 来源:Arxiv Motivation:论文要解决的问题是什么 现有的MLLM多模态emb在组合推理任务上表现比较差。组合推理任务按照原文的定义是指要理解图片中不同实体的属性、相对关系等各种信息的组合关系: Compositional reasoning, the ability to understand novel combinations of objects, attributes, and relations, remains a fundamental challenge in vision-language understanding 本文引用这篇文章:Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality,里面有个很有意思的例子,如下图所示:两句话单词完全一样,但是单词的顺序不同,表达的意思完全不同,匹配的图片也完全不同,但是现有的多模态emb模型完全无法区分这两句话。这就是多模态emb的组合推理能力表现不佳的问题。 本文Fig2a也举了一个例子,query是:Pink cooked shrimp is on top of golden round grilled food(粉红烤虾放在金黄圆润的烤制食物上),问query和图片A/B哪个更像。作者发现多模态emb无法区分query emb和A/B图片emb的相似度。但是同样基座的MLLM和VL-Reranker模型却可以回答出来A与query更像。所以引出本文要解决的核心问题是,如何增强emb的组合推理能力。本文进一步发现reranker模型有这个能力,所以进一步聚焦如何把reranker的这种能力蒸馏到emb模型上。 其实emb的组合推理能力听起来很玄乎,但是本文要解决的问题本质上是emb对不同相似图片的分层区分能力。如下Fig1(a)图所示,给定一个query和5张图片,5张图片和query的相似度不是非黑即白的关系,而是有不同相似程度的区别。因为5张图片的区别就是图片中实体的属性、关系的组合区别,如果emb能区分出来query和5张图片的相似度依次是L5>L4>L3>L2>L1,则认为emb具备了组合推理能力。 传统的多模态emb大多数是通过对比学习训练得到的,如Fig1(a)左下角的图,因为对比学习训练的时候对所有负例一视同仁,相当于只训练了二元的像与不像的能力,故对比学习对所有不像的都认为不像,但其实不像的图片里面也能进一步区分出三六九等。类似的,对像的图片也是同样的道理。这就需要依赖更细粒度的图片表征能力了,也就是文中说的组合推理能力。 核心思想 搞清楚问题之后,解法相对来说比较简单。既然现有emb缺乏分层区分能力是因为对比学习预训练只有二元区分能力,那直接的想法就是标注多层次的相似度样本,然后使用listwise的方法预训练emb模型就可以了。由此引出来两个问题,一是如何批量标注多层次的listwise相似度样本,二是如何利用listwise样本训练emb模型。 Listwise样本构造流程 最终训练的listwise样本形如Fig1(a)所示,包含一个query,以及5张不同相似度等级的图片。本文把图文相似度分为5个等级:L5完全匹配(包括主体、属性、关系等);L4完全匹配,但是主体只是整张图片的一部分;L3属性不匹配;L2主体不匹配;L1完全不匹配。 样本构造过程如图Fig2(c),具体如下: 从LAION-400M数据集采样种子图片 使用Qwen3-VL-32B理解图片,输出图片中的实体、属性、实体关系等信息 随机采样一个schema,其实就是确定两个参数:(\(n_{obj}\), \(n_{attr}\)),分别表示从上一步抽取的全集信息中采样的实体数量和属性数量 将种子图片,上一步采样的实体和属性,喂给MLLM模型,让MLLM生成描述种子图片的query,以及符合5档相似度的5个图片描述caption文本 利用种子图片+上一步的5个图片描述caption文本,调用Z-Image-Turbo,生成符合描述的图片 由此得到<query, L5图片, L4图片, L3图片, L2图片, L1图片> listwise样本 可以看到上述过程不论是query还是图片,都是通过模型生成的,数据质量完全取决于模型效果。故本文还增加了两个数据质量筛选的后处理步骤,都是通过MLLM来完成的,一是确保第5步生成的图片符合caption语义;二是确保第5步生成的图片和query满足相似度分档。通过上述两步筛选,保留了78%的样本。对保留的样本,通过人工check的方式评估了与人工的一致率是94%。 ...

November 22, 2026 · 1 min

论文阅读:FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model

基本信息 论文标题:FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model 作者单位:360 论文链接:https://arxiv.org/abs/2510.10921 来源:ICML2026 Motivation:论文要解决的问题是什么 常规CLIP模型能比较好地对齐图片和文本整体语义,但是对图文细粒度语义的理解能力较差,特别是在中文场景。本文在作者已发表的FG-CLIP基础上,做了小幅升级,升级成支持中英双语的模型,同时新增了文本模态内部的对比学习损失(Textual Intra-modal Contrastive, TIC, loss),总体算法创新比较小,阅读本文之前建议先看看FG-CLIP的论文解读:https://bitjoy.net/posts/2026-10-24-360-fg-clip-paper-reading/。 整体流程 FG-CLIP2的整体流程与FG-CLIP类似,也是两阶段。第一阶段对图片和长短文本进行全局整体对齐;第二阶段对图片区域和局部文本描述进行细粒度对齐。新版在旧版基础上,新增了中文语料数据,同时在第二阶段对齐的时候增加了更多的对齐任务和loss。 第一阶段:图文整体对齐 数据准备 第一阶段主要目标是图片和文本的整体对齐。使用的英文数据集和FG-CLIP一样,基于LAION-2B,然后用MLLM recaption产出长文本描述。中文数据集包括三个:Wukong (100M pairs) (Gu et al., 2022), Zero (250M pairs) (Xie et al., 2023), and a large-scale in-house dataset (500M pairs)。没有详细介绍中文数据集,需要自己看对应的参考文献。 模型训练 第一阶段是图文整体对齐,对齐loss与SigLIP一样,使用的是sigmoid loss,对batch size更不敏感。图片同时对齐长文本和短文本描述。全局对齐loss定义为\(L_{Global}\)。 第二阶段:图文细粒度对齐 数据准备 第二阶段是图文细粒度对齐,英文数据集与FG-CLIP一样,是FineHARD数据集。中文数据集的生产流程与FineHARD一样,产出了包含1.2kw图片的带bounding box和细粒度中文描述的样本,命名为FineRegion-CN数据集。 模型训练 第二阶段的细粒度对齐任务有4个: 细粒度的视觉学习任务:局部图片表征与局部文本描述的对齐,文中说是对比学习loss,没给出具体公式,定义为\(L_{FGV}\) 细粒度的文本学习任务:对于局部图文pair,把文本描述替换成10个难负例文本,使用二元分类loss进行学习,没给出具体公式,定义为\(L_{FGT}\) 文本模态的对比学习任务:为了增强text encoder对语义相似的文本的区分能力,对同batch内文本相似度>0.95的文本,取top-10相似文本作为难负例,进行对比学习训练,loss如下,其中\(\mathcal{T}_i\)是\(T_i\)的top-10相似的难负例,这个公式相当于没有正例的InfoNCE loss。 $$ \mathcal{L}_{\text{TIC}} = -\sum_{i=1}^{N} \log \frac{1}{\sum_{T_m \in \mathcal{T}_i} \exp(S(T_i, T_m))},\tag{1} $$作者附录有几个例子,如下Table E.2,T0相当于anchor,T1~T10相当于10个文本难负例,增加TIC训练任务之后,heatmap颜色最深,即难负例之间的相似度最低,相当于难负例区分得更好了。 ...

November 1, 2026 · 1 min

论文阅读:LEMUR: Large scale End-to-end MUltimodal Recommendation

基本信息 论文标题:LEMUR: Large scale End-to-end MUltimodal Recommendation 作者单位:字节 论文链接:https://arxiv.org/abs/2511.10962 来源:Arxiv Motivation:论文要解决的问题是什么 多模态信息对搜推系统很重要,目前搜推模型使用多模态特征的主流方法是两阶段式的,即先预训练多模态encoder并产出多模态emb,然后冻结emb加入下游排序模型。两阶段方式虽然实现了上下游解耦,方便各自迭代,但存在以下三个问题: 多模态encoder的预训练目标与下游任务的目标不一致,导致预训练对下游的提升帮助不大 下游排序任务被ID特征主导训练,加入的冻结的多模态emb无法起到很大的作用 多模态encdoer和下游排序模型的更新频率不一致,多模态encoder通常是冻结的,导致无法与下游任务做到实时动态适配,随着下游任务的训练,多模态emb的作用会逐渐衰减 多模态emb线上服务压力大 由于上述两阶段方式存在诸多弊端,本文提出直接把原始多模态特征加入排序模型,端到端联合训练排序模型和多模态encoder,期望能最大化利用多模态信息。由于联合训练的成本较高,作者结合了诸多工程优化技术。 模型结构 整体模型结构如图Fig1所示。上层特征交叉和scaling模块是字节的RankMixer,本文重点关注下面的emb层。 本文的建模场景是抖音短视频搜索,输入的多模态特征是query和video(文章称为doc),但是作者并没有使用video的视觉特征,而是通过OCR、ASR等方法把视频的封面图片、关键帧、音频等都转换成文本特征了。所以图中的Multimodal Model很可能只是一个文本encoder。 搜索词q和候选视频d通过transformer-based的Multimodal Model编码后分别得到多模态表征\(q_i\)和\(d_i\)。 然后作者设计了一个q/d对齐模块SQDC,认为发生点击的(q,d)二元组是正样本,同batch内的其他d是负样本。但是需要把同一个q对应的其他未点击d进行mask。即担心曝光未点击的可能是假负例。使用对比学习InfoNCE loss,如下。 $$ \ell_{\text{SQDC}} = \sum_{i, \text{label}_i=1} -\log \frac{\exp (\operatorname{sim}(q_i, d_i) * T)}{\sum_{j=0}^{K} A_{ij} * \exp (\operatorname{sim}(q_i, d_j) * T)}\tag{6} $$$$ A_{ij} = \begin{cases} 0 & \text{if } i \neq j \text{ and } \text{QID}_i = \text{QID}_j \\ 1 & \text{else} \end{cases}\tag{7} $$图Fig1右边的SQDC展示了mask的过程,比如q1/q2是相同的q,q3/q4/q5也是相同的q,则它们算负例的时候内部要互相mask掉,只和不同q的d算负例。整体是非常常规的操作,不值得论文大书特书啊。 上面的多模态模型实际上只编码了q和商品侧的d,由于用户历史行为流的d非常多,出于性能考虑,作者并没有对历史行为中的d过多模态模型进行实时编码。而是把商品侧的d过了多模态模型的emb存到一个memory bank里面,作为cache。然后用户历史行为中的d通过查询memory bank,拿到cache的多模态emb,然后再进入到多模态的用户序列建模模块,作者使用的是字节的LONGER模型。作者认为,由于它们的训练数据范围是2个月,而用户历史行为是1个月,故memory bank里存的商品侧的多模态emb基本能覆盖用户历史行为流中的商品。 ...

November 1, 2026 · 1 min

论文阅读:FG-CLIP: Fine-Grained Visual and Textual Alignment

基本信息 论文标题:FG-CLIP: Fine-Grained Visual and Textual Alignment 作者单位:360 论文链接:https://arxiv.org/abs/2505.05071 来源:ICML 2025 Motivation:论文要解决的问题是什么 基于对比学习的CLIP方法无法感知图片的细粒度特征。本文通过大模型标注了大规模的图片和长文本的细粒度对齐数据集FineHARD,使用FineHARD数据集,通过多阶段预训练CLIP,得到得到FG-CLIP,显著提升了模型对图片的细粒度感知能力。 整体流程 整体流程如图Fig1所示,核心思想是借助各种大模型工具对图片进行长文本、细粒度的标注,然后基于标注数据进行细粒度的图文对比学习。主要包括两阶段训练,第一阶段是进行图文整体的对齐,第二阶段是进行图文细粒度的对齐,下面分别介绍。 第一阶段:图文整体对齐 数据准备 LAION-2B dataset是前人开源的包含20亿图文pair的数据集,本文使用CogVLM2-19B多模态大模型对这个数据集进行重新标注,生成了每张图片的详细的文本描述。作者使用160卡910B集群,标注了30天。下面Fig2是一个标注例子,其中的short caption就是LAION-2B dataset原本的文本描述,其中的long caption就是用多模态大模型重新生成的长文本描述。 模型训练 第一阶段只对图片和文本的整体进行对齐,对于第\(i\)个图片\(v_i\)和文本\(t_i\)二元组(可能是长文本或短文本),使用如下对称的InfoNCE loss进行预训练。其中度量函数\(s(\cdot)\)是cos相似度;\(\tau\)是温度系数=0.07;N是batchsize的大小,故第一阶段没有难负例,全部使用in-batch负例,属于常规操作。 $$ \begin{equation} \begin{aligned} L_{global} = -\frac{1}{2N} \sum_{i=1}^{N} \Big(&\log \frac{\exp(s(v_i, t_i)/\tau)}{\sum_{j=1}^{N} \exp(s(v_i, t_j)/\tau)} \\ &+ \log \frac{\exp(s(t_i, v_i)/\tau)}{\sum_{j=1}^{N} \exp(s(t_i, v_j)/\tau)}\Big), \end{aligned} \end{equation}\tag{2} $$第二阶段:图文细粒度对齐 数据准备 GRIT dataset是前人开源的包含9kw图片及其中1.3亿目标和文本的标注数据,里面的数据是COYO-700M 和 LAION-2B的子集。因此可以推测GRIT的原始文本描述也是短文本,原始bounding boxes也只框选出了主要物体。 基于GRIT数据集,本文首先仍然使用多模态大模型CogVLM2-19B重新生成了长文本描述。然后,使用开源NLP处理工具SpaCy解析长文本描述,并提取出其中的referring expressions,我理解就是其中的名词短语,其实就是具体bounding box的描述短语。最后,把图片和referring expressions短语喂给预训练目标检测模型Yolo-World模型,拿到referring expressions对应的bounding boxes。由此完成了对GRIT数据集的详细的目标检测的标注。 通过上述步骤,对1.2kw图片数据标注了4kw的细粒度的bounding box和对应的region caption。上图Fig2展示了三个bounding box和对应的region caption。 此外,除了上述标注的正样本之外,本文还针对bounding box人工构造了难负例。具体来说,针对每一个bounding box对应的region caption,使用大模型Llama-3.1-70B,在不改变主体的情况下,修改了描述中的属性词,对每个bounding box生成了10个难负例。难负例case如下图Fig3所示。 ...

October 24, 2026 · 1 min

论文阅读:GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System

基本信息 论文标题:GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System 作者单位:阿里 论文链接:https://arxiv.org/abs/2607.29213 来源:ICDE 2026 Motivation:论文要解决的问题是什么 目前在电商模型中使用多模态特征主要遵循两阶段范式:首先进行多模态预训练,这一阶段主要目的是对齐图文语义空间;然后将预训练的多模态表征加入到排序模型中,这一阶段主要目的是对齐基于用户行为的排序目标。 作者认为这两个阶段比较割裂,任务目标也不一致,导致效果欠佳。因此本文的方法就是在两阶段中间新增了一个阶段,变成了三阶段范式。新增的中间阶段是用第一阶段的emb在排序任务上进行GRPO微调,相当于将emb一定程度上对齐了排序目标,对原有的两阶段范式进行了桥接。此外,也对原有的两阶段进行了各自的优化。 主要应用场景是淘宝闪购外卖场景。 整体流程 三阶段的整体流程如图Fig2所示: Stage1:多模态预训练,对齐图片、文本等各种模态 Stage2:多模态后训练,针对下游基于用户行为的排序任务微调多模态表征 Stage3:多模态排序应用,设计了Gating机制自适应融合多模态表征和ID表征 多模态预训练 样本构造 外卖与电商有个很大的区别是,外卖搜索结果页是店铺排序,而电商是商品排序。 作者基于搜索下单日志,对每个店铺,拿到其最高频下单的10个query,以及这10个query下最高频购买的5个商品。由此拿到了三元组<query, shop, item>,其中shop有店铺文本描述信息text;item有商品图片image和文本text。 对齐任务 有了上述三元组样本之后,多模态预训练有两个对齐任务,第一个任务是商品本身的图片和标题的对齐,差不多是标准的CLIP或者对比学习了,没有难负例,直接用的in-batch负例。 $$ \begin{equation} \mathcal{L}_{\mathrm{I2T}} = -\log \frac{\exp(t \cdot i_{+})/\tau}{\sum_{j=0}^{K} \exp(t \cdot i_{j})/\tau}, \end{equation}\tag{1} $$第二个任务是query到shop的对齐,包含三个子任务:query对齐店铺描述、query对齐高频商品图片、query对齐图文融合表征。如下图Fig4所示,图文融合作者采用的是Google T5的cross attention方式。最后把三个loss以不同系数加权起来。第二个任务的对比学习方式与第一个任务完全一样,也是InfoNCE loss和in-batch负例。 $$ \begin{equation} \mathcal{L}_{\text{Q-Align}} = w_1 \mathcal{L}_{\text{Q-Text}} + w_2 \mathcal{L}_{\text{Q-Image}} + w_3 \mathcal{L}_{\text{Q-Fusion}}. \end{equation}\tag{2} $$本文的多模态backbone是GME模型。 ...

October 18, 2026 · 1 min

论文阅读:Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search

基本信息 论文标题:Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search 作者单位:阿里 论文链接:https://arxiv.org/abs/2511.13885 来源:Arxiv Motivation:论文要解决的问题是什么 在emb召回场景,之前的范式基本上是q2i对比学习训练,在此基础上会做难负例的挖掘,以及在loss中融入多种业务目标。例如,通过人工先验构造难负例;在loss中融入相关性等其他loss任务。 这种范式存在两个问题,一是难负例挖掘依赖人工先验知识,效率太低;二是loss融入多目标之后,训练过程存在跷跷板效应,即A目标变好之后可能导致B目标变差等。 本文在传统对比学习预训练的基础上,引入了Retrieval-GRPO对齐,通过检索TopK相似item,然后进行GRPO训练,一是可以自动挖掘难负例,二是将多种业务目标融合成一个reward,避免了跷跷板效应。 整体流程 整体流程包括两个部分,一是常规的对比学习预训练,让emb模型具备基本的相似度判别能力;二是在预训练基础上,进行Retrieval-GRPO对齐,让emb模型对齐不同的业务目标。 对比学习预训练(SFT) 这部分比较常规,就是从线上日志中挖掘出一批正样本二元组:query \(q_i\)和item \(d_j^+\),然后通过InfoNCE loss进行对比学习预训练 $$ \mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)} \qquad (4) $$本文的重点就是说不需要手动挖掘难负例,通过后面的Retrieval-GRPO自动挖掘难负例,所以上述公式中只有in-batch负例,没有人工构造难负例。 但是,作者认为,in-batch只包含有行为的负例(即其他query的正例),大量无行为的item被忽略了,导致对中长尾商品的效果不佳。因此,作者在in-batch负例基础上,又从全局商品池随机采样了一些作为全局负例,新的公式如下: $$\mathcal{L} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\underbrace{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)}_{\text{positive and in-batch negatives}} + \underbrace{\sum_{d_k^- \in \mathcal{G}} \exp(s(q_i, d_k^-) / \tau)}_{\text{global negatives}}} \qquad (5)$$其中\(\mathcal{B}\)是in-batch负例,\(\mathcal{G}\)是全局随机采样的负例。 ...

July 5, 2026 · 1 min

论文阅读:UniNote: A Unified Embedding Model for Multimodal Representation and Ranking

基本信息 论文标题:UniNote: A Unified Embedding Model for Multimodal Representation and Ranking 作者单位:小红书 论文链接:https://arxiv.org/abs/2605.29287 来源:KDD Ads Track 2026 Motivation:论文要解决的问题是什么 小红书的笔记是一个非常典型的多模态item,一篇小红书笔记通常包括多张图片、标题、主题文字等,有的甚至还有视频。小红书使用传统多模态emb做I2I召回时,遇到如下几个问题: 传统基于CLIP的方法学习的是item整体的表征,缺乏对模态细节的学习。而且这种方法多模态特征是晚交互的late interaction,多模态融合的效果不佳。 基于MLLM的方法在item全局表征上的效果还可以,但是细粒度表征效果不佳。特别是小红书场景用一张图片检索整个笔记的情况,即local-to-global的检索场景。 现有基于对比学习微调的多模态emb(例如小红书之前的NoteLLM-2),融入了协同信号,已经不能完全客观反应I2I的语义相似性了,虽然这些emb的召回效果还可以,但是排序效果较差,后续还需要很复杂的单塔排序模型。即这种retrieve-then-rerank需要两个模型,维护成本较高。 针对上述小红书场景的复杂I2I召回问题,本文设计了一个同时适用于表征和排序的emb模型,重点解决了多粒度模态对齐的问题(比如local-to-global的问题)以及增强了emb的排序能力。 整体流程 整体流程如图Fig2所示: 首先根据业务需求设计对齐任务,构造预训练数据 然后进行对比学习预训练 最后使用RL微调模型的排序能力 其中前两步是常规操作,只不过根据小红书的业务需求进行了特定的设计,第三步的RL微调是比较重要的创新点。 对齐任务及预训练数据 如下表Table 1所示,本文共设计了5类10个对齐任务: 原子对齐:笔记中单张图片和笔记文字的对齐 从属召回:笔记中单张图片或文字片段与笔记整体的对齐 语义抽取:笔记整体召回笔记中单张图片或文字片段 OCR能力:图片和OCR,OCR和笔记整体 内容相关性:笔记和笔记整体的对齐 可以看到对齐任务非常多,包括不同模态的对齐、local和local的对齐、local和global的对齐、global和global的对齐。这10个任务前9个任务都可以从同一个笔记中挖掘出训练样本,唯独最后一个笔记和笔记的对齐,需要业务知识进行构造,文中没有介绍如何构造笔记正样本pair的。 在从属召回任务中,通常可以把笔记中的一张图片\(I_i\)和笔记整体\(\mathcal{N}\)作为正样本二元组\((I_i,\mathcal{N})\),但是因为\(I_i\in \mathcal{N}\),作者担心这么训练可能让模型学习到捷径,所以把\(I_i\)从\(\mathcal{N}\)中剔除掉,但加上了\(I_i\)的文本描述\(\{S_{\text{desc}}^i\}\),作为一个新的正样本\(\mathcal{N}'\): $$ (I_i, \mathcal{N}'), \quad \text{where} \quad \mathcal{N}' = \{S_{\text{desc}}^i\} \cup \mathcal{N} \setminus \{I_i\} \tag{2} $$在负样本构造方面,作者重点介绍了两种负样本构造方法: 第一种方法是中等难度的负例。对于锚点\(q\),从全部候选商品池\(\mathcal{P}\)中,圈一部分与\(q\)相似度在\([\tau_{\min},\tau_{\max}]\)之间的子集\(\mathcal{P}'\),作为\(q\)的难负例。在算相似度时,这一步使用一个基础版的emb模型\(\phi\),可能是开源的或者比较弱的emb模型。 $$ \mathcal{P}' = \{c \in \mathcal{P} \mid \tau_{\min} \le \text{sim}(\phi(q), \phi(c)) \le \tau_{\max}\}, \tag{3} $$第二种方法是高难度负例,文中称为heuristic rules based方法。特别是针对local-to-global对齐任务,下面公式5给的是负例,负例是直接把\(I_i\)从\(\mathcal{N}\)中剔除就是负例;上面公式2给的是正例,相当于在负例基础上增加了\(I_i\)的文本描述\(\{S_{\text{desc}}^i\}\)。公式5的负例感觉过于难了。 ...

June 14, 2026 · 1 min

论文阅读:MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding

这篇文章和MOON技术报告有大量重复,建议先阅读MOON技术报告读书笔记。 基本信息 论文标题:MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding 作者单位:阿里 论文链接:https://arxiv.org/abs/2508.11999 来源:WSDM 2026 Motivation:论文要解决的问题是什么 多模态信息在电商应用的挑战如下: 传统CLIP方法只能学习图片和文本的1对1关系,但是电商场景经常是一个商品标题对应多张商品图片,故传统CLIP已经不太能胜任这种场景,而MLLM可以 电商图片有很多噪声,比如背景、无关商品、促销信息等,需要去噪之后再进行表征学习 领域缺乏电商场景下通用多模态表征的benchmark数据集 对比学习预训练 如图Fig 4所示,整体模型结构和MOON技术报告中的基本一样: 样本构造:使用q2i下单信号构造正样本pair,使用同类目的其他商品作为难负例,使用时空负例采样扩大负例样本数量 训练任务:对比学习,InfoNCE loss 输入特征:包括标题、图片、类目、属性等特征 图片去噪:图片会先使用Qwen2.5-VL进行主体识别,主体识别时同时输入图片和商品标题,让模型提取出符合标题的图片主体。然后会把去噪前后的图片都输入到MLLM中进行表征学习 表征提取:使用MLLM最后一层所有token的hidden states进行mean pooling后得到 本文相比MOON技术报告的创新点在Fig 5,即作者把MLLM中的FFN改造成了MoE结构,作者认为输入给MLLM的特征太多,不同特征反应了商品在不同方面的特点,比如图片、标题、类目、属性等,因此这个MoE让模型能动态自适应关注商品的不同特征。 结果 因为本文的目标是训练通用多模态表征,为了验证通用表征的效果,作者在2个数据集的3个任务上进行了系统性评测,结果如图Fig 1所示,本文的方法比传统方法以及其他MLLM方法都要好。通过消融实验发现,主要提升来自3个创新点:1)图片主体识别;2)MoE;3)扩充负例。 评论 可借鉴 使用MoE让emb关注商品不同特征,这个思路挺好的 可改进 论文整体创新性不够,MLLM生产商品多模态表征的思路很多年前都有了,快手的QARM,小红书的NoteLLM很早就发表了,但本文完全没有引用 电商图片使用主体识别进行去噪的思想之前沃尔玛也发表了,本文没有任何引用:https://bitjoy.net/posts/2025-10-08-vl-clip-paper-reading/。而且图像去噪需要使用另一个MLLM大模型,会增加模型推理和部署的成本,有办法把这一步合并到主模型中吗? 本文第三个创新点提出了通用多模态表征评测benchmark,但并没有提供数据和代码链接 对比学习样本只有下单的Q2I信号,没有点击、加购信号,也没有I2I信号。难负例是同类目其他商品,有假负例的风险很高。比如Q=“手机”,I=“华为手机”,那用“小米手机”作为难负例肯定是不合适的。 MoE结构的Router输入的是商品的所有特征x,感觉不太合理,感觉可以只输入类目信息,因为不同类目的表征关注重点不同,比如服饰类目更多关注图片,而3C数码更多关注标题属性等 离线对比实验的时候,并没有说明不同多模态模型输出的dimension是否一致,是否公平 没有线上AB效果

April 23, 2026 · 1 min

论文阅读:MOON Embedding: Multimodal Representation Learning for E-commerce Search Advertising

基本信息 论文标题:MOON Embedding: Multimodal Representation Learning for E-commerce Search Advertising 作者单位:阿里 论文链接:https://arxiv.org/abs/2511.11305 来源:arxiv Motivation:论文要解决的问题是什么 多模态信息在电商搜推系统中有很重要的作用,本文介绍了阿里在应用多模态信息过程中积累的实战经验,洋洋洒洒31页,介绍内容很多,核心围绕着多模态应用的三步走策略:“Pretraining, Post-training, and Application”,介绍了预训练方法、下游应用方法、工程架构优化等内容。 总体流程 总体流程如图Fig1所示,上面是算法流程,下面是工程架构。算法包括三个流程:MLLM预训练、多模态表征后训练、多模态表征下游应用。工程包括两个环节:表征生产、表征消费。 MLLM预训练(Pretraining) 阿里并不是基于开源MLLM微调生产多模态表征,而是他们内部预训练了一个MLLM,叫TBStars-VL,是一个4B的模型。和通用MLLM一样,TBStars-VL也在通用数据集上进行过NTP的预训练,除此之外,TBStars-VL还在淘宝内部的电商数据上进行过预训练,预训练的任务主要是面向电商场景的QA任务,比如Fig1左上角展示的针对商品图片的描述、商品属性抽取、标题生成、图片主体识别等。这一阶段的预训练主要是给TBStars-VL注入电商领域知识。这部分论文介绍篇幅很短,没有具体细节。 多模态表征后训练(Post-training) 由于TBStars-VL是基于NTP任务训练好的生成式模型,没法直接产出多模态表征,故还需要进行多模态表征后训练,其实就是对比学习微调。 在这个环节,作者把TBStars-VL的生成式单向attention改成了双向attention,以输出层的mean pooling结果作为表征输出。训练任务是经典的对比学习+InfoNCE loss。 在正样本构造方面,本文使用了多种q2i数据,比如图搜图、文搜文、文搜商品(图文)等,协同信号使用了点击、加购、下单等信号。样本统计数据如Table 2所示。虽然本文挖掘了不同协同关系的q2i正样本,但没说这些数据具体怎么用的,是混在一起shuffle训的话,其实学了个四不像。不如每种q2i数据都单独训一套表征。 这一阶段对比学习训练的负样本就是in-batch负例。 完成上述后训练之后,作者后续还进行了一轮精调,即只用下单的q2i正样本,且对所有下单q2i进行了如下清洗: 相似度去重 对于同一个item关联的多个正样本query,使用之前的模型产出q和i的表征,只保留(q,i)相似度最低的pair。作者认为相似度高的pair可能是热门的简单样本,所以只保留相似度最低即难度最大且长尾的(q,i)样本,加强对这部分数据的学习 对训练集中的所有(q,i) pair,把属于同一个spu的sku样本合并,增加样本的多样性,同时避免batch内出现同spu的不同sku互为假负例的情况 最后统计训练集中的(q,i)对应的类目分布,将训练样本的类目分布和线上曝光商品的类目分布对齐,对商品占比高的类目降采样 NER去重 对query和sku的标题文本进行NER,认为实体数量少于2个的文本蕴含信息太少,把这部分样本删掉 此外,这次精调还额外使用了负样本,包括2种负采样方法: 难负例采样。对于正样本(q,i) pair,把和i属于同一个类目的其他商品i’作为i的难负例。这一点我感觉难负例太强了,会出现很多假负例,比如搜“手机”,购买了“小米手机”,但并不意味着“华为手机”就和搜索词“手机”是负例关系。 时空负采样。听着很高级,但其实也是常规操作:时间负采样就是memory bank的思路,空间负采样就是把其他GPU上的emb gather到当前GPU作为负样本。 最后,这一阶段精调的loss也不再是InfoNCE loss了,而是circle loss,这个和InfoNCE loss有点类似,后续有空了研究清楚。 多模态表征应用(Application) 多模态表征在排序模型中的应用结构如图Fig 5所示,相对比较简单,就是用多模态表征和行为流的多模态表征计算相似度,然后用相似度对行为流进行加权求和。 工程架构优化 多模态应用的全链路周期很长,作者在每个环节都进行了很多工程优化,如下图Fig7所示。个人读下来这些优化也比较常规,大部分优化方法我们都用过。由于这部分不是算法关注的重点,不展开介绍了。 效果评估 在效果评估上,作者发现基于图像表征的搜索召回率可以作为优化表征模型的一个代理指标,能和下游排序任务的指标对应上。但是个人认为这个结论不具有普适性,而且这两个指标还是不太一样,搜索召回率本质上是一个召回任务,而下游是排序任务,对emb的细粒度区分能力要求更高。 评价 可借鉴 最后精调使用的样本,使用(q,i)下单样本,并且进行了复杂的数据清洗,得到的数据质量很高,可以参考这些方法进行数据清洗 最后精调使用了circle loss,说是能提升正负例的区分能力,后续可参考 可改进 论文太长了,现在大厂都喜欢写很长的technical report,但是太长了可读性不太好,很多车轱辘话反复说,不够精简,而且重点不突出,创新性不突出 对比实验严重不足,比如为什么需要用内部的TBStars-VL,电商数据pretraining的收益有多大,和直接微调开源MLLM的对比效果如何? Q2I的难负例是否会造成很多假负例? 最后精调的时候,为什么要用circle loss,和使用InfoNCE loss对比效果如何 使用MLLM最后一层的mean pooling,这种和加特殊token的方法哪个更好? 使用图像搜索召回率作为排序指标的代理指标,合理吗?具有普适性吗? Table 3,recall@k指标,k越大recall@k越低,不合理吧,应该越高吧?

April 18, 2026 · 1 min

论文阅读:QARM V2: Quantitative Alignment Multi-Modal Recommendation for Reasoning User Sequence Modeling

这篇论文是QARM V1的升级版,建议先看QARM V1的阅读总结。 基本信息 论文标题:QARM V2: Quantitative Alignment Multi-Modal Recommendation for Reasoning User Sequence Modeling 作者单位:快手 论文链接:https://arxiv.org/abs/2602.08559 来源:arxiv Motivation:论文要解决的问题是什么 QARM V1确定了“LLM微调→生产SID→排序模型应用”的多模态在排序场景应用的范式,本文发现QARM V1存在如下不足: (1)QARM V1用于LLM微调的i2i训练数据有很多噪声 QARM V1有2种生产i2i样本的方法: 使用swing这种i2i召回模型收集i2i pair。这个方式容易受到商品热度的偏置,如Fig2a所示,酱油和洗衣液被swing判定为i2i正样本,只不过是因为他们都很热门,并不是因为他们在多模态语义上相似。 使用U2I召回模型收集i2i pair。这个方式召回的i2i正样本pair灵活多变,很容易出bad case。 总之,QARM V1构造的i2i正样本有很多噪声,需要去噪。 (2)QARM V1使用RQ-KMeans生产的SID序列冲突率太高 QARM V1使用3层RQ-KMeans训练产出SID序列,作者发现电商商品的分布非常不均匀,甚至是二八分布的情况,即少数几类商品量非常大,大多数类目的商品数量很少。如果只用RQ-KMeans进行分层残差聚类,在商品分布不均匀的情况下,产出的SID序列的冲突率很高。如图Fig3a所示,KMeans聚类严重依赖于数据分布,当数据分布本身不均匀的时候,聚类结果本身也是不均匀的,这就会导致SID序列冲突。 使用推理大模型去噪的I2I样本构造方法 如下图Fig4所示,针对QARM V1的i2i样本噪声多的问题,本文分别使用Qwen3-0.6B和Qwen3-8B对swing和u2i模型召回的i2i样本进行清洗,清洗的prompt如下图所示,就是让大模型判断i2i pair的两个商品是否是相似或者相关商品,输出yes或no。作者认为u2i模型召回的i2i pair更加灵活多变,所以使用了更大的8B模型对这部分数据进行清洗。经过作者的清洗,发现QARM V1的i2i样本中有10%的swing召回的i2i和70%的U2I召回的i2i都是噪声,这噪声的比例也太大了吧。。。 除此之外,为了增强emb对商品的理解能力,作者又使用更大的多模态大模型Qwen2.5-VL-72B,对商品进行理解,生成针对该商品的QA pair,作为后续NTP任务的训练数据。如上图Fig4右上角部分,针对那个辣条,Qwen2.5-VL-72B生成的QA会问这个商品名称是啥,回答是:亲嘴烧。这一步使用的prompt如下图所示。 微调LLM产出多模态表征 微调结构如Fig4下图部分,LLM输入包括标题、图片、属性等特征,此外还新增了3个特殊token <EMB>,用这3个特殊token的输出mean pooling得到最终的多模态emb,然后进行对比学习训练。不理解为啥需要用3个特殊token,1个足够了吧? 上述对比学习结构都比较常规,本文新增的是对QA pair的NTP任务,就是在三个特殊token后面,让LLM继续以NTP的形式生成QA pair,即样本构造环节通过大模型产出的QA pair。 而且这个NTP任务是以三个特殊token为起点的,因为LLM都是decoder-only结构,为了让NTP任务只看到前面三个特殊token,而不看到开头的标题、图片等商品信息,作者设计了Three-Segment Attention Mask,即NTP任务最多看到三个特殊token往后的token。作者这么设计的原因,是希望通过NTP训练,让特殊token产出的商品表征,能够蕴含QA pair里面的信息。 基于Res-KmeansFSQ的SID序列生产 QARM V1是直接使用3层RQ-KMeans残差聚类生产SID序列,作者在Fig3a中认为电商数据天然的不均匀性,会导致KMeans聚类出来的sid存在很大的冲突。为了缓解这个问题,作者将最后一层的KMeans替换成FSQ。其实正如Fig3a所示,KMeans是对向量空间的柔性的量化,而FSQ直接就是四舍五入,是刚性的量化,在码本空间比较大的情况下,FSQ的冲突率比KMeans低。 如下图所示,M^2就是第二层的残差,在公式(3)中,先通过σ函数把残差映射到0~1之间,然后乘以量化值域L,相当于把残差投影到长度为L的线段上,Fig3b的网格等宽网格很好理解。有关FSQ的介绍可以参考这篇博客:https://spaces.ac.cn/archives/9826 基于多模态表征及SID序列的用户行为建模方法 多模态emb和SID序列在排序模型中的应用也比较常规。整体还是TWIN或者说SIM的先GSU进行soft-search,然后在ESU进行target attention。具体来说,作者在GSU使用的是原始多模态emb进行soft-search,在ESU使用的是SID序列和排序模型进行端到端训练。最终离在线效果都有很大的提升。 ...

March 21, 2026 · 1 min