Paper Reading

基本信息 论文标题：FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model 作者单位：360 论文链接：https://arxiv.org/abs/2510.10921 来源：ICML2026 Motivation：论文要解决的问题是什么 常规CLIP模型能比较好地对齐图片和文本整体语义，但是对图文细粒度语义的理解能力较差，特别是在中文场景。本文在作者已发表的FG-CLIP基础上，做了小幅升级，升级成支持中英双语的模型，同时新增了文本模态内部的对比学习损失（Textual Intra-modal Contrastive, TIC, loss），总体算法创新比较小，阅读本文之前建议先看看FG-CLIP的论文解读：https://bitjoy.net/posts/2026-10-24-360-fg-clip-paper-reading/。 整体流程 FG-CLIP2的整体流程与FG-CLIP类似，也是两阶段。第一阶段对图片和长短文本进行全局整体对齐；第二阶段对图片区域和局部文本描述进行细粒度对齐。新版在旧版基础上，新增了中文语料数据，同时在第二阶段对齐的时候增加了更多的对齐任务和loss。 第一阶段：图文整体对齐 数据准备 第一阶段主要目标是图片和文本的整体对齐。使用的英文数据集和FG-CLIP一样，基于LAION-2B，然后用MLLM recaption产出长文本描述。中文数据集包括三个：Wukong (100M pairs) (Gu et al., 2022), Zero (250M pairs) (Xie et al., 2023), and a large-scale in-house dataset (500M pairs)。没有详细介绍中文数据集，需要自己看对应的参考文献。 模型训练 第一阶段是图文整体对齐，对齐loss与SigLIP一样，使用的是sigmoid loss，对batch size更不敏感。图片同时对齐长文本和短文本描述。全局对齐loss定义为\(L_{Global}\)。 第二阶段：图文细粒度对齐 数据准备 第二阶段是图文细粒度对齐，英文数据集与FG-CLIP一样，是FineHARD数据集。中文数据集的生产流程与FineHARD一样，产出了包含1.2kw图片的带bounding box和细粒度中文描述的样本，命名为FineRegion-CN数据集。 模型训练 第二阶段的细粒度对齐任务有4个： 细粒度的视觉学习任务：局部图片表征与局部文本描述的对齐，文中说是对比学习loss，没给出具体公式，定义为\(L_{FGV}\) 细粒度的文本学习任务：对于局部图文pair，把文本描述替换成10个难负例文本，使用二元分类loss进行学习，没给出具体公式，定义为\(L_{FGT}\) 文本模态的对比学习任务：为了增强text encoder对语义相似的文本的区分能力，对同batch内文本相似度>0.95的文本，取top-10相似文本作为难负例，进行对比学习训练，loss如下，其中\(\mathcal{T}_i\)是\(T_i\)的top-10相似的难负例，这个公式相当于没有正例的InfoNCE loss。 $$ \mathcal{L}_{\text{TIC}} = -\sum_{i=1}^{N} \log \frac{1}{\sum_{T_m \in \mathcal{T}_i} \exp(S(T_i, T_m))},\tag{1} $$作者附录有几个例子，如下Table E.2，T0相当于anchor，T1~T10相当于10个文本难负例，增加TIC训练任务之后，heatmap颜色最深，即难负例之间的相似度最低，相当于难负例区分得更好了。 ...

基本信息 论文标题：LEMUR: Large scale End-to-end MUltimodal Recommendation 作者单位：字节 论文链接：https://arxiv.org/abs/2511.10962 来源：Arxiv Motivation：论文要解决的问题是什么 多模态信息对搜推系统很重要，目前搜推模型使用多模态特征的主流方法是两阶段式的，即先预训练多模态encoder并产出多模态emb，然后冻结emb加入下游排序模型。两阶段方式虽然实现了上下游解耦，方便各自迭代，但存在以下三个问题： 多模态encoder的预训练目标与下游任务的目标不一致，导致预训练对下游的提升帮助不大 下游排序任务被ID特征主导训练，加入的冻结的多模态emb无法起到很大的作用 多模态encdoer和下游排序模型的更新频率不一致，多模态encoder通常是冻结的，导致无法与下游任务做到实时动态适配，随着下游任务的训练，多模态emb的作用会逐渐衰减 多模态emb线上服务压力大 由于上述两阶段方式存在诸多弊端，本文提出直接把原始多模态特征加入排序模型，端到端联合训练排序模型和多模态encoder，期望能最大化利用多模态信息。由于联合训练的成本较高，作者结合了诸多工程优化技术。 模型结构 整体模型结构如图Fig1所示。上层特征交叉和scaling模块是字节的RankMixer，本文重点关注下面的emb层。 本文的建模场景是抖音短视频搜索，输入的多模态特征是query和video（文章称为doc），但是作者并没有使用video的视觉特征，而是通过OCR、ASR等方法把视频的封面图片、关键帧、音频等都转换成文本特征了。所以图中的Multimodal Model很可能只是一个文本encoder。 搜索词q和候选视频d通过transformer-based的Multimodal Model编码后分别得到多模态表征\(q_i\)和\(d_i\)。 然后作者设计了一个q/d对齐模块SQDC，认为发生点击的(q,d)二元组是正样本，同batch内的其他d是负样本。但是需要把同一个q对应的其他未点击d进行mask。即担心曝光未点击的可能是假负例。使用对比学习InfoNCE loss，如下。 $$ \ell_{\text{SQDC}} = \sum_{i, \text{label}_i=1} -\log \frac{\exp (\operatorname{sim}(q_i, d_i) * T)}{\sum_{j=0}^{K} A_{ij} * \exp (\operatorname{sim}(q_i, d_j) * T)}\tag{6} $$$$ A_{ij} = \begin{cases} 0 & \text{if } i \neq j \text{ and } \text{QID}_i = \text{QID}_j \\ 1 & \text{else} \end{cases}\tag{7} $$图Fig1右边的SQDC展示了mask的过程，比如q1/q2是相同的q，q3/q4/q5也是相同的q，则它们算负例的时候内部要互相mask掉，只和不同q的d算负例。整体是非常常规的操作，不值得论文大书特书啊。 上面的多模态模型实际上只编码了q和商品侧的d，由于用户历史行为流的d非常多，出于性能考虑，作者并没有对历史行为中的d过多模态模型进行实时编码。而是把商品侧的d过了多模态模型的emb存到一个memory bank里面，作为cache。然后用户历史行为中的d通过查询memory bank，拿到cache的多模态emb，然后再进入到多模态的用户序列建模模块，作者使用的是字节的LONGER模型。作者认为，由于它们的训练数据范围是2个月，而用户历史行为是1个月，故memory bank里存的商品侧的多模态emb基本能覆盖用户历史行为流中的商品。 ...

基本信息 论文标题：FG-CLIP: Fine-Grained Visual and Textual Alignment 作者单位：360 论文链接：https://arxiv.org/abs/2505.05071 来源：ICML 2025 Motivation：论文要解决的问题是什么 基于对比学习的CLIP方法无法感知图片的细粒度特征。本文通过大模型标注了大规模的图片和长文本的细粒度对齐数据集FineHARD，使用FineHARD数据集，通过多阶段预训练CLIP，得到得到FG-CLIP，显著提升了模型对图片的细粒度感知能力。 整体流程 整体流程如图Fig1所示，核心思想是借助各种大模型工具对图片进行长文本、细粒度的标注，然后基于标注数据进行细粒度的图文对比学习。主要包括两阶段训练，第一阶段是进行图文整体的对齐，第二阶段是进行图文细粒度的对齐，下面分别介绍。 第一阶段：图文整体对齐 数据准备 LAION-2B dataset是前人开源的包含20亿图文pair的数据集，本文使用CogVLM2-19B多模态大模型对这个数据集进行重新标注，生成了每张图片的详细的文本描述。作者使用160卡910B集群，标注了30天。下面Fig2是一个标注例子，其中的short caption就是LAION-2B dataset原本的文本描述，其中的long caption就是用多模态大模型重新生成的长文本描述。 模型训练 第一阶段只对图片和文本的整体进行对齐，对于第\(i\)个图片\(v_i\)和文本\(t_i\)二元组（可能是长文本或短文本），使用如下对称的InfoNCE loss进行预训练。其中度量函数\(s(\cdot)\)是cos相似度；\(\tau\)是温度系数=0.07；N是batchsize的大小，故第一阶段没有难负例，全部使用in-batch负例，属于常规操作。 $$ \begin{equation} \begin{aligned} L_{global} = -\frac{1}{2N} \sum_{i=1}^{N} \Big(&\log \frac{\exp(s(v_i, t_i)/\tau)}{\sum_{j=1}^{N} \exp(s(v_i, t_j)/\tau)} \\ &+ \log \frac{\exp(s(t_i, v_i)/\tau)}{\sum_{j=1}^{N} \exp(s(t_i, v_j)/\tau)}\Big), \end{aligned} \end{equation}\tag{2} $$第二阶段：图文细粒度对齐 数据准备 GRIT dataset是前人开源的包含9kw图片及其中1.3亿目标和文本的标注数据，里面的数据是COYO-700M 和 LAION-2B的子集。因此可以推测GRIT的原始文本描述也是短文本，原始bounding boxes也只框选出了主要物体。 基于GRIT数据集，本文首先仍然使用多模态大模型CogVLM2-19B重新生成了长文本描述。然后，使用开源NLP处理工具SpaCy解析长文本描述，并提取出其中的referring expressions，我理解就是其中的名词短语，其实就是具体bounding box的描述短语。最后，把图片和referring expressions短语喂给预训练目标检测模型Yolo-World模型，拿到referring expressions对应的bounding boxes。由此完成了对GRIT数据集的详细的目标检测的标注。 通过上述步骤，对1.2kw图片数据标注了4kw的细粒度的bounding box和对应的region caption。上图Fig2展示了三个bounding box和对应的region caption。 此外，除了上述标注的正样本之外，本文还针对bounding box人工构造了难负例。具体来说，针对每一个bounding box对应的region caption，使用大模型Llama-3.1-70B，在不改变主体的情况下，修改了描述中的属性词，对每个bounding box生成了10个难负例。难负例case如下图Fig3所示。 ...

基本信息 论文标题：GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System 作者单位：阿里 论文链接：https://arxiv.org/abs/2607.29213 来源：ICDE 2026 Motivation：论文要解决的问题是什么 目前在电商模型中使用多模态特征主要遵循两阶段范式：首先进行多模态预训练，这一阶段主要目的是对齐图文语义空间；然后将预训练的多模态表征加入到排序模型中，这一阶段主要目的是对齐基于用户行为的排序目标。 作者认为这两个阶段比较割裂，任务目标也不一致，导致效果欠佳。因此本文的方法就是在两阶段中间新增了一个阶段，变成了三阶段范式。新增的中间阶段是用第一阶段的emb在排序任务上进行GRPO微调，相当于将emb一定程度上对齐了排序目标，对原有的两阶段范式进行了桥接。此外，也对原有的两阶段进行了各自的优化。 主要应用场景是淘宝闪购外卖场景。 整体流程 三阶段的整体流程如图Fig2所示： Stage1：多模态预训练，对齐图片、文本等各种模态 Stage2：多模态后训练，针对下游基于用户行为的排序任务微调多模态表征 Stage3：多模态排序应用，设计了Gating机制自适应融合多模态表征和ID表征 多模态预训练 样本构造 外卖与电商有个很大的区别是，外卖搜索结果页是店铺排序，而电商是商品排序。 作者基于搜索下单日志，对每个店铺，拿到其最高频下单的10个query，以及这10个query下最高频购买的5个商品。由此拿到了三元组<query, shop, item>，其中shop有店铺文本描述信息text；item有商品图片image和文本text。 对齐任务 有了上述三元组样本之后，多模态预训练有两个对齐任务，第一个任务是商品本身的图片和标题的对齐，差不多是标准的CLIP或者对比学习了，没有难负例，直接用的in-batch负例。 $$ \begin{equation} \mathcal{L}_{\mathrm{I2T}} = -\log \frac{\exp(t \cdot i_{+})/\tau}{\sum_{j=0}^{K} \exp(t \cdot i_{j})/\tau}, \end{equation}\tag{1} $$第二个任务是query到shop的对齐，包含三个子任务：query对齐店铺描述、query对齐高频商品图片、query对齐图文融合表征。如下图Fig4所示，图文融合作者采用的是Google T5的cross attention方式。最后把三个loss以不同系数加权起来。第二个任务的对比学习方式与第一个任务完全一样，也是InfoNCE loss和in-batch负例。 $$ \begin{equation} \mathcal{L}_{\text{Q-Align}} = w_1 \mathcal{L}_{\text{Q-Text}} + w_2 \mathcal{L}_{\text{Q-Image}} + w_3 \mathcal{L}_{\text{Q-Fusion}}. \end{equation}\tag{2} $$本文的多模态backbone是GME模型。 ...

基本信息 论文标题：Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders 作者单位：加州大学 论文链接：https://arxiv.org/abs/2403.03952 来源：ACL 2026 Motivation：论文要解决的问题是什么 文本模态emb的效果评测通常使用MTEB评测集（https://arxiv.org/abs/2502.13595），但是这个评测集的任务是通用场景的emb召回排序任务，无法反应emb在搜推场景下的效果。 通用场景和搜推场景在emb使用方面存在如下差异： Emb在搜推场景只作为一个基础特征，上层有比较复杂的搜推模型。但MTEB评测任务都是直接用emb进行相似度检索。两者使用方式有较大差别 搜推场景的文本通常比较短，且存在关键词堆砌，噪声较多。而MTEB中的文本通常是格式规范的句子或者段落。两者文本数据分布差别较大 因此，emb在MTEB和搜推场景下的效果可能不完全一样。本文的核心就是提供一个针对电商搜推场景的评测集及评测任务，作搜推场景的benchmark。 Amazon Reviews 2023 dataset 本文最大的贡献是提供了一个大规模的搜推数据集：Amazon Reviews 2023 dataset。这个数据集爬取了1996~2023年之间的33个类目的所有用户评论数据，主要包括两部分，一部分是(user, item, review)评论数据，另一部分是(item, info)商品信息。而且难能可贵的是，用户评论、商品标题、图片都是明文数据，可以进行多模态分析。如下Table1和Table2所示，该数据集无论是数据规模还是时间跨度，相比其他数据集都有明显优势。 数据下载地址见：https://amazon-reviews-2023.github.io/，该页面中分不同类目对数据集进行了拆分，拆分之后，在每个类目，用户的历史行为就比较短了，如下Table3的Avg.#Items Per User，用户的平均行为长度只有2~3，太短了。如果想做较长的用户行为建模的实验，可以试着把所有类目的数据合并一下。 搜推评测任务 基于Amazon Reviews 2023 dataset，本文评测emb的方法如图Fig1上半部分： 提取item的文本信息（包括标题、描述等） 使用冻结的LLM emb编码器得到item emb 用item emb训练下游的搜推模型，并在不同任务上评测搜推模型的效果 本文设计了3个搜推评测任务，如图Fig1下半部分 序列推荐：把用户历史行为按照时间先后顺序排列，然后使用Transformer decoder建模，loss是last item预测任务，多分类交叉熵损失 协同过滤：把用户行为进行pooling聚合得到用户表征，然后与商品表征进行对比学习，类似U-I双塔模型，没有考虑用户行为序列的时序关系 产品搜索：根据真实query或者大模型合成的query，使用query emb进行ANN搜索，根据搜索结果和真实结果计算排序指标，这个任务是一个zero-shot的无需训练的评测任务 评测结果 整体的评测结果如下Table 6所示： 有如下结论： Emb在本文的搜推数据集上的性能表现与在通用的MTEB数据集上的性能表现差异很大。如图Fig 2所示，在MTEB表现一般的GritLM，在本文表现很不错；而在MTEB表现很好的Qwen3，在本文表现一般。侧面说明不同任务的数据分布差别很大，没有哪一种emb能够通吃所有任务。 Emb模型的scaling up，在不同任务上的表现并不一样。作者发现，如果下游的搜推模型比较简单，比如是协同过滤模型，则emb模型scaling up能带来下游任务的提升。但是如果下游搜推模型本身已经比较复杂了，比如是序列推荐的Transformer，则上游emb模型的scaling up在下游任务中能带来的提升有限。 ...

基本信息 论文标题：Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search 作者单位：阿里 论文链接：https://arxiv.org/abs/2511.13885 来源：Arxiv Motivation：论文要解决的问题是什么 在emb召回场景，之前的范式基本上是q2i对比学习训练，在此基础上会做难负例的挖掘，以及在loss中融入多种业务目标。例如，通过人工先验构造难负例；在loss中融入相关性等其他loss任务。 这种范式存在两个问题，一是难负例挖掘依赖人工先验知识，效率太低；二是loss融入多目标之后，训练过程存在跷跷板效应，即A目标变好之后可能导致B目标变差等。 本文在传统对比学习预训练的基础上，引入了Retrieval-GRPO对齐，通过检索TopK相似item，然后进行GRPO训练，一是可以自动挖掘难负例，二是将多种业务目标融合成一个reward，避免了跷跷板效应。 整体流程 整体流程包括两个部分，一是常规的对比学习预训练，让emb模型具备基本的相似度判别能力；二是在预训练基础上，进行Retrieval-GRPO对齐，让emb模型对齐不同的业务目标。 对比学习预训练（SFT） 这部分比较常规，就是从线上日志中挖掘出一批正样本二元组：query \(q_i\)和item \(d_j^+\)，然后通过InfoNCE loss进行对比学习预训练 $$ \mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)} \qquad (4) $$本文的重点就是说不需要手动挖掘难负例，通过后面的Retrieval-GRPO自动挖掘难负例，所以上述公式中只有in-batch负例，没有人工构造难负例。 但是，作者认为，in-batch只包含有行为的负例（即其他query的正例），大量无行为的item被忽略了，导致对中长尾商品的效果不佳。因此，作者在in-batch负例基础上，又从全局商品池随机采样了一些作为全局负例，新的公式如下： $$\mathcal{L} = -\log \frac{\exp(s(q_i, d_j^+) / \tau)}{\underbrace{\sum_{d_j \in \mathcal{B}} \exp(s(q_i, d_j) / \tau)}_{\text{positive and in-batch negatives}} + \underbrace{\sum_{d_k^- \in \mathcal{G}} \exp(s(q_i, d_k^-) / \tau)}_{\text{global negatives}}} \qquad (5)$$其中\(\mathcal{B}\)是in-batch负例，\(\mathcal{G}\)是全局随机采样的负例。 ...

基本信息 论文标题：UniNote: A Unified Embedding Model for Multimodal Representation and Ranking 作者单位：小红书 论文链接：https://arxiv.org/abs/2605.29287 来源：KDD Ads Track 2026 Motivation：论文要解决的问题是什么 小红书的笔记是一个非常典型的多模态item，一篇小红书笔记通常包括多张图片、标题、主题文字等，有的甚至还有视频。小红书使用传统多模态emb做I2I召回时，遇到如下几个问题： 传统基于CLIP的方法学习的是item整体的表征，缺乏对模态细节的学习。而且这种方法多模态特征是晚交互的late interaction，多模态融合的效果不佳。 基于MLLM的方法在item全局表征上的效果还可以，但是细粒度表征效果不佳。特别是小红书场景用一张图片检索整个笔记的情况，即local-to-global的检索场景。 现有基于对比学习微调的多模态emb（例如小红书之前的NoteLLM-2），融入了协同信号，已经不能完全客观反应I2I的语义相似性了，虽然这些emb的召回效果还可以，但是排序效果较差，后续还需要很复杂的单塔排序模型。即这种retrieve-then-rerank需要两个模型，维护成本较高。 针对上述小红书场景的复杂I2I召回问题，本文设计了一个同时适用于表征和排序的emb模型，重点解决了多粒度模态对齐的问题（比如local-to-global的问题）以及增强了emb的排序能力。 整体流程 整体流程如图Fig2所示： 首先根据业务需求设计对齐任务，构造预训练数据 然后进行对比学习预训练 最后使用RL微调模型的排序能力 其中前两步是常规操作，只不过根据小红书的业务需求进行了特定的设计，第三步的RL微调是比较重要的创新点。 对齐任务及预训练数据 如下表Table 1所示，本文共设计了5类10个对齐任务： 原子对齐：笔记中单张图片和笔记文字的对齐 从属召回：笔记中单张图片或文字片段与笔记整体的对齐 语义抽取：笔记整体召回笔记中单张图片或文字片段 OCR能力：图片和OCR，OCR和笔记整体 内容相关性：笔记和笔记整体的对齐 可以看到对齐任务非常多，包括不同模态的对齐、local和local的对齐、local和global的对齐、global和global的对齐。这10个任务前9个任务都可以从同一个笔记中挖掘出训练样本，唯独最后一个笔记和笔记的对齐，需要业务知识进行构造，文中没有介绍如何构造笔记正样本pair的。 在从属召回任务中，通常可以把笔记中的一张图片\(I_i\)和笔记整体\(\mathcal{N}\)作为正样本二元组\((I_i,\mathcal{N})\)，但是因为\(I_i\in \mathcal{N}\)，作者担心这么训练可能让模型学习到捷径，所以把\(I_i\)从\(\mathcal{N}\)中剔除掉，但加上了\(I_i\)的文本描述\(\{S_{\text{desc}}^i\}\)，作为一个新的正样本\(\mathcal{N}'\)： $$ (I_i, \mathcal{N}'), \quad \text{where} \quad \mathcal{N}' = \{S_{\text{desc}}^i\} \cup \mathcal{N} \setminus \{I_i\} \tag{2} $$在负样本构造方面，作者重点介绍了两种负样本构造方法： 第一种方法是中等难度的负例。对于锚点\(q\)，从全部候选商品池\(\mathcal{P}\)中，圈一部分与\(q\)相似度在\([\tau_{\min},\tau_{\max}]\)之间的子集\(\mathcal{P}'\)，作为\(q\)的难负例。在算相似度时，这一步使用一个基础版的emb模型\(\phi\)，可能是开源的或者比较弱的emb模型。 $$ \mathcal{P}' = \{c \in \mathcal{P} \mid \tau_{\min} \le \text{sim}(\phi(q), \phi(c)) \le \tau_{\max}\}, \tag{3} $$第二种方法是高难度负例，文中称为heuristic rules based方法。特别是针对local-to-global对齐任务，下面公式5给的是负例，负例是直接把\(I_i\)从\(\mathcal{N}\)中剔除就是负例；上面公式2给的是正例，相当于在负例基础上增加了\(I_i\)的文本描述\(\{S_{\text{desc}}^i\}\)。公式5的负例感觉过于难了。 ...

这篇论文是OneSearch-V1的升级版，建议先看OneSearch-V1的论文解读。 基本信息 论文标题：OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework 作者单位：快手 论文链接：https://arxiv.org/abs/2603.24422 来源：arxiv Motivation：论文要解决的问题是什么 OneSearch-V1上线之后，存在如下三个问题： 对复杂query的理解能力不够。复杂query包括两部分，一部分是头部泛词query，比如“室内健身器材”，这种query太泛了，query可能和很多商品都有关联，导致GR不知道召回哪个（which to retrieve）。另一部分是尾部稀有query，比如“没有破洞的牛仔裤”，这种query很长有很多约束条件，比如有否定、有问句等，导致GR难以理解，不知道该召回什么（what can be retrieved）。 个性化推理能力不足。如果说上一个问题是对复杂query本身的理解，那么这个问题就是结合用户个性化的query理解。比如某用户对特定品种的鲜花过敏，当该用户搜索“当季鲜花”时，需要首先推理出现在的季节，然后推理出这个季节流行的鲜花，最终判断这种鲜花和用户过敏的鲜花是否同品种。如果是同品种，即使这种鲜花是当季热销，也不能展示给用户。因此，这一问题考验GR结合用户个性化的推理能力。 奖励模型性能不足。OneSearch-V1的奖励模型依赖传统精排模型，效果受限。此外常规的奖励模型对item整体一个奖励得分，但是item是通过SID序列组成的，对item整体进行奖惩的话，相当于对所有位置的SID都一视同仁，无法区分不同位置SID的难度和重要性。 所以小结一下，OneSearch-V2重点要增强的是GR的reasoning推理能力，无论是对query的理解，还是对user的理解，都需要强大的推理能力。另外奖励模型的更新就是常规操作肯定要升级的。 思考增强的Query理解 为了增强GR对复杂query的理解能力，本文首先利用LLM（Qwen3-32B）对query进行理解和分析，把分析结果存成CoT；然后构造CoT SFT微调任务，通过CoT微调GR，把LLM对复杂query的理解能力注入到GR中。 具体来说，如图Fig3所示，利用LLM对query进行如下3个步骤的分析： Query分析（Query Analysis），包括四个维度：意图理解、类目预测、属性识别、主题推荐，其中意图理解需要分析本次搜索的意图是商品搜索、店铺搜索、还是短视频直播这些。 对于意图理解是商品搜索的query，再次进行关键词抽取（Keyword Extraction）：通过LLM推理出和query相关的关键词，需要考虑检索意图、类目约束、属性一致性和格式约束等。 偏好校准（Preference Calibration）：基于用户的基础信息和历史行为流，对上一步推理出来的关键词进行增删改，只保留和用户相关的关键词 上述三个步骤是依次串行进行的，上一步的输出作为下一步的输入，一步步不断细化分析扩展得到与Query相关的个性化的关键词。其中第二步得到的是非个性化的关键词，即<query, keywords>元组；第三步得到的是个性化的关键词，即<query, user, keywords>。通过这些数据就可以构造query→keywords的四类CoT任务，如图Fig3底部。进一步地，在SFT微调GR的第一阶段，加入这些CoT微调任务，得以显著增强GR对复杂query的理解能力，如下表Table2的stage1加粗部分。 小结一下，这个模块的核心是利用更大的LLM标注出一些与query/user相关的keywords，然后通过CoT SFT的方式把LLM的推理能力蒸馏到GR中。 自蒸馏赋予GR内生推理能力 预实验 作者在OneSearch-V1（即下表Table 3中的baseline）的基础上，新增了上一节介绍的CoT微调任务（即\+CoT tasks），结果表明各项指标都有提升，说明增强GR的推理能力是有帮助的。但是CoT tasks中的CoT毕竟来源于LLM离线打标，耗时很长，不可能进行在线实时推理。如果能将LLM对query的推理能力内化到GR模型中，则可以省掉LLM对query的推理打标，显著节省链路耗时。 为此，作者首先做了两个预实验，如表Table 3所示： +direct CoT：即直接用baseline做推理，然后基于推理CoT进行生成式搜索 +RAG：在baseline基础上，把LLM对query推理出来的keywords作为额外特征输入到GR中，再进行生成式搜索 作者发现，直接让GR进行CoT推理的+direct CoT效果很差，说明现有GR缺乏推理能力。而把LLM推理出来的keywords作为额外特征的+RAG效果很好，说明LLM推理能力对GR很有帮助。 \+CoT tasks有效果已经说明通过CoT SFT的方式能够提升GR的效果，本节进一步利用自蒸馏的方式增强GR的推理能力。 自蒸馏 自蒸馏的思想也比较简单，简单理解就是优势特征蒸馏。如图Fig2a所示，这部分就是上一节介绍的利用LLM推理出扩展keywords的过程。Fig2b的Shared Info就是OneSearch-V1的输入特征，而Fig2a产出的扩展keywords相比于Shared Info就是优势特征。 如图Fig2b所示，教师模型和学生模型共享相同的模型参数，他们都有Shared Info作为公共的特征输入，但是教师模型还多包含扩展keywords作为优势特征输入。根据上面Table 3的结果，+RAG就是教师模型，它的效果明显好于学生模型。自蒸馏的过程就是把包含优势特征的教师模型蒸馏到学生模型上。 形式化描述如下。学生模型输入： ...

基本信息 论文标题：OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search 作者单位：快手 论文链接：https://arxiv.org/pdf/2509.03236 来源：arxiv ICLR2026被拒，审稿意见：https://openreview.net/forum?id=eDh0K9YNoL Motivation：论文要解决的问题是什么 如图Fig1所示，传统搜索系统需要依次经过召回、粗排、精排等多个级联环节，存在计算碎片化、且不同阶段目标不一致的问题，导致整个系统效率较低且上限较低。本文提出的OneSearch就是整个搜索系统只使用一个生成式模型，直接从用户请求端到端生成候选商品，从而取代召回-粗排-精排这种级联系统。 整体结构图 整体结构图如Fig4所示，整体思路如下： 表征体系，对应Fig4a-c：把庞大且稀疏的item id转换成紧凑且稠密的semantic id（SID），方便LLM模型做scaling up 特征体系，对应Fig4d：把电商中异构的用户、商品、搜索等各种特征统一到SID体系中，即统一LLM输入token 模型架构，对应Fig4e：有了统一的输入token表示，模型就是各种Transformer变种，因为是生成式，所以必须要有decoder 模型训练，对应Fig4f：训练生成式模型的步骤通常是先SFT预训练，再RL微调，重点关注本文设计的预训练和微调任务 SID生成方法 如图Fig4a-c所示，SID生成通常需要两个步骤，一是预训练embedding模型，二是将产出的embedding通过量化方式压缩成SID。本文在基础方法上进行了若干优化，具体如下： 预训练表征模型 该步骤通常基于开源的表征模型，使用电商的协同信号进行微调，使得embedding既能表征语义含义，又能感知电商的协同信号。 具体来说，本文基于ItemCF、Swing等召回模型，从线上日志中收集了大量相似的q2q、i2i、q2i的二元组作为正样本pair，然后如图Fig4a所示，使用对比学习的方式微调开源的BGE表征模型。本文做的几点改进如下： 特征层面，使用的特征包括：query text, item title, item price, keywords, OCR (image-to-text), as well as the statistical business characteristics, such as the number of clicks, add-to-cart, and purchases during a certain time。既有文本特征，也有数值统计特征，虽然没有用原始图片，但是有图片的OCR特征 样本层面，用开源的BGE对所有的正样本pair先进行粗过滤，把相似度<0.6的pair去掉，只保留高质量正样本pair 微调任务层面，包括q2q、i2i、q2i，这三个是常规的对比学习任务，另外还新增了2个特殊任务 rank任务：q2i分为show、click、order不同级别，且使用margin loss区分三者重要层度：show<click<order relevance任务：使用LLM打标query和item的相关性分，然后让BGE微调学习这个相关性分，增强表征的相关性判别能力 最后所有loss融合如下： $$\mathcal{L}_{\text{align}} = \lambda_1 \cdot \mathcal{L}_{\text{q2q}} + \lambda_2 \cdot \mathcal{L}_{\text{i2i}} + \lambda_3 \cdot \mathcal{L}_{\text{q2i}} + \lambda_4 \cdot \mathcal{L}_{\text{rank}} + \lambda_5 \cdot \mathcal{L}_{\text{rel}}, \quad (1)$$关键词增强的query和item表征 作者认为query和item的文本描述中存在大量堆砌甚至冲突的属性，为了去噪且提取核心关键属性，作者使用Qwen-VL提取商品的核心关键词k，然后把这些关键词输入到上一步微调的BGE模型中，产出多个关键词的表征\(e_k^j\)，然后将多个关键词表征求平均，最后再和商品原始表征\(e_i\)求平均，得到关键词增强的商品表征\(e_i^o\)。流程见图Fig4b，公式如下： ...

这篇文章和MOON技术报告有大量重复，建议先阅读MOON技术报告读书笔记。 基本信息 论文标题：MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding 作者单位：阿里 论文链接：https://arxiv.org/abs/2508.11999 来源：WSDM 2026 Motivation：论文要解决的问题是什么 多模态信息在电商应用的挑战如下： 传统CLIP方法只能学习图片和文本的1对1关系，但是电商场景经常是一个商品标题对应多张商品图片，故传统CLIP已经不太能胜任这种场景，而MLLM可以 电商图片有很多噪声，比如背景、无关商品、促销信息等，需要去噪之后再进行表征学习 领域缺乏电商场景下通用多模态表征的benchmark数据集 对比学习预训练 如图Fig 4所示，整体模型结构和MOON技术报告中的基本一样： 样本构造：使用q2i下单信号构造正样本pair，使用同类目的其他商品作为难负例，使用时空负例采样扩大负例样本数量 训练任务：对比学习，InfoNCE loss 输入特征：包括标题、图片、类目、属性等特征 图片去噪：图片会先使用Qwen2.5-VL进行主体识别，主体识别时同时输入图片和商品标题，让模型提取出符合标题的图片主体。然后会把去噪前后的图片都输入到MLLM中进行表征学习 表征提取：使用MLLM最后一层所有token的hidden states进行mean pooling后得到 本文相比MOON技术报告的创新点在Fig 5，即作者把MLLM中的FFN改造成了MoE结构，作者认为输入给MLLM的特征太多，不同特征反应了商品在不同方面的特点，比如图片、标题、类目、属性等，因此这个MoE让模型能动态自适应关注商品的不同特征。 结果 因为本文的目标是训练通用多模态表征，为了验证通用表征的效果，作者在2个数据集的3个任务上进行了系统性评测，结果如图Fig 1所示，本文的方法比传统方法以及其他MLLM方法都要好。通过消融实验发现，主要提升来自3个创新点：1）图片主体识别；2）MoE；3）扩充负例。 评论 可借鉴 使用MoE让emb关注商品不同特征，这个思路挺好的 可改进 论文整体创新性不够，MLLM生产商品多模态表征的思路很多年前都有了，快手的QARM，小红书的NoteLLM很早就发表了，但本文完全没有引用 电商图片使用主体识别进行去噪的思想之前沃尔玛也发表了，本文没有任何引用：https://bitjoy.net/posts/2025-10-08-vl-clip-paper-reading/。而且图像去噪需要使用另一个MLLM大模型，会增加模型推理和部署的成本，有办法把这一步合并到主模型中吗？ 本文第三个创新点提出了通用多模态表征评测benchmark，但并没有提供数据和代码链接 对比学习样本只有下单的Q2I信号，没有点击、加购信号，也没有I2I信号。难负例是同类目其他商品，有假负例的风险很高。比如Q=“手机”，I=“华为手机”，那用“小米手机”作为难负例肯定是不合适的。 MoE结构的Router输入的是商品的所有特征x，感觉不太合理，感觉可以只输入类目信息，因为不同类目的表征关注重点不同，比如服饰类目更多关注图片，而3C数码更多关注标题属性等 离线对比实验的时候，并没有说明不同多模态模型输出的dimension是否一致，是否公平 没有线上AB效果