论文阅读：Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders
基本信息 论文标题：Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders 作者单位：加州大学 论文链接：https://arxiv.org/abs/2403.03952 来源：ACL 2026 Motivation：论文要解决的问题是什么 文本模态emb的效果评测通常使用MTEB评测集（https://arxiv.org/abs/2502.13595），但是这个评测集的任务是通用场景的emb召回排序任务，无法反应emb在搜推场景下的效果。 通用场景和搜推场景在emb使用方面存在如下差异： Emb在搜推场景只作为一个基础特征，上层有比较复杂的搜推模型。但MTEB评测任务都是直接用emb进行相似度检索。两者使用方式有较大差别 搜推场景的文本通常比较短，且存在关键词堆砌，噪声较多。而MTEB中的文本通常是格式规范的句子或者段落。两者文本数据分布差别较大 因此，emb在MTEB和搜推场景下的效果可能不完全一样。本文的核心就是提供一个针对电商搜推场景的评测集及评测任务，作搜推场景的benchmark。 Amazon Reviews 2023 dataset 本文最大的贡献是提供了一个大规模的搜推数据集：Amazon Reviews 2023 dataset。这个数据集爬取了1996~2023年之间的33个类目的所有用户评论数据，主要包括两部分，一部分是(user, item, review)评论数据，另一部分是(item, info)商品信息。而且难能可贵的是，用户评论、商品标题、图片都是明文数据，可以进行多模态分析。如下Table1和Table2所示，该数据集无论是数据规模还是时间跨度，相比其他数据集都有明显优势。 数据下载地址见：https://amazon-reviews-2023.github.io/，该页面中分不同类目对数据集进行了拆分，拆分之后，在每个类目，用户的历史行为就比较短了，如下Table3的Avg.#Items Per User，用户的平均行为长度只有2~3，太短了。如果想做较长的用户行为建模的实验，可以试着把所有类目的数据合并一下。 搜推评测任务 基于Amazon Reviews 2023 dataset，本文评测emb的方法如图Fig1上半部分： 提取item的文本信息（包括标题、描述等） 使用冻结的LLM emb编码器得到item emb 用item emb训练下游的搜推模型，并在不同任务上评测搜推模型的效果 本文设计了3个搜推评测任务，如图Fig1下半部分 序列推荐：把用户历史行为按照时间先后顺序排列，然后使用Transformer decoder建模，loss是last item预测任务，多分类交叉熵损失 协同过滤：把用户行为进行pooling聚合得到用户表征，然后与商品表征进行对比学习，类似U-I双塔模型，没有考虑用户行为序列的时序关系 产品搜索：根据真实query或者大模型合成的query，使用query emb进行ANN搜索，根据搜索结果和真实结果计算排序指标，这个任务是一个zero-shot的无需训练的评测任务 评测结果 整体的评测结果如下Table 6所示： 有如下结论： Emb在本文的搜推数据集上的性能表现与在通用的MTEB数据集上的性能表现差异很大。如图Fig 2所示，在MTEB表现一般的GritLM，在本文表现很不错；而在MTEB表现很好的Qwen3，在本文表现一般。侧面说明不同任务的数据分布差别很大，没有哪一种emb能够通吃所有任务。 Emb模型的scaling up，在不同任务上的表现并不一样。作者发现，如果下游的搜推模型比较简单，比如是协同过滤模型，则emb模型scaling up能带来下游任务的提升。但是如果下游搜推模型本身已经比较复杂了，比如是序列推荐的Transformer，则上游emb模型的scaling up在下游任务中能带来的提升有限。 ...