论文阅读：Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders

Sun, 18 Oct 2026 17:43:23 +0800

基本信息

论文标题：Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders
作者单位：加州大学
论文链接：https://arxiv.org/abs/2403.03952
来源：ACL 2026

Motivation：论文要解决的问题是什么

文本模态emb的效果评测通常使用MTEB评测集（https://arxiv.org/abs/2502.13595），但是这个评测集的任务是通用场景的emb召回排序任务，无法反应emb在搜推场景下的效果。

通用场景和搜推场景在emb使用方面存在如下差异：

Emb在搜推场景只作为一个基础特征，上层有比较复杂的搜推模型。但MTEB评测任务都是直接用emb进行相似度检索。两者使用方式有较大差别
搜推场景的文本通常比较短，且存在关键词堆砌，噪声较多。而MTEB中的文本通常是格式规范的句子或者段落。两者文本数据分布差别较大

因此，emb在MTEB和搜推场景下的效果可能不完全一样。本文的核心就是提供一个针对电商搜推场景的评测集及评测任务，作搜推场景的benchmark。

Amazon Reviews 2023 dataset

本文最大的贡献是提供了一个大规模的搜推数据集：Amazon Reviews 2023 dataset。这个数据集爬取了1996~2023年之间的33个类目的所有用户评论数据，主要包括两部分，一部分是(user, item, review)评论数据，另一部分是(item, info)商品信息。而且难能可贵的是，用户评论、商品标题、图片都是明文数据，可以进行多模态分析。如下Table1和Table2所示，该数据集无论是数据规模还是时间跨度，相比其他数据集都有明显优势。

数据下载地址见：https://amazon-reviews-2023.github.io/，该页面中分不同类目对数据集进行了拆分，拆分之后，在每个类目，用户的历史行为就比较短了，如下Table3的Avg.#Items Per User，用户的平均行为长度只有2~3，太短了。如果想做较长的用户行为建模的实验，可以试着把所有类目的数据合并一下。

搜推评测任务

基于Amazon Reviews 2023 dataset，本文评测emb的方法如图Fig1上半部分：

提取item的文本信息（包括标题、描述等）
使用冻结的LLM emb编码器得到item emb
用item emb训练下游的搜推模型，并在不同任务上评测搜推模型的效果

本文设计了3个搜推评测任务，如图Fig1下半部分

序列推荐：把用户历史行为按照时间先后顺序排列，然后使用Transformer decoder建模，loss是last item预测任务，多分类交叉熵损失
协同过滤：把用户行为进行pooling聚合得到用户表征，然后与商品表征进行对比学习，类似U-I双塔模型，没有考虑用户行为序列的时序关系
产品搜索：根据真实query或者大模型合成的query，使用query emb进行ANN搜索，根据搜索结果和真实结果计算排序指标，这个任务是一个zero-shot的无需训练的评测任务

评测结果

整体的评测结果如下Table 6所示：

有如下结论：