论文阅读:FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model

基本信息 论文标题:FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model 作者单位:360 论文链接:https://arxiv.org/abs/2510.10921 来源:ICML2026 Motivation:论文要解决的问题是什么 常规CLIP模型能比较好地对齐图片和文本整体语义,但是对图文细粒度语义的理解能力较差,特别是在中文场景。本文在作者已发表的FG-CLIP基础上,做了小幅升级,升级成支持中英双语的模型,同时新增了文本模态内部的对比学习损失(Textual Intra-modal Contrastive, TIC, loss),总体算法创新比较小,阅读本文之前建议先看看FG-CLIP的论文解读:https://bitjoy.net/posts/2026-10-24-360-fg-clip-paper-reading/。 整体流程 FG-CLIP2的整体流程与FG-CLIP类似,也是两阶段。第一阶段对图片和长短文本进行全局整体对齐;第二阶段对图片区域和局部文本描述进行细粒度对齐。新版在旧版基础上,新增了中文语料数据,同时在第二阶段对齐的时候增加了更多的对齐任务和loss。 第一阶段:图文整体对齐 数据准备 第一阶段主要目标是图片和文本的整体对齐。使用的英文数据集和FG-CLIP一样,基于LAION-2B,然后用MLLM recaption产出长文本描述。中文数据集包括三个:Wukong (100M pairs) (Gu et al., 2022), Zero (250M pairs) (Xie et al., 2023), and a large-scale in-house dataset (500M pairs)。没有详细介绍中文数据集,需要自己看对应的参考文献。 模型训练 第一阶段是图文整体对齐,对齐loss与SigLIP一样,使用的是sigmoid loss,对batch size更不敏感。图片同时对齐长文本和短文本描述。全局对齐loss定义为\(L_{Global}\)。 第二阶段:图文细粒度对齐 数据准备 第二阶段是图文细粒度对齐,英文数据集与FG-CLIP一样,是FineHARD数据集。中文数据集的生产流程与FineHARD一样,产出了包含1.2kw图片的带bounding box和细粒度中文描述的样本,命名为FineRegion-CN数据集。 模型训练 第二阶段的细粒度对齐任务有4个: 细粒度的视觉学习任务:局部图片表征与局部文本描述的对齐,文中说是对比学习loss,没给出具体公式,定义为\(L_{FGV}\) 细粒度的文本学习任务:对于局部图文pair,把文本描述替换成10个难负例文本,使用二元分类loss进行学习,没给出具体公式,定义为\(L_{FGT}\) 文本模态的对比学习任务:为了增强text encoder对语义相似的文本的区分能力,对同batch内文本相似度>0.95的文本,取top-10相似文本作为难负例,进行对比学习训练,loss如下,其中\(\mathcal{T}_i\)是\(T_i\)的top-10相似的难负例,这个公式相当于没有正例的InfoNCE loss。 $$ \mathcal{L}_{\text{TIC}} = -\sum_{i=1}^{N} \log \frac{1}{\sum_{T_m \in \mathcal{T}_i} \exp(S(T_i, T_m))},\tag{1} $$作者附录有几个例子,如下Table E.2,T0相当于anchor,T1~T10相当于10个文本难负例,增加TIC训练任务之后,heatmap颜色最深,即难负例之间的相似度最低,相当于难负例区分得更好了。 ...

November 1, 2026 · 1 min

论文阅读:FG-CLIP: Fine-Grained Visual and Textual Alignment

基本信息 论文标题:FG-CLIP: Fine-Grained Visual and Textual Alignment 作者单位:360 论文链接:https://arxiv.org/abs/2505.05071 来源:ICML 2025 Motivation:论文要解决的问题是什么 基于对比学习的CLIP方法无法感知图片的细粒度特征。本文通过大模型标注了大规模的图片和长文本的细粒度对齐数据集FineHARD,使用FineHARD数据集,通过多阶段预训练CLIP,得到得到FG-CLIP,显著提升了模型对图片的细粒度感知能力。 整体流程 整体流程如图Fig1所示,核心思想是借助各种大模型工具对图片进行长文本、细粒度的标注,然后基于标注数据进行细粒度的图文对比学习。主要包括两阶段训练,第一阶段是进行图文整体的对齐,第二阶段是进行图文细粒度的对齐,下面分别介绍。 第一阶段:图文整体对齐 数据准备 LAION-2B dataset是前人开源的包含20亿图文pair的数据集,本文使用CogVLM2-19B多模态大模型对这个数据集进行重新标注,生成了每张图片的详细的文本描述。作者使用160卡910B集群,标注了30天。下面Fig2是一个标注例子,其中的short caption就是LAION-2B dataset原本的文本描述,其中的long caption就是用多模态大模型重新生成的长文本描述。 模型训练 第一阶段只对图片和文本的整体进行对齐,对于第\(i\)个图片\(v_i\)和文本\(t_i\)二元组(可能是长文本或短文本),使用如下对称的InfoNCE loss进行预训练。其中度量函数\(s(\cdot)\)是cos相似度;\(\tau\)是温度系数=0.07;N是batchsize的大小,故第一阶段没有难负例,全部使用in-batch负例,属于常规操作。 $$ \begin{equation} \begin{aligned} L_{global} = -\frac{1}{2N} \sum_{i=1}^{N} \Big(&\log \frac{\exp(s(v_i, t_i)/\tau)}{\sum_{j=1}^{N} \exp(s(v_i, t_j)/\tau)} \\ &+ \log \frac{\exp(s(t_i, v_i)/\tau)}{\sum_{j=1}^{N} \exp(s(t_i, v_j)/\tau)}\Big), \end{aligned} \end{equation}\tag{2} $$第二阶段:图文细粒度对齐 数据准备 GRIT dataset是前人开源的包含9kw图片及其中1.3亿目标和文本的标注数据,里面的数据是COYO-700M 和 LAION-2B的子集。因此可以推测GRIT的原始文本描述也是短文本,原始bounding boxes也只框选出了主要物体。 基于GRIT数据集,本文首先仍然使用多模态大模型CogVLM2-19B重新生成了长文本描述。然后,使用开源NLP处理工具SpaCy解析长文本描述,并提取出其中的referring expressions,我理解就是其中的名词短语,其实就是具体bounding box的描述短语。最后,把图片和referring expressions短语喂给预训练目标检测模型Yolo-World模型,拿到referring expressions对应的bounding boxes。由此完成了对GRIT数据集的详细的目标检测的标注。 通过上述步骤,对1.2kw图片数据标注了4kw的细粒度的bounding box和对应的region caption。上图Fig2展示了三个bounding box和对应的region caption。 此外,除了上述标注的正样本之外,本文还针对bounding box人工构造了难负例。具体来说,针对每一个bounding box对应的region caption,使用大模型Llama-3.1-70B,在不改变主体的情况下,修改了描述中的属性词,对每个bounding box生成了10个难负例。难负例case如下图Fig3所示。 ...

October 24, 2026 · 1 min

论文阅读:VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings

基本信息 论文标题:VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings 作者单位:沃尔玛 论文链接:https://arxiv.org/pdf/2507.17080 来源:RecSys 2025 Motivation:论文要解决的问题是什么 多模态q2i召回通常使用CLIP的对比学习方式进行训练,在电商场景下存在2个问题: CLIP这种方式通常是对图片整体的表征,缺乏细粒度的目标检测能力,尤其在电商场景,比如fig1,卖衣服场景,传统CLIP只能识别整张图片是一件T恤,难以关注T恤上的图案等细节特征;另外,电商图片往往存在很多附加背景、道具、模特等元素,会影响主体物体的表征 电商标题、属性等文本描述通常参差不齐,存在错误、堆砌、图文不符等问题,导致CLIP训练时图文对齐效果不佳 VL-CLIP解决方案 针对图片的处理: 将图片和商品类型(product type)输入到开源模型Grounding DINO中,让模型进行目标检测,将可信度超过某个阈值且可信度最高的区域抠出来,输入到CLIP的图像encoder中。通过这步预处理,相当于对电商图片进行了关键主体识别和提取,只提取和商品最相关的主体进行图像表征。文中使用的图像编码器是ViT-B/32。 针对文本的处理: 将商品的类型、标题、描述、性别、年龄等文本描述以及图片本身输入到Summarizer多模态大模型,让大模型产出精简、准确的文本描述\(q_0\) 将\(q_0\)和商品图文信息输入到Evaluator多模态大模型,让大模型对\(q_0\)的质量进行评判,如果\(q_0\)质量很好,则直接输出<STOP>;否则指出\(q_0\)的问题所在,并说明改进方法 如果第2步输出不是<STOP>,则将第2步的输出再输入到Refiner大模型,让大模型根据第2步的结果继续调整并输出更优的文本描述\(q_i\) 不断重复第2、3步,直到输出<STOP>,或者最多重复5遍 将产出的精准的文本描述q输入到CLIP的文本encoder中,文中使用的是BERT系列。产出的emb维度是512 上述Summarizer、Evaluator、Refiner都是VLM,文中使用的是GPT-4o,三个任务的prompt设计参考论文附录Table 9 上述对图片和文本的处理本质上是去噪,提取图片的主体物品、让文本描述更加精准。 产出多模态emb之后,后续的操作就是常规的召回流程了,使用HNSW进行ANN召回。 评论 可借鉴 使用Grounding DINO对图片进行主体识别,值得借鉴 使用VLM对商品标题、描述等文本信息进行去噪,值得借鉴 但如果商品量级很大的话,这两个步骤估计会很耗时 可改进 如果是q2i场景,直接用query文本是不是更真实,更接近搜索日子的真实数据分布?

October 8, 2025 · 1 min