FG-CLIP

基本信息 论文标题：FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model 作者单位：360 论文链接：https://arxiv.org/abs/2510.10921 来源：ICML2026 Motivation：论文要解决的问题是什么 常规CLIP模型能比较好地对齐图片和文本整体语义，但是对图文细粒度语义的理解能力较差，特别是在中文场景。本文在作者已发表的FG-CLIP基础上，做了小幅升级，升级成支持中英双语的模型，同时新增了文本模态内部的对比学习损失（Textual Intra-modal Contrastive, TIC, loss），总体算法创新比较小，阅读本文之前建议先看看FG-CLIP的论文解读：https://bitjoy.net/posts/2026-10-24-360-fg-clip-paper-reading/。 整体流程 FG-CLIP2的整体流程与FG-CLIP类似，也是两阶段。第一阶段对图片和长短文本进行全局整体对齐；第二阶段对图片区域和局部文本描述进行细粒度对齐。新版在旧版基础上，新增了中文语料数据，同时在第二阶段对齐的时候增加了更多的对齐任务和loss。 第一阶段：图文整体对齐 数据准备 第一阶段主要目标是图片和文本的整体对齐。使用的英文数据集和FG-CLIP一样，基于LAION-2B，然后用MLLM recaption产出长文本描述。中文数据集包括三个：Wukong (100M pairs) (Gu et al., 2022), Zero (250M pairs) (Xie et al., 2023), and a large-scale in-house dataset (500M pairs)。没有详细介绍中文数据集，需要自己看对应的参考文献。 模型训练 第一阶段是图文整体对齐，对齐loss与SigLIP一样，使用的是sigmoid loss，对batch size更不敏感。图片同时对齐长文本和短文本描述。全局对齐loss定义为\(L_{Global}\)。 第二阶段：图文细粒度对齐 数据准备 第二阶段是图文细粒度对齐，英文数据集与FG-CLIP一样，是FineHARD数据集。中文数据集的生产流程与FineHARD一样，产出了包含1.2kw图片的带bounding box和细粒度中文描述的样本，命名为FineRegion-CN数据集。 模型训练 第二阶段的细粒度对齐任务有4个： 细粒度的视觉学习任务：局部图片表征与局部文本描述的对齐，文中说是对比学习loss，没给出具体公式，定义为\(L_{FGV}\) 细粒度的文本学习任务：对于局部图文pair，把文本描述替换成10个难负例文本，使用二元分类loss进行学习，没给出具体公式，定义为\(L_{FGT}\) 文本模态的对比学习任务：为了增强text encoder对语义相似的文本的区分能力，对同batch内文本相似度>0.95的文本，取top-10相似文本作为难负例，进行对比学习训练，loss如下，其中\(\mathcal{T}_i\)是\(T_i\)的top-10相似的难负例，这个公式相当于没有正例的InfoNCE loss。 $$ \mathcal{L}_{\text{TIC}} = -\sum_{i=1}^{N} \log \frac{1}{\sum_{T_m \in \mathcal{T}_i} \exp(S(T_i, T_m))},\tag{1} $$作者附录有几个例子，如下Table E.2，T0相当于anchor，T1~T10相当于10个文本难负例，增加TIC训练任务之后，heatmap颜色最深，即难负例之间的相似度最低，相当于难负例区分得更好了。 ...

基本信息 论文标题：FG-CLIP: Fine-Grained Visual and Textual Alignment 作者单位：360 论文链接：https://arxiv.org/abs/2505.05071 来源：ICML 2025 Motivation：论文要解决的问题是什么 基于对比学习的CLIP方法无法感知图片的细粒度特征。本文通过大模型标注了大规模的图片和长文本的细粒度对齐数据集FineHARD，使用FineHARD数据集，通过多阶段预训练CLIP，得到得到FG-CLIP，显著提升了模型对图片的细粒度感知能力。 整体流程 整体流程如图Fig1所示，核心思想是借助各种大模型工具对图片进行长文本、细粒度的标注，然后基于标注数据进行细粒度的图文对比学习。主要包括两阶段训练，第一阶段是进行图文整体的对齐，第二阶段是进行图文细粒度的对齐，下面分别介绍。 第一阶段：图文整体对齐 数据准备 LAION-2B dataset是前人开源的包含20亿图文pair的数据集，本文使用CogVLM2-19B多模态大模型对这个数据集进行重新标注，生成了每张图片的详细的文本描述。作者使用160卡910B集群，标注了30天。下面Fig2是一个标注例子，其中的short caption就是LAION-2B dataset原本的文本描述，其中的long caption就是用多模态大模型重新生成的长文本描述。 模型训练 第一阶段只对图片和文本的整体进行对齐，对于第\(i\)个图片\(v_i\)和文本\(t_i\)二元组（可能是长文本或短文本），使用如下对称的InfoNCE loss进行预训练。其中度量函数\(s(\cdot)\)是cos相似度；\(\tau\)是温度系数=0.07；N是batchsize的大小，故第一阶段没有难负例，全部使用in-batch负例，属于常规操作。 $$ \begin{equation} \begin{aligned} L_{global} = -\frac{1}{2N} \sum_{i=1}^{N} \Big(&\log \frac{\exp(s(v_i, t_i)/\tau)}{\sum_{j=1}^{N} \exp(s(v_i, t_j)/\tau)} \\ &+ \log \frac{\exp(s(t_i, v_i)/\tau)}{\sum_{j=1}^{N} \exp(s(t_i, v_j)/\tau)}\Big), \end{aligned} \end{equation}\tag{2} $$第二阶段：图文细粒度对齐 数据准备 GRIT dataset是前人开源的包含9kw图片及其中1.3亿目标和文本的标注数据，里面的数据是COYO-700M 和 LAION-2B的子集。因此可以推测GRIT的原始文本描述也是短文本，原始bounding boxes也只框选出了主要物体。 基于GRIT数据集，本文首先仍然使用多模态大模型CogVLM2-19B重新生成了长文本描述。然后，使用开源NLP处理工具SpaCy解析长文本描述，并提取出其中的referring expressions，我理解就是其中的名词短语，其实就是具体bounding box的描述短语。最后，把图片和referring expressions短语喂给预训练目标检测模型Yolo-World模型，拿到referring expressions对应的bounding boxes。由此完成了对GRIT数据集的详细的目标检测的标注。 通过上述步骤，对1.2kw图片数据标注了4kw的细粒度的bounding box和对应的region caption。上图Fig2展示了三个bounding box和对应的region caption。 此外，除了上述标注的正样本之外，本文还针对bounding box人工构造了难负例。具体来说，针对每一个bounding box对应的region caption，使用大模型Llama-3.1-70B，在不改变主体的情况下，修改了描述中的属性词，对每个bounding box生成了10个难负例。难负例case如下图Fig3所示。 ...