<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>组合推理 on bitJoy</title><link>https://bitjoy.net/tags/%E7%BB%84%E5%90%88%E6%8E%A8%E7%90%86/</link><description>Recent content in 组合推理 on bitJoy</description><generator>Hugo -- 0.148.2</generator><language>en</language><lastBuildDate>Sun, 22 Nov 2026 10:35:53 +0800</lastBuildDate><atom:link href="https://bitjoy.net/tags/%E7%BB%84%E5%90%88%E6%8E%A8%E7%90%86/index.xml" rel="self" type="application/rss+xml"/><item><title>论文阅读：CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation</title><link>https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/</link><pubDate>Sun, 22 Nov 2026 10:35:53 +0800</pubDate><guid>https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/</guid><description>&lt;p>&lt;img loading="lazy" src="https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/CORE-paper-cover.png">&lt;/p>
&lt;h1 id="基本信息">基本信息&lt;/h1>
&lt;ul>
&lt;li>论文标题：CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation&lt;/li>
&lt;li>作者单位：阿里&lt;/li>
&lt;li>论文链接：&lt;a href="https://arxiv.org/abs/2609.04083">https://arxiv.org/abs/2609.04083&lt;/a>&lt;/li>
&lt;li>来源：Arxiv&lt;/li>
&lt;/ul>
&lt;h1 id="motivation论文要解决的问题是什么">Motivation：论文要解决的问题是什么&lt;/h1>
&lt;p>现有的MLLM多模态emb在组合推理任务上表现比较差。组合推理任务按照原文的定义是指要理解图片中不同实体的属性、相对关系等各种信息的组合关系：&lt;/p>
&lt;blockquote>
&lt;p>Compositional reasoning, the ability to understand novel combinations of objects, attributes, and relations, remains a fundamental challenge in vision-language understanding&lt;/p>&lt;/blockquote>
&lt;p>本文引用这篇文章：&lt;a href="https://arxiv.org/abs/2204.03162">Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality&lt;/a>，里面有个很有意思的例子，如下图所示：两句话单词完全一样，但是单词的顺序不同，表达的意思完全不同，匹配的图片也完全不同，但是现有的多模态emb模型完全无法区分这两句话。这就是多模态emb的组合推理能力表现不佳的问题。&lt;/p>
&lt;p>&lt;img loading="lazy" src="https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/Winoground-fig1.png">&lt;/p>
&lt;p>本文Fig2a也举了一个例子，query是：Pink cooked shrimp is on top of golden round grilled food（粉红烤虾放在金黄圆润的烤制食物上），问query和图片A/B哪个更像。作者发现多模态emb无法区分query emb和A/B图片emb的相似度。但是同样基座的MLLM和VL-Reranker模型却可以回答出来A与query更像。所以引出本文要解决的核心问题是，如何增强emb的组合推理能力。本文进一步发现reranker模型有这个能力，所以进一步聚焦如何把reranker的这种能力蒸馏到emb模型上。&lt;/p>
&lt;p>&lt;img loading="lazy" src="https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/CORE-fig2.png">&lt;/p>
&lt;p>其实emb的组合推理能力听起来很玄乎，但是本文要解决的问题本质上是emb对不同相似图片的分层区分能力。如下Fig1(a)图所示，给定一个query和5张图片，5张图片和query的相似度不是非黑即白的关系，而是有不同相似程度的区别。因为5张图片的区别就是图片中实体的属性、关系的组合区别，如果emb能区分出来query和5张图片的相似度依次是L5&amp;gt;L4&amp;gt;L3&amp;gt;L2&amp;gt;L1，则认为emb具备了组合推理能力。&lt;/p>
&lt;p>传统的多模态emb大多数是通过对比学习训练得到的，如Fig1(a)左下角的图，因为对比学习训练的时候对所有负例一视同仁，相当于只训练了二元的像与不像的能力，故对比学习对所有不像的都认为不像，但其实不像的图片里面也能进一步区分出三六九等。类似的，对像的图片也是同样的道理。这就需要依赖更细粒度的图片表征能力了，也就是文中说的组合推理能力。&lt;/p>
&lt;p>&lt;img loading="lazy" src="https://bitjoy.net/posts/2026-11-22-alibaba-core-paper-reading/CORE-fig1.png">&lt;/p>
&lt;h1 id="核心思想">核心思想&lt;/h1>
&lt;p>搞清楚问题之后，解法相对来说比较简单。既然现有emb缺乏分层区分能力是因为对比学习预训练只有二元区分能力，那直接的想法就是标注多层次的相似度样本，然后使用listwise的方法预训练emb模型就可以了。由此引出来两个问题，一是如何批量标注多层次的listwise相似度样本，二是如何利用listwise样本训练emb模型。&lt;/p>
&lt;h1 id="listwise样本构造流程">Listwise样本构造流程&lt;/h1>
&lt;p>最终训练的listwise样本形如Fig1(a)所示，包含一个query，以及5张不同相似度等级的图片。本文把图文相似度分为5个等级：L5完全匹配（包括主体、属性、关系等）；L4完全匹配，但是主体只是整张图片的一部分；L3属性不匹配；L2主体不匹配；L1完全不匹配。&lt;/p>
&lt;p>样本构造过程如图Fig2(c)，具体如下：&lt;/p>
&lt;ol>
&lt;li>从LAION-400M数据集采样种子图片&lt;/li>
&lt;li>使用Qwen3-VL-32B理解图片，输出图片中的实体、属性、实体关系等信息&lt;/li>
&lt;li>随机采样一个schema，其实就是确定两个参数：(\(n_{obj}\), \(n_{attr}\))，分别表示从上一步抽取的全集信息中采样的实体数量和属性数量&lt;/li>
&lt;li>将种子图片，上一步采样的实体和属性，喂给MLLM模型，让MLLM生成描述种子图片的query，以及符合5档相似度的5个图片描述caption文本&lt;/li>
&lt;li>利用种子图片+上一步的5个图片描述caption文本，调用Z-Image-Turbo，生成符合描述的图片&lt;/li>
&lt;li>由此得到&amp;lt;query, L5图片, L4图片, L3图片, L2图片, L1图片&amp;gt; listwise样本&lt;/li>
&lt;/ol>
&lt;p>可以看到上述过程不论是query还是图片，都是通过模型生成的，数据质量完全取决于模型效果。故本文还增加了两个数据质量筛选的后处理步骤，都是通过MLLM来完成的，一是确保第5步生成的图片符合caption语义；二是确保第5步生成的图片和query满足相似度分档。通过上述两步筛选，保留了78%的样本。对保留的样本，通过人工check的方式评估了与人工的一致率是94%。&lt;/p></description></item></channel></rss>