企业官网建设流程全解析

CVPR 2026｜Thermal-Det：让红外检测“听懂人话”，用语言引导蒸馏迁移开放词汇能力

1. 一句话总结

Thermal-Det 通过合成热红外数据、热文本对齐和跨模态蒸馏，将可见光检测器的开放词汇能力迁移到红外领域，无需人工热红外标注，在多个真实数据集上提升零样本检测性能。

2. 论文信息

• 题目：Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection | Thermal-Det：面向开放词汇热红外目标检测的语言引导跨模态蒸馏

• 发表：CVPR 2026

• 作者：Yasiru Ranasinghe¹、Elim Schenck²、Florence Yellin²、Shuowen Hu³、Christopher Funk²、Vishal M. Patel¹

• 单位：¹约翰斯·霍普金斯大学；²Kitware 公司；³美国陆军作战能力发展司令部陆军研究实验室。

3. 论文摘要

可见光开放词汇检测器依靠的是纹理和外观语义，在面对低纹理、热对比度驱动的红外图像的时候很容易失效；而现有的红外标注主要是针对少数类别进行标注。Thermal-Det 通过百万级别的合成监督、语言描述的学习以及教师的知识迁移来使检测器学会识别热特征的同时还保持了自然语言查询的能力。

4、主要创新之处

一：将可见光标注转化为热红外监督

用F-ViTA把GroundingCap-1M转换过来之后保留目标框和定位文本，并且去掉场景描述中有关颜色、光线的部分，得到超过百万个样本，包含了超过个类别。

二：就是使文本适合于热外貌

热文本对齐头（Thermal-Text Alignment Head，TTAH）加入热辐射属性、校正类别嵌入、减小固定文本空间和红外特征之间差异。

三：把可见光教师迁移检测的知识应用到本发明中来

用没有标签的配对图片进行蒸馏位置、语义以及置信度；然后加上语言监督来支持新的类别和位置指代查询，并不是只适应固定的类别。

5. 方法详解

5.1 问题的界定以及整个体系的大致结构

开放词汇目标检测（Open-Vocabulary Object Detection，OVD）可以接受热红外图像以及文本查询，并且会给出目标框和相似度分数。在训练过程中，可见光教师被固定住，而热红外检测器则全部进行微调；合成的数据用来提供延续性的监督作用，真实的配对数据用来进行蒸馏。如图2所示，在推理的时候大语言模型（Large Language Model，LLM）会被移除掉。

图 2. ：双流检测器和语言监督框架：冻结可见光分支可以产生三种蒸馏信号，语言分支则学会场景级别的以及对象级别的描述。

5.2 语言监督：即对场景和对象进行理解

轻量投影器把特征映射到语言模型词元空间中去，热适配器则去学习和热相关的语义，而模态融合交叉注意力（Modality-Fused Cross-Attention，MFCA）就是将两种视觉信息结合起来的一种方式：

其中、是融合之后得到的键和值，下标、用来区分热红外和可见光；、是可学习的门控，分号表示拼接；根据上述信息可以知道语言查询会关注到不同的模态上，即热结构和可见光语义；场景描述做全局的理解，对象短语做局部的对应。

5.3 跨模态蒸馏：位置、语义和置信度一起学习

把配对的图片送到教师和学生的手里去，让它们各自去限制目标框、区域特征以及类别的分布。其中，语义蒸馏用的是：

表示学生区域特征，表示对应的教师特征，是分母中候选教师特征的一般表示形式；代表索引值，为温度系数，为余弦相似度；该损失增大了对应区域之间的相似度，并把教师语义转移到热红外特征里；蒸馏只在配对批次被激活。

5.4 TTAH：给类别词添加热属性

冻结的对比语言图像预训练模型（Contrastive Language–Image Pre-training，CLIP）的文本嵌入仍然存在可见光偏差的问题，所以要加入热属性校正：

其中表示类别的原始文本嵌入，是属性库中第个热属性向量；为两层多层感知机，为层归一化，为校准后的结果。该模型给每个类别创建出很多种热属性变体，并且根据区域相似度来选取最合适的那个，比如把“人”和最合适的热外观描述联系起来。

5.5 损失函数

论文联合优化了四个方面的目标：

其中保证了分类和定位的一致性；对位置、语义以及置信度进行蒸馏；通过图文对比和嵌入漂移正则来防止校准之后出现偏离；包括场景级和对象级的描述损失。四者共同考虑到了检测准确度、知识迁移以及语言一致性的问题。

★

一句话概括该方法就是：通过合成数据来了解热外观，然后用语言对齐类别含义，最后再从可见光教师那里学到如何找到目标。

6. 实验结果

6.1 实验条件

用 GroundingCap-1M 转换后的合成热红外数据和 M3FD 等无标注配对数据进行训练，在 FLIR-Aligned、FLIR-V2、CAMEL、SMOD、Utokyo、MFAD、LLVIP 七种真实的基准测试中进行评价，评价指标为平均精度（Average Precision，AP）及其和。本文所使用的主对比采用 Swin-T 骨干，包含了 GLIP、T-Rex2、YOLO-World、Grounding DINO、MM-GDINO、LLMDet 等多种模型。关于测试数量、输入尺寸、训练轮次、优化器类型、学习速率以及所用硬件等信息没有给出。

6.2 定量的结果

表1中，Thermal-Det在FLIR-Aligned、FLIR-V2、CAMEL、Utokyo的AP分别为、、、，都是表内最好的。前两者与各自的最优基准相比分别提高了和AP；CAMEL比G-DINO提高了AP。

优势并不全面：FLIR-Aligned 的为次优，小于 MM-GDINO 的；CAMEL 的也低于 G-DINO 的；MFAD 的 AP 为，稍低于 LLMDet 的。

表 1. ：FLIR-Aligned、FLIR-V2、CAMEL和Utokyo的零样本检测结果。

图 3. ：Thermal-Det与其他使用Swin-T骨干的开放词汇检测器在各种基准上的零样本性能比较。

6.3 定性结果

图1展示了类别文本以及“前方中央的车”之类的位置指代查询，在热红外域中也具有一定的语义定位能力。对于小目标和热对比模糊类别的识别仍然比较困难，在FLIR-V2上摩托车和交通灯的AP值分别为。

图 1. ：用复杂的文字查询以及位置指代检测的效果来说明与可见光检测器以及相应的办法相比的情况。

6.4 教师的选择和消融实验

表2-4单独列出教师适配和验证集消融的数据不可以和表1中的数据混用，使用Grounding DINO作为教师时，FLIR-Aligned的AP由提升到，CAMEL则由提高到。

在FLIR-Aligned上，场景描述、对象描述以及蒸馏分别带来了、、个AP增量；去掉TTAH损失之后，AP下降了；置信度门控选择热子类可以得到个AP，比平均策略的和随机策略的都要好。

表 2. ：FLIR-Aligned和CAMEL上各个教师基线以及对应的适配模型检测效果比较。

表 3. ：各个部分对于两个数据集的增加效果，在对象级别上以及知识蒸馏带来的好处都很大。

表 4. ：TTAH中各种子类选择策略在两个数据集上的消融效果。

6.5 模型复杂度

论文没有给出参数数量、浮点运算次数或者推理消耗的时间；即使在推理的时候去掉LLM，也不能由此得出该模型可以实现实时运行的结论。

7. 结论和预测

总结

Thermal-Det 将合成监督、热语义校准以及跨模态蒸馏三者结合起来，从而降低红外人工标注的需求。实验表明跨域迁移是有效的，但是小目标和热对比不清晰的类别仍然是它的不足之处。

★

用一句话来概括就是：红外开放词汇检测要同时具备迁移出“哪里”的能力以及把“这个词语在热图里代表什么”进行对齐的能力。

往期推荐

[#目标检测](javascript:😉[#开放词汇](javascript:😉[#多模态信息融合](javascript:😉[#CVPR](javascript:😉