企业官网建设流程全解析

《Segment Any Change》提出了一种名为AnyChange的新型变化检测模型，旨在解决零样本变化检测这一开放性问题。以下是对其主要研究内容的全面总结：

一、研究背景与问题

• 变化检测：地球表面随时间不断变化，遥感变化检测对气候、环境、城市化等可持续发展领域至关重要。

• 现有方法局限：深度变化检测模型依赖大量训练数据，难以泛化到未见过的变化类型和数据分布。

• 零样本变化检测的空白：尽管视觉基础模型（如 CLIP、SAM）在零样本分类和分割上表现优异，但零样本变化检测尚未被探索。

• 核心挑战：将 SAM 适配到变化检测并保持其零样本泛化和可提示性，需要大规模双时相变化标注，成本极高。

二、核心贡献

1. 提出 AnyChange：首个支持零样本变化检测的模型，能够泛化到未见变化类型和数据分布。

2. 双时相隐空间匹配（Bitemporal Latent Matching）：一种免训练适配方法，利用 SAM 隐空间中的图像内和图像间语义相似性，赋予 SAM 零样本变化检测能力。

3. 点查询机制（Point Query）：支持用户通过简单点击实现以对象为中心的变化检测。

4. 多角度验证：从零样本变化提议、零样本以对象为中心的变化检测、无监督变化检测、标签高效监督变化检测四个角度验证 AnyChange 的有效性。

5. 新纪录：在 SECOND 基准的无监督变化检测上取得48.2% F1，超过此前 SOTA 最高4.4%。

三、方法核心

1. 探索 SAM 隐空间

• 图像内语义相似性：同一卫星图像中，同类地理对象在 SAM 隐空间中具有相似嵌入。

• 图像间语义相似性：不同时间拍摄的同一地理位置图像中，同类对象仍具有相似嵌入。

• 这两点为免训练适配提供了基础。

2. 双时相隐空间匹配

• 对 SAM 生成的对象提议计算掩码嵌入（对图像嵌入在掩码区域取平均）。

• 使用负余弦相似度作为变化置信度分数（因 SAM 图像编码器使用层归一化，掩码嵌入位于超球面上）。

• 采用双向匹配保证时间对称性，最终通过 top-k 排序或角度阈值化获得变化检测结果。

3. 点查询机制

• 用户在同一类别对象上点击若干点，SAM 生成对象提议。

• 计算平均掩码嵌入，与所有提议匹配，通过自定义角度阈值过滤出以对象为中心的变化。

• 实现交互式、语义化的变化检测。

四、实验与结果

1. 零样本对象变化提议

• 数据集：LEVIR-CD、S2Looking、xView2、SECOND。

• 指标：像素级 F1、精度、召回率；实例级 mask AR@1000。

• 结果：

  • AnyChange 在像素级和实例级召回率上均优于 SAM+Mask Match、SAM+CVA Match 等基线。

  • 在 SECOND 上，AnyChange 所有变体均优于强基线 DINOv2+CVA，F1 最高提升3.2%。

  • ViT-H 版本以更少参数达到与 DINOv2（ViT-G）相当的召回率。

• 消融实验：

  • 匹配策略：隐空间匹配优于几何匹配。

  • 匹配方向：双向匹配比单向更稳定。

  • 辐射变化鲁棒性：mask AR 抖动小于 2%。

2. 零样本以对象为中心的变化检测

• 点查询显著提升 F1（单点约 +15%，三点再 +3%），实现精度与召回的更好权衡。

3. AnyChange 作为变化数据引擎

• 监督对象变化检测：在 S2Looking 上，使用 AnyChange 伪标签微调，仅需 3,500 像素标注即达到上界的61%，优于使用 1% 和 0.1% 真值标注的模型。

• 无监督变化检测：在 SECOND 上，基于 AnyChange（ViT-B）伪标签训练的 ChangeStar 达到48.2% F1，创造新纪录，超过 I3PE（43.8%）。

五、结论与意义

• AnyChange是首个零样本变化检测模型，支持全自动、半自动和交互式三种模式。

• 核心创新在于发现并利用 SAM 隐空间中的图像内和图像间语义相似性，实现免训练适配。

• 展示了 AnyChange 作为变化数据引擎的潜力，在无监督和监督变化检测中均表现优异。

• 是迈向地球视觉社区“基础模型”的重要一步。

六、局限与展望

• 零样本变化检测仍处于早期阶段，缺乏成熟的基础设施（如概念完整的类别无关变化检测数据集）。

• 模型效果受 SAM 隐空间偏差影响，可能产生不可能的变化。

• 未来工作可进一步改进微小/次要变化的检测。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要

视觉基础模型在零样本图像分类和分割方面已取得显著成果，但零样本变化检测仍是一个未解决的问题。在本文中，我们提出了分割任意变化模型（AnyChange），这是一种新型的变化检测模型，支持零样本预测，并能泛化到未见过的变化类型和数据分布。AnyChange 建立在分割任意模型（SAM）之上，通过我们的免训练适配方法——双时相隐空间匹配（bitemporal latent matching）实现。通过揭示和利用 SAM 隐空间中的图像内和图像间语义相似性，双时相隐空间匹配以免训练的方式赋予 SAM 零样本变化检测能力。我们还提出了点查询机制，使 AnyChange 具备零样本以对象为中心的变化检测能力。我们进行了大量实验，验证了 AnyChange 在零样本变化检测中的有效性。AnyChange 在 SECOND 基准的无监督变化检测上创造了新纪录，超过此前最优方法最高达 4.4% 的 F1​ 分数，并在极少人工标注（每张图像 1 个像素）的监督变化检测中达到了可比精度。

1 引言

由于自然过程和人类活动，地球表面随时间不断变化。一些驱动这些变化的动态过程（例如自然灾害、森林砍伐和城市化）对气候、环境和人类生活产生了巨大影响（Zhu et al., 2022）。通过遥感和机器学习捕捉这些全球变化是许多可持续发展学科的关键步骤（Yeh et al., 2020; Burke et al., 2021）。

深度变化检测模型通过大规模预训练（Manas et al., 2021; Wang et al., 2022; Mall et al., 2023; Zheng et al., 2023）和架构改进（Chen et al., 2021b; Zheng et al., 2022）已取得令人瞩目的成果。然而，它们的能力依赖于训练数据，并局限于特定的应用场景。这些模型无法泛化到训练中未见过的新的变化类型和数据分布（例如新的地理区域）。

这种对未见变化类型和数据分布的理想泛化水平要求变化检测模型具备零样本预测能力。然而，零样本变化检测的概念迄今在文献中尚未被探索。尽管我们正处于“基础模型”时代（Bommasani et al., 2021），并见证了大语言模型（LLM）和视觉基础模型（VFM）（例如 CLIP（Radford et al., 2021）和分割任意模型（SAM）（Kirillov et al., 2023））通过提示工程展现出强大的零样本预测和泛化能力，零样本变化检测仍然是一个未解决的问题。

为弥补这一空白，我们提出了分割任意变化（Segment Any Change），这是首个在未见变化类型和数据分布上具有零样本泛化能力的变化检测模型。我们的方法建立在 SAM 之上，SAM 是首个可提示的图像分割模型，在对象类型和数据分布上展现出非凡的零样本泛化能力。尽管 SAM 能力极强，但将 SAM 适配到变化检测并保持其零样本泛化和可提示性并非易事，因为要实现原始 SAM 中的可提示训练，需要收集大规模变化检测标签，其数据收集成本极高。

图 1：AnyChange 在地球科学广泛的应用场景中的零样本变化检测。每个子图依次展示了事件前图像、事件后图像及其变化实例掩码。每个变化实例掩码的边界用青色渲染，同时这些变化掩码也绘制在事件前/后图像上，以更清晰地显示变化发生的位置。每个变化掩码的颜色用于区分不同实例。

为解决这一问题，我们提出了一种免训练方法——双时相隐空间匹配，使 SAM 能够分割双时相遥感图像中的变化，同时继承 SAM 的这些重要特性（即可提示性、零样本泛化）。这是通过利用我们在将 SAM 编码器应用于未见多时相遥感图像时，在 SAM 隐空间中经验性发现的图像内和图像间语义相似性来实现的。由此产生的模型 AnyChange 能够分割任意语义变化。

AnyChange 可以生成类别无关的变化掩码，然而在某些实际应用场景中，例如灾害损失评估，需要以对象为中心的变化，例如检测有多少建筑物被摧毁。为实现这一能力，我们为 AnyChange 提出了点查询机制，利用 SAM 的点提示机制和我们的双时相隐空间匹配来过滤所需的对象变化。用户只需在所需对象上单击一次，带有 点查询的 AnyChange 就能生成以该对象语义为中心的变化掩码，即从该对象类别到其他类别，反之亦然，从而实现以对象为中心的变化检测。

图 2：分割任意变化模型，AnyChange。SAM 前向：给定网格点 {pi​} 作为提示和输入图像，SAM 在时间 t 的图像上生成对象掩码 {mt,i} 和图像嵌入 zt​。双时相隐空间匹配进行双向匹配以计算每个变化提议的变化置信度分数，然后应用 top-k 排序或阈值化进行零样本变化提议和检测。点查询允许用户点击同一类别的若干点（本子图中为两个点的情况），通过语义相似性过滤类别无关的变化掩码，以实现以对象为中心的变化检测。

我们在多个变化检测数据集上展示了 AnyChange 的零样本预测能力，包括 LEVIR-CD（Chen & Shi, 2020）、S2Looking（Shen et al., 2021）、xView2（Gupta et al., 2019）和 SECOND（Yang et al., 2021）。由于尚无已发表的零样本变化检测算法，我们还从零样本变化提议、零样本以对象为中心的变化检测和无监督变化检测的角度构建了基线。AnyChange 在零样本变化提议和检测方面优于由 DINOv2（Oquab et al., 2023）和 SAM 实现的其他零样本基线采用不同匹配方法。从无监督变化检测的角度来看，AnyChange 击败了此前的最优模型 I3PE（Chen et al., 2023），在 SECOND 上创造了 48.2% F1​ 的新纪录。我们在图 1 中展示了一些定性结果，证明了 AnyChange 在广泛应用场景（即城市化、灾害损失评估、去农业化、森林砍伐和自然资源监测）中的零样本预测能力。本文的贡献总结如下：

• AnyChange，首个零样本变化检测模型，使我们能够以全自动模式或通过简单点击交互获得实例级和像素级变化掩码。

• 双时相隐空间匹配，一种免训练适配方法，通过利用 SAM 隐空间中图像的图像内和图像间语义相似性，赋予 SAM 零样本变化检测能力。

• 首次探索零样本变化检测。我们从四个角度展示了 AnyChange 的有效性，即零样本变化提议、零样本以对象为中心的变化检测、无监督变化检测和标签高效监督变化检测，在强基线或此前最优方法上取得了更好的结果。

2 相关工作

分割任意模型（Kirillov et al., 2023）是首个用于可提示图像分割的基础模型，在未见对象类型、数据分布和任务上具有强大的零样本泛化能力。SAM 的训练目标是在给定一系列几何提示的情况下最小化类别无关的分割损失。基于几何提示的组合，即提示工程，SAM 可以零样本泛化到未见的单图像任务，包括边缘检测、对象提议和实例分割。我们的工作通过免训练适配方法将 SAM 扩展至双时相遥感图像的零样本变化检测，将 SAM 的使用扩展到单图像任务之外。

用于变化检测的分割任意模型。SAM 已通过“参数高效微调”（PEFT）范式（Mangrulkar et al., 2022）用于变化检测，例如 SAM-CD（Ding et al., 2023）使用 Fast-SAM（Zhao et al., 2023）作为冻结的视觉编码器，并以全监督方式在变化检测数据集上微调适配器网络和变化解码器。该模型没有继承 SAM 最重要的两个特性，即可提示性和零样本泛化。以可提示方式使用大规模训练变化数据进行微调可能实现这两个特性，然而收集具有类别无关变化标注的大规模双时相图像对并非易事（Tewkesbury et al., 2015; Zheng et al., 2023），因此当前文献中不存在此类方法。我们的工作引入了一种新的、经济的 SAM 适配方法，即免训练适配，以零额外成本保证这两个特性，使零样本变化检测首次成为可能。

无监督变化检测。与零样本变化检测最相似的任务是无监督变化检测（Coppin & Bauer, 1996），然而零样本变化检测是一项更具挑战性的任务。两者都要求模型找到类别无关的变化区域，主要区别在于零样本变化检测还要求模型泛化到未见的数据分布。从早期无模型的变化向量分析（CVA）（Bruzzone & Prieto, 2000; Bovolo & Bruzzone, 2006）到先进的深度 CVA（Saha et al., 2019）和 I3PE（Chen et al., 2023），无监督变化检测方法经历了由深度视觉表示学习推动的变革。这些基于模型的无监督变化检测方法需要在新数据分布上重新训练其模型。我们提出的模型是免训练的，可以在无监督变化检测中达到可比甚至更好的性能。

3 分割任意变化模型

本文提出分割任意变化（Segment Any Change）以解决长期存在的零样本变化检测开放问题（见第 3.1 节）。如图 2 所示，我们提出了一种新型变化检测模型，支持零样本预测能力，并能泛化到未见变化类型和数据分布，允许两种输出结构（实例级和像素级）和三种应用模式（全自动、带自定义阈值的半自动、通过简单点击的交互式）。AnyChange 以免训练方式建立在 SAM 之上，实现了上述能力。

3.1 背景

3.2 探索 SAM 的隐空间

受 Kirillov et al. (2023) 中探测 SAM 隐空间实验的启发，我们知道同一自然图像中掩码嵌入之间存在潜在的语义相似性。我们进一步从图像内和图像间角度探索卫星图像的隐空间，从而回答以下两个问题：

Q1：同一卫星图像上是否存在语义相似性？经验上，我们发现存在。我们通过两种方式展示这种语义相似性，即可视化主成分分析（PCA）（Oquab et al., 2023）的第一主成分和探测隐空间（Kirillov et al., 2023），如图 3(a) 所示。观察前三个 PCA 成分，同一类别的地理空间对象在这个低维子空间中具有相似的外观。这表明来自 SAM 的该卫星图像嵌入相当好地编码了地理空间对象的语义。此外，我们做了与 Kirillov et al. (2023) 相同的隐空间探测实验，但在卫星图像上进行，结果如图 3(a)（底部）所示。我们计算对象提议的掩码嵌入，并手动选择三个不同类别的提议（水、建筑和裸地）作为查询。

图 3.2：关于 (a) 同一卫星图像和 (b) 不同时间卫星图像上语义相似性的经验证据。(a) 前三个 PCA 成分的可视化表明，同一类别的对象在 SAM 的隐空间中彼此良好匹配；三个红色点查询证实了同一卫星图像上语义相似性的存在。(b) 来自时间 t1​ 卫星图像的对象提议（由红点表示）作为查询，用于匹配时间 t2​ 卫星图像的所有提议。（最好放大查看，尤其是点查询）通过将查询嵌入与其他掩码嵌入匹配，我们获得与查询提议最相似的对象提议。我们发现最相似的对象提议大多属于与查询相同的类别。

Q2：同一地点不同时间采集的卫星图像上是否存在语义相似性？经验上，我们发现存在。为验证这一点，我们引入来自同一地理区域但不同时间 t1​ 的新卫星图像。上述卫星图像拍摄于时间 t2​。与上述隐空间探测实验不同，我们使用来自时间 t1​ 图像的三个不同空间位置的对象提议作为查询。这三个查询具有相同类别，即建筑。通过与时间 t2​ 图像的所有提议匹配，我们获得三个基本一致的结果，F1​ 为 68.1%±0.67%，召回率为 96.2%±0.66%，如图 3(b) 所示。这表明这种语义相似性存在于不同时间的卫星图像上，即使由于拍摄时间不同，图像具有不同的成像条件。

从上述经验研究中，我们发现在未见卫星图像的 SAM 隐空间中存在图像内和图像间语义相似性。这两个特性是我们免训练适配方法的基础。

3.3 双时相隐空间匹配

基于我们的发现，我们提出了一种免训练适配方法，即双时相隐空间匹配，它在无需训练或架构修改的情况下，弥合了 SAM 与遥感变化检测之间的差距。

4 实验

在本节中，我们展示 AnyChange 的两个最基本应用，即 (i) 零样本变化提议和检测，以及 (ii) 变化数据引擎。我们从这两个角度进行实验来评估我们的方法。

4.1 零样本对象变化提议

数据集：我们使用四个常用的变化检测数据集来评估 AnyChange。前三个，即 LEVIR-CD（Chen & Shi, 2020）、S2Looking（Shen et al., 2021）和 xView2（Gupta et al., 2019），是以建筑为中心的变化检测数据集。SECOND（Yang et al., 2021）是一个多类别（多达 36 种变化类型）的城市变化检测数据集，具有完整标注。对于零样本对象提议评估，如果数据集具有多类别变化标签，我们将其标签转换为二值。指标：传统变化检测主要关注使用 F1​、精度和召回的像素级评估。越来越多的实际应用开始关注实例级变化，也称为“变化地块”。基于这一需求以及 AnyChange 预测实例变化的能力，我们为零样本变化提议调整了零样本对象提议（Kirillov et al., 2023）的评估协议，因为它们具有相同的输出结构。指标是 mask AR@1000（Lin et al., 2014）。注意变化提议是类别无关的，因此对于前三个以建筑为中心的数据集，由于“任意变化”标注不完整，我们无法获得准确的 F1​ 和精度。这两个指标仅用于参考，并查看模型是否接近朴素基线（将所有预测为“变化”类，反之亦然）。这里我们主要关注像素级和实例级的召回率。

基线：AnyChange 基于 SAM，然而当前文献中没有可用于比较的基于 SAM 或其他 VFM² 的零样本变化检测模型。为了公平比较，我们构建了三个基于 DINOv2（Oquab et al., 2023）（一种最先进的 VFM）或 SAM 的强基线。简单基线是 CVA（Bruzzone & Prieto, 2000），一种基于 ℓ2​ 范数作为差异度和阈值化的无模型无监督变化检测方法。我们构建了“DINOv2+ CVA”，这是使用 DINOv2 的改进版本，其思想类似于 DCVA（Saha et al., 2019）。我们构建了“SAM+Mask Match”，它遵循 AnyChange 的宏观框架，但将隐空间匹配替换为采用掩码 IoU 作为相似性的掩码匹配。“SAM+CVA Match”遵循与 AnyChange 相同的思路，但采用特征差异的负 ℓ2​ 范数作为相似性，首先通过基于 SAM 特征的 CVA 计算像素级变化图。然后采用实例级投票获得变化提议。我们还构建了每个 AnyChange 的“Oracle”版本作为上界，其中我们使用 LoRA（r = 32）（Hu et al., 2022）微调 SAM，并训练一个变化置信度分数网络在每个数据集上。更多实现细节见附录 C.1。

表 1：零样本对象变化提议。指标包括基于像素的 F1​、精度（Prec.）和召回率（Rec.）以及基于实例的 mask AR@1000。注意以灰色渲染的指标名称表示由于缺乏“任意变化”的真值而导致的不准确估计，但反映了它们的预测是否接近朴素基线（将所有预测为“变化”类）。

结果：我们在表 1 中将 AnyChange 的变化召回率与其他零样本基线进行比较。对于像素级变化召回率，AnyChange 比另外两个 SAM 基线取得更好的召回率，尤其是在使用小型 ViT-B 时。这是因为双时相隐空间匹配更好地衡量了语义相似性，即使用两个嵌入之间的角度。我们可以观察到，随着骨干网络变大，AnyChange 与 SAM 基线之间的差距逐渐缩小，因为视觉表示能力通常变得更强。尽管更强的表示可以在一定程度上缩小性能差距，AnyChange 在四个数据集上仍具有更好的平均性能。这凸显了找到本质语义差异的重要性。此外，我们的 AnyChange 使用 ViT-H（636M 参数）在四个数据集上以更少的参数达到了与使用 DINOv2（ViT-G，1,100M 参数）的 CVA 相当的召回率。在 SECOND 数据集上，AnyChange 的所有变体都取得了比强基线 DINOv2+ CVA 更好的零样本变化检测性能，差距高达 3.2% F1​。对于实例级变化召回率，AnyChange 显著优于另外两个 SAM 基线。这进一步证实了双时相隐空间匹配的有效性和优越性。我们观察到通过监督学习获得的 Oracle 具有更高的精度，因为它们显式地学习了语义和数据集偏差，然而这是以像素或实例级召回率为代价的。

消融：匹配策略。“Mask Match”执行基于几何的匹配，而“CVA Match”和双时相隐空间匹配执行基于隐空间的匹配。在表 1 中，我们看到从像素级和实例级变化召回率以及零样本变化检测性能的多个角度来看，基于隐空间的匹配比基于几何的匹配更有前景。与“CVA Match”相比，AnyChange 在实例级对象变化提议上大幅优于“SAM+ CVA Match”，并在像素级变化召回率上具有可比性。原则上，“CVA Match”的相似性与我们的双时相隐空间匹配线性相关，因为嵌入的幅度是常数。因此，性能差异在于计算单元（像素或实例）。“CVA Match”是像素级的，而双时相隐空间匹配是实例级的。这表明对所有涉及的像素嵌入求平均来计算掩码嵌入进行匹配更为鲁棒。

消融：匹配方向。如表 2 所示，我们可以发现单向匹配的性能对时间顺序敏感，例如 LEVIR-CD 上两个单向匹配的 mask AR 分别为 1.3% 和 35.9%。这是因为类别无关变化天然具有时间对称性，这正是我们双向设计的动机。这一结果也证实了通常更高且更鲁棒的零样本变化提议能力。

消融：对辐射变化的鲁棒性。我们使用 ViT-B 作为骨干网络进行快速实验。结果如表 3 所示。mask AR 的性能抖动小于 2%（−1.9%,+0.1% 1.9%,−1.4%）在这四个数据集上。我们认为这种对辐射变化的敏感性对大多数应用来说是可以接受的。

4.2 零样本以对象为中心的变化检测

零样本对象变化提议生成类别无关的变化掩码。点查询机制可以通过用户在单时相图像上的简单点击，将类别无关变化转换为以对象为中心的变化，从而为 AnyChange 提供交互模式。这一步通常对人类来说很容易。这里我们在三个以建筑为中心的变化检测数据集上评估点查询。

结果：我们在图 4 中展示了点查询的效果。没有点查询时，AnyChange 生成类别无关的变化掩码，包括建筑变化、植被变化等。通过对建筑进行单点查询，我们可以观察到与建筑无关的变化掩码被过滤掉。进一步点击另外两栋建筑以提高掩码嵌入的稳定性，我们发现之前遗漏的建筑变化被成功恢复。表 4 定量反映了这一机制。通过单点查询，三个数据集上的零样本性能显著提升约 15% F1​ 分数。这种改进以召回率为代价，然而它实现了精度和召回率之间更好的权衡。增加到三点查询后，模型在三个数据集上的召回率在一定程度上恢复，并且模型具有与单点查询相当的精度。三个数据集上的零样本性能进一步提升约 3% F1​。这些结果证实了点查询作为 AnyChange 插件提供交互模式的有效性。

表 2：消融：匹配方向。骨干网络为 ViT-B。单向匹配对时间顺序敏感，而双向匹配由于保证了时间对称性而更加稳定。

表 4：零样本以对象为中心的变化检测。引入点查询语义的所有结果都是准确估计，因为检测到的变化是以对象为中心的。

4.3 AnyChange 作为变化数据引擎

AnyChange 可以为未标注的双时相图像对提供零成本或极少标注成本的伪标签。为评估这一能力，我们在遥感变化检测的两个典型方向上进行了实验：监督对象变化检测和无监督变化检测。

训练配方：在 S2Looking 上，我们使用 AnyChange（ViT-H，单点查询）的纯伪标签在其训练集上训练模型。除损失函数外，所有训练细节遵循 Zheng et al. (2023)。在 SECOND 上，我们使用 AnyChange（ViT-H，全自动模式）的纯伪标签在其训练集上训练模型，其他细节遵循 Zheng et al. (2022)。对于这两种情况，损失函数均为带有 0.4 标签平滑的 BCE 损失。更多细节见附录 C.2。

图 4：点查询机制示例。从左到右依次展示了无点查询、单点查询和三点查询的效果。（最好以数字方式放大查看，尤其是红点）

表 5：监督对象变化检测。与 S2Looking 测试集上最先进变化检测器的比较。“R-18”：ResNet-18。Flops 量使用形状为 [2,512,512,3] 的 float32 张量作为输入计算。

监督对象变化检测结果。表 5 展示了 S2Looking 数据集上的标准基准结果，这是最具挑战性的建筑变化检测数据集之一。从以数据为中心的角度，我们使用相同的架构但不同的微调数据。模型架构采用基于 ResNet18 的 ChangeStar (1×96)（Zheng et al., 2021），因为其简单且性能良好。我们将 100% 真值上的微调设为上界，其达到了 66.3% F1​。我们可以观察到，使用 AnyChange（ViT-H）的伪标签进行微调，在 3,500 像素标注下产生了 40.2% F1​。借助 AnyChange，我们以可忽略的成本（约 10−5% 完整标注）达到了上界的 61%。我们还将其与使用较少标注 (1% 和 0.1%）训练的模型进行比较。我们发现它们的性能显著降低，并且不如使用 AnyChange 伪标签训练的模型。这证实了 AnyChange 作为监督对象变化检测的变化数据引擎的潜力。

无监督变化检测结果。AnyChange 的类别无关变化掩码是无监督变化检测的天然伪标签。我们还将我们的 AnyChange 与无监督变化检测方法进行比较。在表 6 中，我们发现使用 ViT-B 的 AnyChange 在零样本设置下优于此前的最先进方法 I3PE（Chen et al., 2023）。为学习 SECOND 数据集上的偏差，我们使用 AnyChange 在 SECOND 训练集上的伪标签训练了一个 ChangeStar (1×256) 模型。设置遵循 I3PE 2023），因此我们对齐它们的骨干网络并使用 ResNet50 用于 ChangeStar (1×256)。结果表明，两个无监督 ChangeStar (1×256) 变体优于 I3PE。值得注意的是，基于 AnyChange（ViT-B）的伪标签，我们的模型在 SECOND 数据集上创造了无监督变化检测 48.2% F1 的新纪录。此外，我们获得了一些关于无监督变化检测的有用见解：(i) 来自 VFM 的深度特征显著帮助无监督变化检测模型，因为 DINOv2+CVA 击败了除 I3PE 外的所有先进竞争者。在我们的强基线 DINOv2+CVA 之前，CVA 一直被视为无监督变化检测的简单且无效的基线。(ii) 数据集偏差有助于域内无监督变化检测，因为使用伪标签训练的模型比这些伪标签取得了更高的性能。这表明模型学习了 SECOND 数据集上的一些偏差，可能是变化类型和风格。

表 6：无监督变化检测。与 SECOND 测试集上最先进无监督变化检测器的比较。\\表示该变化检测模型使用 AnyChange 预测的伪标签训练。

5 结论

我们提出了分割任意变化模型（AnyChange），一种用于零样本变化检测的新型变化检测模型，允许全自动、带自定义阈值的半自动和通过简单点击的交互模式。所有这些能力的基础是我们在多时相遥感图像上识别出的 SAM 隐空间中的图像内和图像间语义相似性。除了零样本变化检测，我们还展示了 AnyChange 作为变化数据引擎的潜力，并证明了其在无监督和监督变化检测中的优越性。AnyChange 是一个开箱即用的零样本变化检测模型，是迈向地球视觉社区“基础模型”的一步。