企业官网建设流程全解析

篇名

问题，背景

方法

其他

基于双源判别器的域自适应城市场景语义分割

(2023)

1.跨域数据集外观分布不同导致域差异，导致对抗训练不稳定，分割精度不够理想。

2.网络对小目标分割精度不理想

1. 双源判别器（判别器输入包含 2 个不同域 的特征信息）

（1）对源域 S 使用风格转换方法 FastPhotoStyle 得到新源域 S'，从图像层面降低域差异。（2）利用生成器分别提取源域 S、新源域 S'和目标域 T 的分割特征图，将新源域的特征图作为中间桥梁，分别与源域特征图，目标域特征图进行通道维度上的特征融合（3）将得到的 2 个融合后的特征图输入双源判别器中，双源判别器和生成器迭代进行对抗训练

1. 引入自训练的伪标签

将自训练的伪标签（根据阈值选取置信度最高的）作为目标域的监督信息融入对抗训练值

1. 类平衡因子的引入

将伪标签中最大概率类别出现的频率之和作为类平衡损失因子引入损失函数中

效果

1. 降低域差异，使模型训练更加稳定，更好地实现特征对齐，从而提升性能和分割精度
2. 避免模型的预测结果偏向源域。
3. 缓解分割网络中类不平衡问题，增加网络对小目标的分割能力。

（PS:对应方法）

图引导的特征融合和分组对比学习的域自适应语义分割

(2024)

1.原有方法没有考虑两个域像素之间的关联性以及类不平衡问题，使语义分割网络的跨域性能较差

2. 解决数据集中存在的类不平衡问题，同时提取到更多域不变特征

双跨域图卷积网络

（1）构造了跨域的位置相似性矩阵和通道相似性矩阵，通过双跨域图卷积来更新图像特征图上的 结点信息，建立域内和域间像素的长距离上下文依赖关系，使无监督域自适应分割网络能提取到更多 的域不变信息。 （2）为了解决类不平衡问题，提出了分组对比学习方法，构造了分组对比损失函数，以进一步提取域不变特征。

局限

域之间的位置信息挖掘的不够充分，导致模型在一些类别较复 杂的场景仍会出现错误分类的情况

一种结合域自适应的图像语义分割算法（2021）

1. 数据的收集和标记成本高昂
2. 真实图像与合成图像在分布域上存在的差异会降低模型性能

1. 使用成本较低的计算机生成并标记的合成数据训练深度神经网络
2. 通过在输出空间上的对抗学习实现域自适应，根据WGAN对对抗学习损失函数进行改进（采用的域自适应方法是基于卷积神经网络的端到端算法）
3. 通过构建多级对抗学习网络来利用不同级别特征信息以提升模型性能。

基于深度学习和域自适应的图像语义分割（2020）

主要问题：

当前的图像分割方法都难以满足工业界的需要，尤其是为了采集训练用数据集带来 的巨大人力物力财力消耗

细分问题：

1. 图像语义分割的特征对齐可能会因为需要 编码大量视觉信息，包括外观、形状和背景信息的复杂高维特征影响，导致效果 不好
2. 特征级别低的的可能不会很好的进行域自适应，因为他们 距离高层级的标签输出太远

主要问题解决方案：

1. 提出了一种创新的生成对抗网络可以进行无监督的图片风格迁移，这个方法基于公共潜在空间的假设，将不同域上的图像通过编码器映射到公共空间的一个编码上，最后在用解码器重建图像以此达到了无监督的图像转换，为后续 的图像分割工作提供基础
2. 使用两个级联的生成对抗网络，利用对抗的思想使得网络在不同域上的输出趋于一致并且让判别器无法判断输出来自目标域还是源域。
3. 提出了一种多样性学习方 法多样性学习方法通过在多风格数据集上训练，校正了网络在预测时对物体纹 理信息的倾向性，转而更多地依靠形状来判断

细分问题对应方案：

1. 像素级预测模型迁移方法，在输出空间上（分割图）进行像素级别的域自适应
2. 多层级域自 适应的策略，这个策略通过结合分割网络不同层上的输出特征进行对抗学习达成 了多层级适应的目的

一、图像分割的国内外研究历史和现状

传统分割方法：

1.阈值法2.区域生长方法3.分水岭算法4.基于边缘检测的图像分割算法

基于深度学习的分割方法：

语义分割、实例分割、全景分割

特征提取领域：

VGGNet(深度卷积神经网络)->ResNet(残差网络)->全卷积网络->无监督的图像分割

• 仍存问题

1. 在某些场景中，分割速度是更重要的评价指标，能够接近实时的分割推理速度运行分割模型是这些场景的迫切需求，速度、精度和计算复杂度之间的平衡仍为挑战
2. 深度学习模型的可解释性， 是否存在针对特定数据分布且能达到一定分割精度的最小神经网络结构

基于鉴别模型和对抗损失的无监督域自适应方法（2020）

收集注释良好的图像数据集来训练深度学习算法成本过高 且耗时，而仅在渲染图像训练的模型通常无法推广到真实图像

原方案：无监督域自适应算法：试图在 2个域之间映射一些表示或提取域不变的特征，将 2 个域映射到共同的特征空间

本文方法：基于生成对抗 网络( GAN) 架构的无监督域自适应方法：

使用鉴别模型，无需权重共享、对抗损失 和辅助分类任务，以无监督的方式学习从一个域到另一个域的变换。

首先使用源域中的标签学习鉴别表示， 然后使用通过域-对抗性损失学习的非对称映射将 目标数据映射到同一空间的单独编码。

辅助分类任务：结合辅助的任务学习共同的特征表示

本文方法优势：与特定任务的体系结构分离，跨标签空间 的泛化以及训练稳定

辅助分类任务优势：最大限度地丰富训练样本，增强学习到特征的 泛化性能，而且有效增大类间距离和减小类内距离， 有利于提高分类精度。

Bidirectional Learning for Domain Adaptation of Semantic Segmentation

（双向学习在语义分割域适应中的应用）

1.手动为大型数据集标注像素级别的标签既昂贵又耗时。现有的域适应技术要么局限于小数据集，要么与监督学习相比性能不佳

2.原有的通过减少域偏移获得的性能受限于图像到图像翻译的质量。一旦翻译失败，后续步骤就无计可施

提出了一种新的双向学习框架，用于图像语义分割的域适应。该系统包含两个独立的模块：图像到图像的转换模型和分割适应模型，学习过程涉及两个方向（即“翻译到分割”和“分割到翻译”）。整个系统形成了闭环学习。两个模型将交替促进彼此，从而使域差距逐渐减小。

在正向（即“翻译到分割”）上，提出了一种自监督学习（SSL）方法来训练分割适应模型。在反向，提出了一种新的感知损失，它强制每个图像像素与其翻译版本之间的语义一致性，从而在翻译模型和分割适应模型之间建立桥梁

图像翻译和分割适应模型共同训练，在训练过程中，分割模型可以为图像翻译提供反馈，帮助改善翻译结果的质量和准确性。同时，经过改进的翻译结果又可以作为更好的输入数据，进一步提升分割模型的性能

这种方法不仅可以利用虚拟数据来扩充训练集，还可以通过减少域差异来提高分割模型的性能

具体解释：

双向学习：该方法通过源域和目标域之间的双向信息流动来减小域间差异。模型不仅从源域学习，还从目标域中学习，增强了对目标域数据的适应能力。

自监督学习：自监督学习是一种利用数据自身的信息来训练模型的方法。这种方法不需要额外的标签，而是从数据中提取有用的特征进行训练。通过引入自监督学习，模型能够进一步增强其泛化能力，提高在未见过的数据上的性能。

Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training

（基于类平衡自训练的无监督领域自适应语义分割）2018

源数据与目标数据之间存在很大差异，可能导致性能显著下降，并且不能通过进一步增加表示能力来轻易解决。

语义分割需要对每个像素进行密集的预测，这要求模型不仅要学习全局的域转换，还要保留精细的局部结构信息，通过最小化域对抗损失来减少源域和目标域特征分布之间的全局和类别差异的方法效果不理想

1. 提出了一种基于迭代自训练（ST）过程的新型UDA框架，可以在目标数据上交替生成伪标签并使用这些标签重新训练模型。
2. 在ST的基础上，还提出了一种新颖的类别平衡自训练（CBST）框架，生成具有平衡类别分布的伪标签，以避免在伪标签生成过程中大类别逐渐占据主导地位
3. 引入空间先验来优化生成的标签。通过结合源域中的类别频率信息和交通场景的常见结构特点，帮助模型更好地理解和适应目标域中的图像数据，调整模型的输出，使其更符合场景的常见结构。

1.该模型能够更好地处理迁移难度较大的类别，因为不同类别的迁移难度可能因数据分布、视觉外观或语义复杂性而异。CBST的引入有效地缓解了这个问题，提高了整体分割性能。

2.利用空间先验信息提高了模型的适应性，增强了其在不同数据集之间的泛化能力。

3.该方法与对抗性域适应方法兼容，可与现有的对抗性域适应技术相结合，以进一步提高模型的性能

Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision（2020）

原方法主要关注于减少源域和目标域之间的全局差异，忽略了目标域内部可能存在的分布变化。在实际应用中，目标域数据可能由于各种因素（如光照、噪声等）而呈现出不同的视觉外观和语义复杂性。这种域内差异可能导致模型在目标域内的某些子集上性能不佳。

提出了一种两步自监督域适应方法，旨在同时最小化域间差距和域内差距。1.域间适应。2.使用基于熵的排序函数将目标域划分为简单和困难两部分。3.从简单子域到困难子域采用自监督适应技术。

具体：1.使用源域数据训练一个初始的分割模型。2.利用该模型对目标域数据进行预测，并根据预测结果的不确定性或其他度量指标将目标域划分为不同的子集。3.针对每个子集应用自监督学习方法，通过最小化子集内部的分布差异来优化模型。

1.通过优化模型在简单图像上的性能，获得一个较好的初始模型。2.利用迭代自训练的方法，逐步将困难图像纳入训练过程（根据模型在简单图像上的预测结果来生成伪标签，将这些伪标签用于监督模型在困难图像上的训练，不断迭代该过程）。

优点：能够同时减少域间差距和域内差距，可以帮助模型更好地适应目标域内的各种变化条件，从而提高模型在目标域上的性能，进而提高整体性能。

不足：在现实中，源域和目标域之间的差距太大，使得难以在目标域中筛选出足够数量的简单部分进行域内监督

Source-Free Domain Adaptation for Semantic Segmentation

（语义分割的无源域适应）

2021

现有的无监督域适应方法需要完全访问源数据集，以便在模型适应过程中减少源域和目标域之间的差距。但源数据集通常是私有的，无法与训练好的源模型一起发布。

SFDA框架：在知识迁移和模型适应两个阶段之间交替工作，通过知识迁移，从固定的源模型中保留源域知识

知识迁移：利用一个生成器来估计源域（工作域）并合成与真实源数据分布相似的假样本，这些样本可用于将域知识从训练好的源模型转移到目标模型。引入了一种双注意力蒸馏（DAD）机制，帮助生成器合成具有有意义语义上下文的样本，这有利于高效的像素级别域知识转移

模型适应：提出了一种基于熵的域内块级自监督模块（IPSM），以在模型适应阶段利用正确分割的块作为自监督（通过结合像素级和块级损失来充分利用目标域的信息，并进一步提高分割性能）

解决了传统UDA方法需要源数据集的问题，这在保护数据隐私和实际应用中具有重要意义，此外，SFDA框架中的知识迁移和自监督学习机制，能够充分利用源模型和目标域数据的信息，进一步提高了域适应的效果。