企业官网建设流程全解析

1 论文信息

论文题目：PseudoProp: Robust Pseudo-Label Generation for Semi-Supervised Object Detection in Autonomous Driving Systems

论文作者：Shu Hu, Chun-Hao Liu, Jayanta Dutta, Ming-Ching Chang, Siwei Lyu, Naveen Ramakrishnan

发表单位：University at Buffalo, SUNY；Bosch Center for Artificial Intelligence；University at Albany, SUNY；Amazon

发表会议期刊：CVPRW 2022

代码链接：暂未找到作者公开的官方代码仓库

论文链接：https://openaccess.thecvf.com/content/CVPR2022W/WAD/html/Hu_PseudoProp_Robust_Pseudo-Label_Generation_for_Semi-Supervised_Object_Detection_in_Autonomous_CVPRW_2022_paper.html

2 论文主要贡献

本文针对半监督视频目标检测中，教师模型生成的伪标签存在漏检（False Negatives）和误检（False Positives）的问题，提出了 PseudoProp 框架。其核心思想是利用视频帧之间的运动连续性，为目标帧补充检测框，并通过感知相似度和加权框融合提高伪标签的可靠性。

论文主要贡献如下：

1. 提出双向伪标签传播（Bidirectional Pseudo-Label Propagation, BPLP），利用过去帧和未来帧的运动信息，将检测框传播到目标帧，弥补教师模型的漏检。

2. 提出感知相似度的加权框融合（Similarity-aware Weighted Boxes Fusion, SWBF），利用源帧与目标帧的视觉特征相似度修正传播框置信度，并通过加权框融合和置信度缩放减少冗余框及错误伪标签。误检

3. 将伪标签生成方法融入 Teacher-Student 半监督学习框架，通过伪标签训练、人工标注数据微调和教师模型更新，迭代提升视频目标检测性能。

3 论文创新点

PseudoProp 的核心思想是：视频帧之间存在时间连续性，相邻帧中的目标位置和外观具有一定关联。因此，即使教师模型在某一帧中漏检，也可以利用前后帧的检测结果和运动信息生成候选框。

注意： 每段视频只随机选取3帧生成伪标签再进行监督

创新点一：双向伪标签传播（BPLP）

传统伪标签方法通常独立处理每一帧，无法充分利用视频时序信息。BPLP 从目标帧前后的源帧出发，分别进行向前传播和向后传播，将多个来源的检测框映射到同一个目标帧，从而补充漏检目标。

创新点二：感知相似度的加权框融合（SWBF）

双向传播会产生多个候选框，其中既可能包含有效的补充检测，也可能引入定位偏差和错误检测。SWBF 首先比较源帧与目标帧对应图像区域的高层视觉特征，利用感知相似度修正传播框的置信度；随后按照类别和 IoU 对候选框进行聚类，使用置信度加权平均融合重复框，并根据聚类中的框数量进一步缩放置信度。

4 方法

4.1 整体框架

PseudoProp 由 Teacher-Student 半监督学习框架、运动预测与双向伪标签传播、感知相似度加权框融合三个部分组成。

首先，利用人工标注数据训练初始教师模型，并对无标签视频帧进行预测，获得初始伪标签。随后，使用 FlowNet2 估计光流，并结合 SDC-Net 预测逐像素运动信息，将过去帧和未来帧的检测框传播到目标帧。接着，通过 SWBF 修正传播框置信度、融合重复框并降低部分错误框的置信度，得到最终伪标签。学生模型使用伪标签数据进行训练，再在人工标注数据上微调，之后用更新后的学生模型替换教师模型，进入下一轮迭代。

图 2本文提出的 PseudoProp 模型整体示意图，该模型用于半监督目标检测场景下的鲁棒伪标签生成。
左侧：半监督学习的师生框架。虚线表示 “训练” 与 “替换” 操作仅在特定迭代轮次（第 0 轮迭代与第 T+1 轮迭代）执行。
右侧：本文提出的相似性感知加权框融合（SWBF）模块细节。

4.2 具体模块

（1）双向伪标签传播（BPLP）

BPLP 的目标是利用视频运动信息弥补教师模型的漏检。设X t X_tXt​表示第t tt帧图像，Y t Y_tYt​表示教师模型在该帧预测得到的边界框集合。每个框包含类别、位置和置信度。论文使用 FlowNet2 估计相邻帧光流，再利用 SDC-Net 根据连续帧和光流信息预测逐像素运动向量。

单步运动预测可表示为：

{ X ^ t + 1 = B ( M ( X t − τ : t + 1 , V t − τ + 1 : t + 1 ) , X t ) , Y ^ t + 1 = T ( M ( X t − τ : t + 1 , V t − τ + 1 : t + 1 ) , Y t ) . \begin{cases} \hat{X}_{t+1}=\mathcal{B}\big(\mathcal{M}(X_{t-\tau:t+1},V_{t-\tau+1:t+1}),X_t\big),\\ \hat{Y}_{t+1}=\mathcal{T}\big(\mathcal{M}(X_{t-\tau:t+1},V_{t-\tau+1:t+1}),Y_t\big). \end{cases}{X^t+1​=B(M(Xt−τ:t+1​,Vt−τ+1:t+1​),Xt​),Y^t+1​=T(M(Xt−τ:t+1​,Vt−τ+1:t+1​),Yt​).​

其中，M \mathcal{M}M表示运动预测网络，B \mathcal{B}B表示利用双线性采样生成预测图像的操作，T \mathcal{T}T表示根据预测运动将伪标签映射到目标帧的操作。对于像素位置( u , v ) (u,v)(u,v)，其映射位置为：

( u , v ) ↦ ( ⌊ u + d u ⌋ , ⌊ v + d v ⌋ ) . (u,v)\mapsto \left( \lfloor u+d_u\rfloor, \lfloor v+d_v\rfloor \right).(u,v)↦(⌊u+du​⌋,⌊v+dv​⌋).

其中，( d u , d v ) (d_u,d_v)(du​,dv​)为预测的像素运动向量。

当传播距离k > 1 k>1k>1时，原始运动预测只能完成单个时间步的映射，因此需要将传播路径上的多个局部运动映射组合起来，将源帧的检测框逐步映射到目标帧。论文定义传播偏移集合：

K = { − k , … , − 1 , 1 , … , k } . K=\{-k,\ldots,-1,1,\ldots,k\}.K={−k,…,−1,1,…,k}.

对于目标帧t + 1 t+1t+1，每个i ∈ K i\in Ki∈K对应一个源帧t + 1 − i t+1-it+1−i，分别进行前向或后向传播。最终，目标帧的候选伪标签集合为：

Y t + 1 = . Y t + 1 t e a c h e r ∪ ⋃ i ∈ K Y ^ t + 1 i . Y_{t+1} =. Y_{t+1}^{\mathrm{teacher}} \cup \bigcup_{i\in K}\hat{Y}_{t+1}^{i}.Yt+1​=.Yt+1teacher​∪i∈K⋃​Y^t+1i​.

其中，Y t + 1 t e a c h e r Y_{t+1}^{\mathrm{teacher}}Yt+1teacher​是目标帧自身的教师预测框，Y ^ t + 1 i \hat{Y}_{t+1}^{i}Y^t+1i​是从对应源帧传播过来的框。所有来源的候选框汇集到目标帧后，再交给 SWBF 统一处理。

问题（a）： 教师模型在源帧的检测框可能是正确的，但运动估计不准确，导致传播到目标帧后，框偏离真实目标，甚至落在背景上。
问题（b）： 教师模型本身就发生误检，例如把广告牌误认为卡车。即使这个错误检测在连续帧中都存在，传播后的框也可能与源帧具有很高的视觉相似度。

（2）感知相似度修正

运动传播可能使检测框发生偏移，甚至将错误框传播到目标帧。因此，论文通过比较源帧和目标帧对应图像区域的高层视觉特征，判断传播后的区域是否仍具有相似的视觉信息。

具体而言，首先根据源帧原始框和目标帧传播框裁剪对应的图像区域，然后使用预训练的 EfficientNet-B1 提取特征，并采用余弦相似度计算两个区域的特征相似程度。传播框的置信度根据相似度进行修正：

S ^ t + 1 i , z = . S t + 1 − i z ⋅ sim ⁡ ( C ( P ^ t + 1 i , z ) , C ( P t + 1 − i z ) ) . \hat{S}_{t+1}^{i,z} =. S_{t+1-i}^{z} \cdot \operatorname{sim} \left( C(\hat{P}_{t+1}^{i,z}), C(P_{t+1-i}^{z}) \right).S^t+1i,z​=.St+1−iz​⋅sim(C(P^t+1i,z​),C(Pt+1−iz​)).

其中，S t + 1 − i z S_{t+1-i}^{z}St+1−iz​是源帧第z zz个检测框的原始置信度，P t + 1 − i z P_{t+1-i}^{z}Pt+1−iz​是源帧框的位置，P ^ t + 1 i , z \hat{P}_{t+1}^{i,z}P^t+1i,z​是传播后的位置，C ( ⋅ ) C(\cdot)C(⋅)表示特征提取函数。论文将相似度归一化到[ 0 , 1 ] [0,1][0,1]，因此视觉特征相似度较低的传播框会被赋予较低置信度。该修正主要针对传播框，目标帧自身的教师检测框保留其原始置信度。

（3）加权框融合（WBF）

经过感知相似度修正后，目标帧仍然包含教师模型原始框和多个传播框。SWBF 首先按照类别拆分候选框，再在同一类别内部依据 IoU 进行聚类。论文实验采用的 IoU 阈值为0.5 0.50.5，同一聚类中的框被视为可能对应同一个目标。

设聚类r rr中共有B BB个框，第l ll个框的置信度和位置分别为C r l C_r^lCrl​和P r l P_r^lPrl​，则平均置信度为：

C r = 1 B ∑ l = 1 B C r l . C_r=\frac{1}{B}\sum_{l=1}^{B}C_r^l.Cr​=B1​l=1∑B​Crl​.

融合后的边界框位置为：

P r = ∑ l = 1 B C r l P r l ∑ l = 1 B C r l . P_r= \frac{\sum_{l=1}^{B}C_r^lP_r^l} {\sum_{l=1}^{B}C_r^l}.Pr​=∑l=1B​Crl​∑l=1B​Crl​Prl​​.

因此，置信度较高的框对最终定位结果具有更大的影响。WBF 会将每个聚类中的多个候选框融合为一个代表框，而没有匹配对象的框也可以形成独立聚类。

（4）候选框数量约束与最终伪标签

仅使用 WBF 仍然可能保留错误检测。例如，某个错误目标在目标帧中产生高置信度检测框，但没有得到其他时间位置的候选框支持。为此，论文进一步根据聚类中的框数量缩放平均置信度：

C r f i n a l = . C r ⋅ min ⁡ ( B , ∣ K ∣ + 1 ) ∣ K ∣ + 1 . C_r^{\mathrm{final}} =. C_r \cdot \frac{\min(B,|K|+1)}{|K|+1}.Crfinal​=.Cr​⋅∣K∣+1min(B,∣K∣+1)​.

其中，B BB为聚类中的候选框数量，∣ K ∣ |K|∣K∣为传播偏移数量，∣ K ∣ + 1 |K|+1∣K∣+1表示目标帧自身与所有传播来源对应的时间位置数量。当支持框数量不足时，融合后的置信度会降低；当框数量达到预期来源数量时，不再额外缩放。

最终，每个类别的各个聚类只保留融合后的代表框及其置信度，构成目标帧的最终伪标签集合。