企业官网建设流程全解析

论文题目：Masked Autoencoders for Point Cloud Self-supervised Learning（用于点云自监督学习的掩码自编码器）
会议：ECCV 2022
开源代码：https://github.com/Pang-Yatian/Point-MAE

摘要：作为一种很有前景的自监督学习方案，掩码自编码显著推动了自然语言处理与计算机视觉的发展。受此启发，本文提出一种简洁的点云自监督掩码自编码方案，解决点云自身特性带来的挑战，包括位置信息泄露与信息密度分布不均。具体而言，我们将输入点云划分为不规则点块，并以较高比例随机遮掩。随后，采用基于标准 Transformer 的自编码器，结合非对称设计与掩码 Token 移位操作，从未遮掩的点块学习高层潜在特征，以重建被遮掩的点块。大量实验表明，该方法预训练效率较高，并能够很好地泛化到多种下游任务。预训练模型在 ScanObjectNN 和 ModelNet40 上分别取得 85.18% 和 94.04% 的准确率，优于其他自监督学习方法。我们证明，完全采用标准 Transformer 构建的简单架构，能够超越有监督学习中专门设计的 Transformer 模型。该方法还将小样本分类任务中的先进准确率提高了 1.5%～2.3%。此外，本研究启发了将语言和图像领域的统一架构应用于点云的可行性。

一、研究背景与核心问题

图像 MAE 的思路很直接：随机遮住大部分图像 Patch，只让 Encoder 观察剩余部分，再通过 Decoder 重建被遮挡内容。模型必须利用上下文推断缺失区域。那么，把图像 Patch 换成三维点云的局部点块，这套方法能直接成立吗？

论文 Figure 1：语言、图像与点云中的掩码自编码思想对比。

Figure 1 表明三种模态都能“观察部分、预测缺失”，但点云是无序三维坐标集合，迁移 MAE 仍面临三个问题。

首先是点块构建与统一架构。图像可以直接切成矩形 Patch，点云却需要先进行空间采样和邻域分组；作者希望模态适配之后的主干仍采用标准 Transformer。

其次是位置信息过早泄露。点云要重建三维坐标，若 Mask Token 在 Encoder 中过早携带缺失块位置，模型可能依赖位置提示走捷径，削弱几何特征学习。

最后是信息密度不均。平面、尖角和边缘的重建难度不同，掩码策略不能照搬语言建模。

Point-BERT 已经探索了点云掩码预训练，但需要额外训练基于 DGCNN 的 dVAE 来提供离散重建目标，并依赖对比学习等设计。Point-MAE 想回答的是：能否直接重建坐标，让更简单的标准 Transformer 学到更好的点云表征？

二、整体框架：只编码可见点块

论文 Figure 3：Point-MAE 整体框架，左侧是点块构建与嵌入，右侧是非对称 Encoder–Decoder 预训练。

从 Figure 3 看，Point-MAE 可以概括为如下流程：

输入点云 → FPS/KNN 构建局部点块 → 随机掩码 → PointNet 嵌入可见点块 → Transformer Encoder → 加入 Mask Token → 轻量 Transformer Decoder → 预测被遮挡点块坐标。

关键设计是调整 Mask Token 的出现位置。Encoder仅接收可见点块 Token，不处理被遮挡位置的 Mask Token；Decoder 才把已编码特征与 Mask Token 拼接起来，并利用位置信息重建缺失点块。

非对称结构让 Encoder 学几何表征、Decoder 负责预训练重建；下游任务沿用 Encoder，不需要重建 Decoder。与“整个自编码器都只含 Transformer”不同，Point-MAE 的 Transformer 主干是标准模块，前端仍采用轻量 PointNet 做点块嵌入。

三、点块构建与高比例随机掩码

3.1 将无序点云变成 Token

给定包含 p 个三维点的输入，作者先使用最远点采样（FPS）选出 n 个中心，再用 K 近邻（KNN）为每个中心找 k 个邻域点：

其中，是中心坐标，是一组不规则的点块。不同点块允许重叠；每个点块内部以中心点为原点进行坐标归一化，有助于模型收敛。

可见点块经轻量 PointNet（MLP 与 Max Pooling）编码为，其中 m 为掩码率、C 为特征维度。作者避免直接展平坐标，因为这不满足点顺序的置换不变性。点块中心的绝对位置则通过可学习的位置编码补充；Encoder 和 Decoder 各自使用独立的位置编码。

3.2 为什么采用 60%～80% 的随机掩码？

作者在点块层面随机遮挡，而不是在每个可能重叠的点块内部任意删点。被掩码的点块作为重建监督信号，可见点块用于特征学习。对于遮挡的部分，只生成共享参数的可学习 Mask Token，不向 Encoder 提供对应点块的几何内容。

论文 Figure 2：ShapeNet 验证集上，60% 掩码率的输入、遮挡点云与重建结果。

Figure 2 中，简单平面往往更容易恢复，而车轮、尖角等几何细节容易出现重建误差。这表明点云的信息并非均匀分布。尽管如此，实验发现60%～80% 的高比例随机掩码整体效果较好，说明点云与图像一样含有可供上下文推断的冗余信息。

但并非遮得越多越好：掩码率过低使任务太简单，过高则缺少几何上下文。

四、非对称自编码器与坐标重建

4.1 Mask Token 后移为什么重要？

Point-MAE 将 Mask Token 从 Encoder 输入端移动到 Decoder 输入端。核心关系可写为：

是可见点块经 Encoder 得到的特征，为遮挡位置的 Mask Token，是 Decoder 输出的遮挡点块特征。Decoder 通过位置编码获知待重建点块的位置。

这种设计有两个作用。一是节省计算：若掩码率为 60%，Encoder 只处理约 40% 的点块 Token；自注意力复杂度随长度平方增长，因此能降低预训练开销。二是避免 Encoder 过早利用遮挡区域的位置提示：它必须先从真实可见点块中提取几何信息，才能交由 Decoder 完成补全。这里避免的是“过早”泄露，不是说重建过程中绝不使用位置信息。

4.2 用 Chamfer Distance 重建真实坐标

Decoder 比 Encoder 更轻量。它仅将与被遮挡位置对应的输出交给一层全连接预测头，映射成长度为 3k 的向量，再恢复为 k 个三维点。因为点集合没有固定排列顺序，作者采用平方Chamfer Distance 衡量每个预测点块与真实点块的几何差异：

其中、分别表示一个被遮挡点块的预测点集合与真实点集合。两项分别约束预测点贴近真实点、真实点附近不被遗漏。这是一种直接在坐标空间重建的方案，不需要像 Point-BERT 那样预先训练额外的离散 Tokenizer。

需要区分的是：重建损失越低，并不必然意味着下游表征越好。如果 Encoder 获得过强的位置提示，重建更容易，下游特征却未必更好。

五、实验结果与消融分析

5.1 预训练设置与重建可视化

作者在ShapeNet训练集上进行不使用人工类别标签的自监督预训练，再把学到的特征迁移到 ScanObjectNN、ModelNet40 和 ShapeNetPart。评测包括分类、Few-shot、部件分割与关键机制消融。

论文 Figure 4：以 60% 掩码率预训练的模型，在不同测试掩码率下的点云重建结果。

Figure 4 显示，用 60% 掩码率预训练的模型仍能处理其他测试掩码率。论文还报告，与 Point-BERT 相比，Point-MAE 的预训练速度提高约 1.7 倍。这里比较的是预训练效率，而非下游推理速度。

5.2 真实扫描物体分类：ScanObjectNN

论文 Table 1：ScanObjectNN 三种设置下的分类准确率，PB-T50-RS 为最具挑战性的设置。

Point-MAE 在 OBJ-BG、OBJ-ONLY、PB-T50-RS 上分别取得90.02%、88.29%、85.18%。最难的 PB-T50-RS 设置中，Point-BERT 为 83.07%，Point-MAE 提高2.11 个百分点。模型在干净的 ShapeNet 物体上预训练，却能迁移到包含背景和扫描干扰的真实物体，体现跨数据集泛化能力。

5.3 干净物体分类：ModelNet40

论文 Table 2：ModelNet40 分类结果，比较自监督方法与有监督方法，以及标准和改进型 Transformer。

在表中统一的1024 点输入设置下，Point-MAE 准确率为93.8%，优于 Point-BERT 的 93.2%，也高于从头训练的标准 Transformer 的 91.4%。这说明标准 Transformer 配合自监督预训练，也能超过专门设计的有监督点云 Transformer。

要注意论文摘要中的94.04%：那是将输入提高到8192 个点时得到的额外结果，不能与 Table 2 的 1024 点设置混为一谈。

5.4 Few-shot 分类与部件分割

论文 Table 3（PDF 第 12 页）：ModelNet40 在四种 n-way、m-shot 设置下的平均准确率与标准差。

Few-shot 实验每种设置独立运行 10 次。Point-MAE 在5-way 10-shot下达到96.3% ± 2.5%，相较 Point-BERT 的 94.6% ± 3.1% 更高；在10-way 20-shot下达到95.0% ± 3.0%，Point-BERT 为 92.7% ± 5.1%。四种设置均取得更好的平均准确率，提升为 1.5～2.3 个百分点，同时标准差更小。说明预训练特征在标注较少时也具有良好的可迁移性。

论文 Table 4：ShapeNetPart 部件分割的实例平均 IoU 与逐类别 IoU。

在 ShapeNetPart 上，Point-MAE 的实例平均 mIoU 达到86.1%，高于标准 Transformer 基线的 85.1% 和 Point-BERT 的 85.6%。它使用相对简单的分割头，且测试时不使用 Voting 或数据增强；但从逐类别结果看，Point-MAE 不是所有类别都领先。该实验更有价值的结论是：预训练学到的表征不仅能做全局分类，也能服务于局部几何部件理解。

5.5 掩码策略消融：随机优于大块遮挡吗？

论文 Table 5：Block Masking 与 Random Masking 在不同掩码率下的重建损失和 ModelNet40 微调准确率。

在不使用 Voting的消融设置中，60% 随机掩码取得93.19%的最佳微调准确率；70%、80% 随机掩码分别为93.11%、93.03%。相比之下，60% Block Masking 为92.67%，90% 随机掩码下降至 92.63%。因此论文支持的是“较高比例的随机掩码更合适”，而不是单纯增加遮挡比例。

论文 Figure 5：相同点云在不同掩码策略下的输入与重建对比。

Figure 5 从视觉层面补充了 Table 5：连续遮住一个空间区域与随机分散遮住点块，会带来不同的几何补全难度。作者最终选择 60% 的随机掩码作为主要预训练方案。

5.6 Mask Token 移位消融：更低重建损失反而更差

这是全文最值得注意的一组消融。作者设置 Mask Token 从 Encoder 输入的对照，使两方案的下游模型结构相同。在相同的 60% 随机掩码下，这个对照方案虽然得到更低的预训练重建损失，ModelNet40 微调准确率却只有92.14%，低于 Point-MAE 的93.19%。

这说明 Encoder 早早看到 Mask Token 及其位置编码，可能利用空间位置提示完成较简单的坐标补全，而没有充分提取可见区域中的高层几何特征。Point-MAE 的 Mask Token 后移不只是节约算力，更是在控制预训练任务的难度与信息路径。因此评价自监督预训练不能只看重建误差，还要看下游迁移。

六、总结与思考

Point-MAE 的核心并不是发明新的注意力机制，而是针对点云数据做尽可能少、但确实必要的适配：用 FPS/KNN 生成点块、用 PointNet 完成置换不变的局部嵌入、用高比例随机掩码建立重建任务，再把 Mask Token 延迟到轻量 Decoder，直接通过 Chamfer Distance 监督三维坐标恢复。

Point-MAE 无需预训练额外 dVAE，直接重建点坐标，在分类、Few-shot、分割上取得有竞争力的结果。

从方法设定上看，也有两个值得保留的边界。第一，Figure 2 已经显示尖角、车轮等高信息密度区域仍然难以重建，好的分类特征并不等于精确恢复每个复杂局部结构。第二，实验主要验证物体级数据集与部件分割，不能直接推出其对大规模复杂场景中所有点云任务同样有效。

一句话总结：Point-MAE 通过“只编码可见点块、延迟引入 Mask Token、重建缺失坐标”，把图像 MAE 的自监督预训练思想有效迁移到三维点云；真正重要的设计是避免位置提示让预训练任务过早变得简单。