企业官网建设流程全解析

1. 为什么这篇论文值得反复读

Mask R-CNN 这篇论文，我在不同阶段读过好几遍。第一遍是刚接触目标检测，囫囵吞枣，觉得它无非是 Faster R-CNN 加了一条分支；第二遍是准备自己在数据集上复现，才意识到 RoIAlign 这个小改动背后，是对“坐标对齐”这件事的深刻理解；第三遍是做工程落地，发现论文里一笔带过的很多细节，其实决定了模型能不能稳定训练、能不能在资源受限的环境下跑起来。所以这次我把笔记录下来，以实例分割为主线，把为什么要加 mask 分支、RoIPool 到底哪里不够用、损失函数为什么那样设计、训练和推理有哪些坑，全部串起来讲清楚。

先说清楚这篇论文在解决什么问题。目标检测的输出是“框”，语义分割的输出是“把类别标签贴满每个像素”，而实例分割要的是更苛刻的东西：把每个物体当成独立个体，为它生成一个框，同时把属于它的像素全部标出来。难点在于多了“个体”这个维度。画面里三个穿同样衣服的人，语义分割可以统一标成“人”，实例分割必须分出人 A、人 B、人 C，甚至连互相遮挡、挨得很近的同类也要分得清清楚楚。这个任务过去一直很别扭，因为检测擅长区分个体，分割擅长描述边界，两者很难用一个框架诚实地融合。

Mask R-CNN 的答案简单到有点反直觉：在 Faster R-CNN 的检测头上，平行地再挂一个 mask 分支，一个分支管分类和框回归，一个分支管像素级掩码。为了让这个“多出来”的分支能学到靠谱的掩码，他们把 RoIPool 换成了 RoIAlign，解决了特征对齐问题。整篇论文几乎没有花哨的结构创新，靠的是对两件事的精准判断：任务该怎么拆，特征该怎么对齐。这种“看起来谁都能想到”的设计，恰恰是最难达成的。

这篇论文笔记适合几类读者：正在做目标检测和分割入门的人，想把二阶段检测器改造成更多功能的工程师，以及准备面试、关键词里挂着 Mask R-CNN 的同学。我的阅读建议是先把 Faster R-CNN 和 FPN 两篇基础扫一遍再回来读，效果会好不少。下面分五块讲：核心修改、结构设计、实验证据、复现经验，最后是我自己沉淀下来的一些思考。

2. 核心贡献一：RoIAlign 到底改了什么

2.1 先看 RoIPool 的两次取整

要理解 RoIAlign，得先回到 Faster R-CNN 里的 RoIPool。RPN 生成 proposal，是一堆在原图坐标下的浮点框，比如坐标可能是带小数的值。特征图经过骨干网络之后，空间分辨率通常是输入的 1/16、1/32。于是第一步要把原图坐标除以 stride，映射到特征图坐标。比如 stride 是 16，一个宽 100 像素的框，在特征图上应该是 6.25 个像素宽。RoIPool 二话不说，把 6.25 取整成 6。接着要把这个区域均匀切成 7x7 的网格做 max pooling，每个格子宽 6/7 约等于 0.857，又取整成 1。这就是著名的“两次量化”误差。

一次取整丢零点几个像素，看起来无关紧要，但对检测和分割的影响完全不同。检测只要框和真实标签的 IoU 过了 0.5 就算对，一个像素的偏差无关痛痒。而分割的 mask 是要逐像素对应边界的，尤其是小物体，边界可能就几个像素宽，取整误差直接让 mask 整体偏移，边缘和真实轮廓错上半格到一格。你完全可以从生活经验里找到类比：把一张照片放大后数像素，最近邻插值会出锯齿，取整采样的特征图，天然把坐标的连续性丢掉了。

2.2 RoIAlign 的采样方案

RoIAlign 的思路一句话总结：不做取整，保留浮点坐标，重新采样。具体做法是：把每个 RoI 在特征图坐标下分成 HxW 个 bin，保持坐标是浮点数；每个 bin 内部规则地取 4 个采样点，一般是 2x2 排列；对每个采样点用双线性插值，从它周围四个最近的整数网格点上加权求出该点的特征值；最后对 4 个采样点的值做 max 或 average，作为这个 bin 的输出。整个过程没有一步涉及取整，RoI 和特征图的关系始终是连续对齐的。论文里 mask 分支用的 RoIAlign 输出通常是 14x14，检测头用 7x7。

双线性插值听上去复杂，原理很朴素。假设你要取特征图上坐标为 (3.2, 4.7) 这个浮点位置的值，那就看它周围最靠近的四个整数网格点，按距离远近分配权重，把四个值加权平均。权重其实就是横纵距离的线性组合。实现起来也非常快，因为采样位置可以预先算好，最深层的一次性完成。所以 RoIAlign 增加的计算量很小，完全在可接受范围内。

2.3 为什么对齐对分割这么重要

这个问题的答案要从 mask 的表示说起。最终 mask 是 28x28 的小图，对应到原图上一个 bbox 区域，可能覆盖几十到上百个像素。中间的映射关系但凡有一格错位，mask 边缘就会整体错位。训练时 mask 损失是逐像素算的，错位积累起来的误差会让模型学不到“边界在哪里”，只会学到一团模糊的响应。RoIAlign 的作用，就是保证你在特征图上切下来的那一块，和原图上 proposal 框住的那一块，是完全对应的同一个区域。

更妙的是，RoIAlign 不是 Mask R-CNN 专用，它本身就修复了一个通用问题。论文里做了这样的实验：把 Faster R-CNN 的 RoIPool 直接换成 RoIAlign，检测 AP 也能涨 1.1 个点；放到 mask 分支上，涨得更多。这说明坐标量化误差在所有回归型任务里都存在，只是分割任务对它更敏感。读到这一点，我在笔记本上写了一句：“任何需要像素级对齐的预测，都要警惕特征图上的坐标失真。”

3. 网络结构、损失函数与训练细节拆解

3.1 Mask 分支是怎么长出来的

整个框架以 Faster R-CNN 为骨架，骨干网络用 ResNet-50/101 加 FPN 的多尺度特征。RPN 在 FPN 的多个层级上提 proposal，每个 proposal 根据自身大小选择对应层级的特征图，然后走进两条平行的头：一条是检测头，负责分类和 bbox 回归，RoIAlign 输出 7x7 后接全连接层；另一条就是新增的 mask 头。

mask 头的结构非常“分割味儿”：它不用全连接层，而是全卷积网络，因为掩码是空间结构，不能像分类一样拍扁成向量。具体是先用 RoIAlign 取出 14x14 的区域特征，连续过几个 3x3 卷积，输出 14x14x256；然后接一个 2x2、stride 2 的转置卷积，把分辨率放大到 28x28；最后再过一层卷积，输出 K 张 28x28 的响应图，K 是类别数。每个类别一张响应图，所以叫“类专用 mask”。这里的分辨率选择很有讲究：28x28 不高不低，既能存下大致的形状，又不至于让计算量爆炸。

一个容易忽略的点是，mask 头是对最终检测到的框再计算，还是对所有 proposal 都计算？论文的推理流程是，先用检测头得到类别分数和回归后的框，做 NMS 选出每张图置信度最高的 100 个框，这 100 个框才真正进入 mask 头。也就是说 mask 头不是“先分割再判断”，而是“先判断再分割”。这个顺序保证了算力都花在可信的候选上，也保证了 mask 结果和最终输出框是同一套。

3.2 损失函数设计：每个类一个 sigmoid，而不是一个 softmax

很多第一次读的人会被损失函数设计绕晕。分类头用 softmax 加交叉熵，这是标准做法。但 mask 头没有沿用 softmax，而是输出 K 张图，每一张的每个像素单独过 sigmoid，计算二值交叉熵，最后取平均。更奇特的是，训练时只对 ground-truth 类别对应的那张 K 通道图计算损失，其他 K-1 张完全不参与梯度。

为什么不用 softmax 做逐像素多分类？因为 mask 任务里，类别的“竞争”关系会帮倒忙。一张图上，汽车和人的 mask 区域可以同时存在；同一个实例在自己的 bbox 内，它的类别就是真实类别，让其他类别的响应图也参与 softmax，等于强制让那些类别的像素预测为负。这会让模型在边界处变得犹豫。独立 sigmoid 让每个像素只看自己“属于这一类”的概率，表达能力和训练稳定性都更好。论文里专门做了多类别 softmax 和类别独立 sigmoid 的对比，独立 sigmoid 明显赢。

还有一个细节是 mask 损失只对正样本 RoI 计算，也就是与 ground-truth 的 IoU 大于 0.5 的那些 RoI，而且用的是 28x28 输出上的平均二值交叉熵。分类和回归损失则是标准的多任务加权，总损失就是三者直接相加。这样每个分支各管一摊，各自有明确的监督信号，没有一个分支需要“猜”其他分支的意图。

3.3 训练与推理流程

训练配置在论文里写得很清楚，这些细节对复现至关重要。骨干网络在预训练基础上微调，RPN 的 anchor 沿用 FPN 的设置，RPN 输出的 proposal 经过 NMS，IoU 阈值 0.7，之后作为 RoI 输入。正样本 RoI 的判定阈值是 IoU 大于 0.5，负样本是 0 到 0.5 之间。优化器用带动量的 SGD，8 张卡同步训练，每卡 2 张图，初始学习率 0.02，到 12 万步和 16 万步时各把学习率降 10 倍，总训练 16 万步。输入图像短边缩放到 800 像素。这套配置后来成了很多检测分割模型复现的“标准模板”。

推理流程可以简单地总结成一条链：输入图 -> 骨干特征 -> RPN proposal -> 检测头给类别分数和框 -> NMS 保留 100 个框 -> mask 头对每个框生成 K 张 28x28 响应 -> 取出该类别的响应图 -> 放大到框的尺寸 -> 阈值 0.5 二值化得到 mask。整个过程符合直觉：先在框层面把事情做对，再在像素层面做精修。

4. 实验结果与消融分析：论文的证据链

4.1 在 COCO 上拉开差距

论文的主要实验放在 COCO 数据集上，80 类目标，训练集大约 11.8 万张图。这里要注意，COCO 的实例分割评价不是用框 IoU，而是用 mask IoU，也就是逐像素比对预测掩码和真实掩码。指标叫 mask AP，等价于把分割结果当成“更精细的检测框”来算平均精度。这个评价标准更严格，任何边缘错位都会直接体现在分数里。

在 COCO test-dev 上，Mask R-CNN 用 ResNet-101-FPN 单模型就拿到了 37.1 的 mask AP。同时期的代表方法里，MNC 大概是 24.6，FCIS 走全卷积路线，在 33.6 左右。Mask R-CNN 直接跨过 35 的门槛，属于实打实的代差。论文还报告了大致的推理速度：单卡 5 fps，比同期的精细分割方法快了不止一个量级。速度与精度同时领先，这在当时非常少见。后续加上多尺度测试、更长训练、更大骨干网络，分数还能再上一个台阶，接近 39.8。这些数字今天看不算高，但放在 2017 年，是压倒性的。

4.2 消融实验告诉我们什么

一篇好论文的价值很大程度在消融实验。Mask R-CNN 的消融设计很直接：把 RoIAlign 换回 RoIPool，看掉多少分；把类专用 mask 换成类无关的单一 mask，看掉多少分；把 sigmoid 换成 softmax，再看掉多少分。结果里，RoIAlign 带来的提升最醒目，检测 AP 和 mask AP 都明显上涨。这直接验证了作者的核心判断：对齐，而不是更复杂的模块，才是性能瓶颈。

类专用 mask 和类无关 mask 的对比也很有意思。类无关 mask 就是只输出一张 mask，不管对象是人是车，mask 分支学的是“通用形状”。实测类专用比类无关要高一些，道理也容易理解：人和车的形状先验差异太大，共享一套参数反而互相拖累。这给后来做分割头的人一个提醒：不要轻易取消类别维度的监督，除非你的目标类别形态高度一致。

骨干网络和输入尺度的消融同样值得读。ResNet-50 换 ResNet-101 涨分，换成更强骨干再涨；输入短边从 800 提到更大也涨。这说明在框架确定后，容量和输入分辨率仍然是提升上限的主要因素。读消融实验时可以养成一个习惯：先找哪一项改动影响最大，再找哪一项影响最小，这样就能看出这个方法真正的命脉在哪里。对 Mask R-CNN 来说，命脉就是 RoIAlign。

4.3 一个框架做三件事：实例分割、检测、关键点

论文最后还做了一件很漂亮的事：把同一个框架顺手用在人体关键点检测上，结果同样拿到当时的最好成绩。任务从“预测 mask”换成“预测 17 个关键点的热图”，本质上都是输出若干张空间响应图，差别只在监督信号和输出分支。于是框架变成了一个“预测空间结构”的通用工具。

这件事的意义不只是多刷一个榜，而是证明了“并行分支加对齐采样”是个可复用的范式。检测头预测框层面的信息，mask 头或关键点头预测像素层面的信息，两种任务互不干扰，共享骨干网络特征。后来很多多任务模型，检测加分割、检测加姿态，都沿用了这个思路。读到这里，值得停留三秒钟：创新不一定是发明新算子，把已有的好设计重新组合并补上关键短板，同样能带来巨大价值。

5. 复现和工程落地中踩过的坑

5.1 数据预处理：polygon 转 mask 的细节

首先是最容易被忽略的一环：COCO 标注给的是多边形 polygon，要先把多边形渲染成 0/1 的 mask，再用 mask 反算 bbox 作为训练标签。注意，COCO 数据里 annotation 自带的 bbox 并不一定紧贴 polygon 边界，直接用它的 bbox 会带入误差。我自己踩过坑，把 annotation bbox 拿来当标签，训练出的 mask 边缘偏松。正确做法是用 polygon 渲染出的 mask 反算 bbox，保证框和 mask 严格对齐。

另一个坑是越界和空 mask。有些 polygon 经过缩放之后，渲染出来可能只有一两个像素，甚至落在图像边界之外。这种样本要直接丢弃，不要硬留着，否则 RoI 采样出来全是背景，mask 损失梯度异常。我的习惯是渲染前先对 polygon 坐标做裁剪，再用面积过滤掉过小的实例。

5.2 显存、分辨率与 mask 质量

mask 头的基础分辨率是 14x14，输出 28x28。当时这套设计在主流 GPU 上很均衡，但放到今天做落地，28x28 的 mask 放大到很长尺寸的物体上，边界就是锯齿状。如果对边缘质量要求高，常见的补救办法是提升 RoIAlign 输出分辨率，或是在 mask 头上再接细分模块，这类升级方向在后续很多论文里都能看到。代价是显存明显上涨，因为每个 RoI 都要走一遍更大的特征图。工程上建议批次减半，开启混合精度，再配合输入图统一缩放，通常能压住显存。

小物体是另一个现实难题。bbox 很小的目标，RoIAlign 在 14x14 网格里采样时，很多 bin 落在物体外面，mask 几乎退化成噪声。复现时我加过多尺度训练和更多小物体增强，但老实说提升有限。如果你的业务以密集小目标为主，Mask R-CNN 的这套头设计不一定是最优选，需要认真评估。

5.3 推理时 mask 与 NMS 的配合

一个很常见的错误是：先对每个 proposal 都生成 mask，再做 NMS 合并。Mask R-CNN 的设计是先做框的 NMS，筛选出 100 个最终框，再为这 100 个框生成 mask。顺序不能反。先出 mask 再合并，既要消耗大量计算，又会在 NMS 把相近的检测框合并时，面临到底保留哪个 mask 的尴尬。按论文的推理流程写，逻辑清晰，性能也稳。

另外有一个实践技巧：mask 是在 bbox 范围内预测的，如果检测框回归得偏紧，物体的边缘会被裁掉一点，mask 也跟着缺边。很多工程实现会在推理时把最终框外扩 5% 到 10%，给 mask 分支一点余量，再在最后按原框裁剪结果。这一招我没在论文里看到明确的字眼，但实践中几乎都有用。还有一个阈值的细节：28x28 放大到原尺寸时用的是双线性插值，插值后的概率图边界偏模糊，直接卡 0.5 会让边缘偏粗或偏细。可以根据业务对召回和精度的偏好微调这个阈值，比如 0.45 或 0.55。

5.4 训练稳定性的几个小问题

第一，mask 分支损失用的是平均二值交叉熵，量级天然比分类和回归损失小，训练时三个损失直接相加，如果骨干网络初始化不好，mask 分支容易被带偏。我的经验是先用检测损失训练若干轮，再把 mask 分支的监督一起打开。如果从头一起训练，观察到 mask 损失曲线比分类曲线收敛慢，就要警惕。

第二，BatchNorm 在 mask 头里要小心。论文的配置里每张卡只有 2 张图，batch 很小，BN 的均值和方差漂移得厉害。常见做法是骨干网络里的 BN 冻结，沿用预训练统计量；mask 头里的 BN 要么冻结，要么用同步 BN。我自己在复现时吃过亏，不冻结 BN 的情况下训练损失下降挺快，但验证集 AP 明显不如冻结版本。

第三，空标签样本的处理。如果一张图只有属于某个小类的目标，而你又因为显存限制把图像裁成 patch 训练，很可能出现一个 batch 里完全没有正样本 RoI，mask 损失变成 0，梯度噪声变大。这时候可以适当调低正样本 IoU 阈值，或者人为保证每个 batch 都含有前景目标。这些小问题不会出现在论文里，但会影响复现结果。

6. 从这篇论文能带走的思维方式

6.1 不加耦合：用并行分支拆任务

Mask R-CNN 最值得学的不是某个模块，而是拆任务的方式。分类、框回归、mask 预测，三个任务有各自的输出形态和损失函数，作者没有强行把它们揉成一个复杂的联合预测，而是设计成三个平行分支，共享主干特征，各自精准监督。这种浅耦合的设计，让每个分支都能独立优化，也方便后续替换其中一个分支，比如把 mask 头换成关键点头。工程上做多任务系统，这个思路几乎可以直接照搬。

6.2 对齐是很多视觉任务的隐性前提

RoIAlign 给我的最大启发是：视觉任务里，坐标对齐的精度决定了预测精度的上限。检测对对齐不敏感，是因为评价指标宽容；分割和关键点对对齐极度敏感，是因为它们要描述精确的空间位置。做完 Mask R-CNN 的笔记之后，我再看其他任务，比如图像配准、文字检测、视频目标分割，都会先问一句：这里面的特征坐标有没有失真？这个提问方式比背十个模块更值钱。

6.3 延伸阅读与个人建议

如果要顺藤摸瓜往下读，我建议几篇：Cascade Mask R-CNN 讲如何用级联结构进一步提升 mask 质量，PointRend 讲如何在 mask 边缘做点级细分，再往下还有 SOLO 这类无框实例分割，它们都在 Mask R-CNN 铺好的道路上做了大胆的修正。读完再回头看这篇，才会理解两阶段加对齐采样这套范式为什么生命力这么强。

最后分享一个我自己的小习惯。读论文笔记时，我不只记录论文做了什么，还会记录“如果是我，事先会怎么设计”，然后在复现时验证自己和作者的决策差距。Mask R-CNN 这篇，我在“要不要加 RoIAlign”这个问题上最开始是犹豫的，总觉得取整误差无所谓。复现之后才发现，正是这一步决定了分割效果的量级。这份对比记录，比论文本身更能帮我把知识变成直觉。希望这份笔记也能帮你少走一点弯路。