企业官网建设流程全解析

AAAI 2026 M²-CoFS

< 流形视角下的统一融合-分割模型 >

Breaking task boundaries via shared manifold

MIF 与 MIS，本是上游与下游却因优化目标分歧，长期各练各的M²-CoFS 把两张权重流形拼成一张让两个任务，共用一套权重

0.0

核心信息

题目：Breaking Task Boundaries: A Unified Model for 3D Medical Image Fusion and Segmentation Guided by Manifold Perspective*

译名：突破任务边界：流形视角下的3D医学图像融合和分割模型*

会议：AAAI 2026（Oral）

作者：Zeyu Wang、Jiayu Wang、Haiyu Song*

单位：大连民族大学计算机科学与工程学院

代码：https://github.com/Wangjiayu0512/M2-CoFS

第一部分 MIF 和 MIS：互相依赖，但不能够一起工作

在临床影像分析里，3D医学图像融合(MIF)把多种模态的结构信息整合在一起，而3D医学图像分割(MIS)则在体素层面进行精确地描绘病变部位。它们自然就形成了上下游关系：融合给分割提供了更多的输入，而分割又可以告诉融合哪些地方应该被保留。

问题在于：两者优化的目标方向是不同的。MIF关注的是全局互补的信息，而MIS则关注局部边界以及细节上的构造。直接进行联合训练的时候，梯度互相冲突参数被反复拉伸。

RMR-Fusion 是一个有代表性的例子，即共享编码器、双任务头以及线性求和损失。但是冲突并没有得到真正的解决，性能上仍然存在明显的瓶颈。另外大多数MIF方法还只停留在二维切片上，没有考虑到三维体数据层间连续性的问题，这使得它们和三维分割方法之间的联系变得比较困难。

第二部分 主线就是把任务专属权重逼近到统一权重

M²-CoFS 不再追求一个从头到尾都用同一个损失函数来训练的联合损失，而是把“得到一份可以同时服务于两个任务的统一权重”这件事情分成三步来实现，并且逐步收敛。

Stage I 得到每个任务所对应的高权重；Stage II 用跨任务权重适配使得两个权重在权重空间里互相靠近；Stage III 用一个轻量级 MLP（WGN）在两个流形之间隐式地创建出一个共享流形，并从中抽取统一的权重。

推理的时候，输入一对多模态影像A、B，通过共享编码器Φ、特征融合模块F、以及融合头ψ和分割头φ得到融合图像和分割掩码。整条链路中F的权重不再只属于某个任务，而是由WGN产生的统一权重θ_U。

第三部分 第一阶段就是把两个任务都练好了

Stage I 地基。如果起点就不好，那么后面的“逼近”、“统一”就成了空中楼阁。

在该阶段，MIF和MIS各自独立训练得到任务特有的权重θ_F和θ_S。编码器Φ是3D CNN和Swin Transformer的组合前者提取局部特征，后者建立全局上下文模型，得到高质量的多尺度特征。融合头 ψ 通过堆叠 3D CNN 来提高融合的质量；分割头 φ 则借鉴了 Swin UNETR 的结构，主要负责边界和纹理细节的刻画。

STAGE I·优化目标

两个任务各自最小化自己的损失，得到两个任务专用的质量较高的权重。

L_F 包含 L1 重建项和梯度保持项；L_S 使用的是 Dice 损失。

第四部分

Stage II：跨任务权重适配

两套任务专属权重分布差别很大，会使得Stage III难以建立一个有效的共享流形。因此中间要进行一步“拉近距离”。

这一步骤的方法很简单：把对方任务的预训练权重作为初始化，在自己的任务上继续训练。MIF 使用 θ_S 作为 F_F 的初始化值进行后续训练得到 θ_(S→F)，MIS 使用 θ_F 作为 F_S 的初始化值进行后续训练得到 θ_(F→S)。互相借用之后，两条权重轨迹在权重空间里很接近。

STAGE II 互相初始化

两个互相用对方的权重作为起始点进行训练，使得两条轨迹朝向相反的方向前进。

但是跨任务适配也会产生一个老问题：灾难性遗忘。因此本文引入Synaptic Intelligence(SI)作为正则约束，在前一个任务中重要的权值在新的任务训练时会“少动一点”。

STAGE II·SI 重要性正则

高权重的任务被尽可能地保留下来，在适配的过程中不会丢失原有的任务知识。

第五部分

第三步指导网络学习、隐式构造共享流形

从权重空间转换为流形视角

即使Stage II使两个权重互相接近，但是它们仍然会对“先训练哪一个”很敏感：先MIF后MIS和先MIS后MIF，最后的结果是不一样的。这就是Stage III要解决的主要问题。

作者主要的操作就是把视角提升到流形上面：把MIF和MIS的权重空间看作两个高维流形，目标是构建它们的共同流形，并从中抽取一个任务顺序无关的一组统一权重θ_U。

在高维空间中显式建模这张共享流形几乎是不可能的，因此引入了一个轻量级的MLP——权重生成网络(WGN)，用两个接近的权重作为输入来隐式地生成θ_U。

STAGE III·WGN 隐含地产生出一个共同的权重

把两个接近的权重组合成一个任务顺序无关的一组统一权重。

WGN 的输出会被用作 F 的权重，并且参与到两个任务的前向中去。

使用流形距离来作为损失约束

主要的训练难点就是如何使这张隐式的共享流形依然保持住两个原始流形的几何结构？作者的回答是用流形距离来作为WGN的损失约束——把 θ_(F→S)、θ_(S→F) 和 θ_U 投影到同一个空间里，然后用 KNN 图和 Dijkstra 近似的计算 θ_U 到两个流形采样点的距离。

STAGE III 流形距离正则

用KNN图来近似流形的局部结构，用Dijkstra来近似流形上距离。

约束的是相对的距离关系，即只要相对关系相同，流形的几何结构就可以保持不变。

最后，Stage III 的总的目的是把两个任务损失和流形约束放在一起：

STAGE III 联合损失

WGN 和融合头、分割头一起被联合训练，在每一轮前向的时候都会抽取θ_U。

第六部分

实验如何读：融合、分割、消融三线

实验在 BraTS19 和 MRBrains MRI 数据集上进行。建议按照三条证据链来阅读：第一，3D医学图像融合的质量；第二，3D医学图像分割的精度；第三，消融和可视化是否可以实现“三阶段+流形约束”的设计。

融合：六个方面都比对方好

对比BSAFusion、C²RF、EMMA、FILM、GIFNet、RMR-Fusion六个SOTA，在Q_MI、Q_TE、Q_NICE、Q_G、MI、VIF_P六个指标上都取得了更好的结果。注意所有的2D方法都是用堆叠切片来得到3D的结果本文的方法直接把3D当成一个单位来处理，更加重视层与层之间的连续性。

分割：Dice 和 HD95 综合上占优

TransBTS、nnFormer、Swin UNETR、UNETR、3D UX-Net、RMR-Fusion 在 BraTS19 的 ET / WT / TC 和 MRBrainS 的 CSF / GM / WM 上的 Dice 和 HD95 综合上都优于其他方法。其中就包含了融合所带来多模态互补信息在帮分割的时候，反过来分割出边界和纹理关注融合的人也越来越多了。

消融：三个阶段都是必须的

消融的结果就直接和设计相关了：不使用MIF或者MIS单独训练会降低；去掉Stage II会使两个权重之间的差距变大，性能也变差；去掉Stage III（即去掉WGN和流形约束）之后下降最多去掉SI或者流形距离正则都会影响到最后的结果。三阶段并不是多余的，每一阶段都是对之前阶段瓶颈的验证。

第七部分 t-SNE、Loss 曲线以及骨干替换

t-SNE 的三张图把三个阶段串起来了：Stage I 中 MIF 和 MIS 的权重各自聚集成了两个明显的分组；Stage II 之后两个分组互相靠近；Stage III 时 WGN 输出位于两组之间共享的区域里，说明它学会了组“任务顺序无关”的一组共同权重。

Loss 曲线也表明了这一点：Stage III 的联合训练比单任务训练要好一些，早期收敛得比较快，最后的损失也较小隐式的共享流形把两种梯度信息合并到同一个权重空间里，并没有进行简单的取舍。

值得留意的一个实验是骨干替换：将默认分割骨干替换成UNETR、3DUX-Net、TransBTS、nnFormer，本文所提出的三阶段策略都可以有效地提高Dice和HD95。也就是说这套方法不依赖于某种特定的网络结构，而更像是一个通用的“联合优化范式”。

第八部分 把任务边界从特征层面推到参数层面

M²-CoFS 最值得学习的地方，并不是又一个共享编码器，也不是又一个多任务损失，而是把“任务协同”这件事情完全翻译到权重空间里去。它整个的逻辑都是很合理的：

首先让两个任务各自练习好（Stage I），然后把两个权重互相靠近（Stage II），最后用一个轻量级网络，在两个高维流形之间隐式地构造出一个共享流形，并从中采样得到统一的权重（Stage III）。

从更高的角度来考虑的话，它也暗示出一个可以重复使用的多任务范式：当两个任务的梯度自然地互相矛盾时，把它们当作两张流形来寻找一个几何上一致的共享空间要比在损失层面调节权重要好。对于融合-检测、融合-配准以及更为广泛的多任务联合优化都有一定的启示意义。

**把任务边界的推进从共享编码器变成统一权重，其实就是在协同的过程中把层次从特征层面上升到参数层面。**这篇 AAAI Oral 让人感到非常震撼的地方就在于此。

END

往期推荐