企业官网建设流程全解析

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用！发论文/搞科研/涨薪，强烈推荐！

论文标题：MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

论文链接：

https://ieeexplore.ieee.org/abstract/document/11498451

开源代码：

https://github.com/HUST-SLOW/MuSc-V2

行业痛点——零样本检测的“阿喀琉斯之踵”

在工业智造飞速发展的今天，生产线上对产品缺陷的精准识别，已成为质量管控的核心环节。其中，“零样本缺陷检测” 因无需人工搜集和标注样本，能极大提升产线换型与迭代的效率，成为最具潜力的技术方向之一。然而，现有技术仍面临两大严峻挑战：

1.模态之困：现有方法大多只聚焦于2D图像，但受光照、视角遮挡、相机分辨率等2D成像问题所限，许多缺陷在二维视觉中难以显现，必须依靠3D结构信息才能准确判断。当前对3D零样本缺陷检测的探索却寥寥无几。

2.效率之痛：现有方案严重依赖庞大的预训练视觉语言模型，导致检测速度受限于模型的推理效率，难以在高节拍、实时性要求极高的产线上真正落地。

破局之道——让数据自己“说话”的互打分范式

针对以上技术瓶颈，来自华中科技大学的研究团队创新性地提出了MuSc-V2，该方法在其前作MuSc的基础上实现重要突破，其核心思想在于不再让模型“学习”什么是缺陷，而是让所有无标注的样本互相“审视”、彼此“打分”。通过深入挖掘无标签测试样本集中存在的丰富隐式正常信息，利用多模态、逐区域的相互打分机制，该方法能够精准捕捉那些在表观、形状、位置上均具有随机性的各类缺陷模式。MuSc-V2通过一个优雅而强大的四阶段框架，同时支持2D图像、3D点云以及2D+3D多模态输入，可兼容任意预训练特征提取网络，直击上述行业痛点。

核心创新——四阶段技术革新实现缺陷自主检测

MuSc-V2无需任何训练，即可实现高精度工业缺陷的自主分割与分类，其技术框架主要包括以下四个环环相扣的阶段：

第一阶段：迭代点云分组

针对3D点云数据噪声大、表面不连续的难题，MuSc-V2摒弃了传统的K近邻分组策略，提出了全新的迭代点云分组模块。该模块根据曲率大小对潜在的不连续点云区域进行重新分组，渐进式地将空间距离相近的点进行合并，以较小的步伐逐步形成完整点云组，公式如下：

由此得到更平滑、更连贯的3D表面块，为后续提取更准确的3D区域特征打下坚实基础。

第二阶段：多聚合度相似邻域聚合

缺陷尺寸不一，为了同时建模不同尺度的缺陷，MuSc-V2引入了多聚合度相似邻域聚合模块，它不仅关注每个区域的最近邻，还聚合了更远范围的邻域信息，分别将2D纹理和3D形状多尺度线索融合进各自模态的特征中。同时提出了相似度加权池化操作，避免传统池化将小缺陷的特征稀释，采用如下公式计算所有待聚合特征与其对应的中心特征之间的相似度矩阵：

其中的exp操作放大高相似度邻域的重要性。使用该相似度矩阵来对邻域特征进行加权平均，从而生成判别力极强的区域级特征，让细微缺陷也无处遁形，聚合公式如下：

第三阶段：多模态互打分

这是整个框架的核心部分，在每种模态内部，每个图像区域或点云区域都会与数据集中剩余所有其他区域计算距离，将其作为打分得到的异常分数。正常区域由于能找到许多相似的区域，会计算出较近的距离（即低异常分数）。缺陷区域由于特征独特，找不到相似的区域，会得到较远的距离（即高异常分数）。

在多模态（2D+3D）设置下，一个缺陷可能在2D纹理上不明显，但在3D形状上具有明显的凸起或凹陷。在该方法中提出跨模态异常增强模块，对两种模态获得的评分进行自适应智能融合，相互补全，确保任何维度的缺陷都不会被遗漏。

第四阶段：样本级受限邻域重打分

初步的区域级相互打分可能会受到噪声干扰，造成样本级的过检出现，为此MuSc-V2增加了样本级受限邻域重打分模块对分数进行重新校准。其核心逻辑在于如果一个区域与那些被广泛认为是“正常代表”的区域非常相似，那么它的异常分数就应该被进一步降低。基于此想法，借助于不同样本之间的相似度矩阵，采用流形学习技术来优化原始的样本级分类异常分数，计算公式如下：

其中为二值窗口掩膜矩阵，用于限制流形中相互传播优化的样本数量，对相似度矩阵的每行进行归一化操作，。这个过程有效抑制了因正常模式合理波动而产生的假阳性，正常与异常样本的分数具有更大区分度。

性能炸裂——全面超越基线，媲美少样本学习

研究团队在 MVTec 3D-AD 和 Eyecandies 两大权威多模态工业缺陷检测数据集上进行了全面验证，结果令人振奋。在 MVTec 3D-AD 数据集上，MuSc-V2将异常分割的平均AP提升了 23.7%，在 Eyecandies 上，性能同样提升了19.3%。MuSc-V2 作为零样本方法，其性能甚至超越了大多数需要利用少量正常样本进行参考的少样本方法，获得了更为精准的缺陷分割结果。

除此之外，研究团队还在MVTec AD、VisA、BTAD、MPDD等多个仅2D模态的工业数据集上进行了对比，与现有聚焦2D模态的零样本缺陷检测方法相比也取得了国际领先的结果。

本文系学术转载，如有侵权，请联系CVer小助手删文

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载566页课件PPT！大家赶紧学起来！
CVPR 2026 所有论文和代码下载
在CVer公众号后台回复：CVPR2026，即可下载CVPR 2026 所有论文和代码！

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群 CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！ ▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号 整理不易，请点赞和在看