前视声呐(Forward-Looking Sonar)是水下环境感知的重要传感手段之一。相比光学成像,声呐在低照度、浑浊水体以及远距离观测等复杂条件下具有更强的环境适应能力,因此被广泛应用于水下机器人、目标探测、水下搜救和海洋作业等场景。
然而,相比自然图像领域,公开的前视声呐语义分割数据集仍然十分有限。真实声呐数据采集需要专业设备和水下实验环境,而语义分割又依赖逐像素人工标注,进一步增加了数据构建成本。
针对这一问题,大连理工大学软件学院研究团队构建并公开了FSSG(Forward-Looking Sonar Image Semantic Segmentation)数据集。该数据集随相关工作发表于CVPR 2026 Findings,面向前视声呐图像语义分割、水下智能感知以及少标注学习等研究方向。
一、FSSG 数据集概览
FSSG 共包含3,761 张前视声呐图像及对应的像素级语义分割标注,包含背景在内共设置11 个语义类别:
- Background
- Block
- Circle Cage
- Steel Frame
- Concrete Column
- Steel Plate
- Pot
- Square Cage
- Tire
- Underwater Robot
- Diver
这些类别覆盖了多种具有代表性的水下人工目标,同时加入了 **Underwater Robot(水下机器人)**和 **Diver(潜水员)**等与实际水下作业密切相关的目标类型。
图 1. FSSG 数据集的采集过程、声呐与可见光成像示例以及类别分布。
二、真实水下环境中的前视声呐数据采集
FSSG 数据采集于渤海湾真实水域环境,实验采用搭载Oculus M750d 多波束前视声呐的水下机器人进行数据获取。
为了增加数据的多样性,不同水下目标被布置在约3~20 米水深范围内,并从多个角度和距离进行采集。声呐与目标之间的观测距离约为2~15 米,采集过程中使用750 kHz 和 1.2 MHz两种工作频率。
与实验室环境或合成数据相比,这种真实水域采集方式能够保留前视声呐图像中典型的成像特征,例如声学阴影、能量衰减、低纹理以及不同距离下的目标形态变化,为声呐视觉算法提供更加贴近实际应用的数据。
三、像素级标注与真实的长尾类别分布
FSSG 为每张图像提供对应的像素级语义分割 Mask,因此可以直接用于语义分割模型的训练、验证和测试。
与此同时,数据集并没有人为将不同目标类别调整为完全均衡的分布,而是保留了真实采集过程中形成的类别差异。
其中,Steel Plate是样本数量最多的类别,共有1,229 个样本,占约 31%;而Diver是样本最少的目标类别,仅有80 个样本,占约 2%。
这种明显的类别不均衡使 FSSG 同时具有一定的长尾分布特征,因此除了常规语义分割外,也能够用于研究少数类别识别、长尾分割以及低资源条件下的水下目标感知。
四、FSSG 上的语义分割具有哪些挑战?
前视声呐图像与普通 RGB 图像存在显著差异。
声呐图像通常缺少丰富的颜色和纹理信息,目标主要通过回波强度、轮廓以及声学阴影等信息进行区分。同时,不同目标之间可能具有相似的声学响应,小尺寸目标和少数类别也更容易出现漏分割或错误分割。
下面展示了多种语义分割方法在FSSG 数据集仅使用 2% 标注数据时的预测结果。
图 2. FSSG 数据集在 2% 标注条件下的不同语义分割方法预测结果。
可以看到,在极少标注条件下,不同方法对目标完整区域、少数类别以及困难样本的识别能力存在明显差异。这也使 FSSG 不仅能够用于标准的全监督语义分割,还适合用于研究半监督语义分割、少标注学习以及数据高效学习等问题。
五、少数类别与长尾场景
FSSG 中部分目标本身就具有较低的出现频率,因此模型在整体指标之外,对少数类别的识别能力同样值得关注。
论文进一步对 FSSG 中的Tire和Underwater Robot等类别进行了单独比较,用于观察不同方法在长尾类别上的分割表现。
图 3. FSSG 等数据集上的长尾类别分割性能对比。
特别是 Diver 类别,在整个 FSSG 数据集中占比较低。此类数据对于水下人员感知、水下搜救、潜水安全以及稀有目标识别等研究具有较强的实际意义。
六、可以用于哪些研究方向?
FSSG 主要面向前视声呐视觉感知,但其应用并不限于单一的实验设置。基于当前公开的图像和像素级标注,可以开展包括以下方向在内的研究:
- 前视声呐图像语义分割
- Sonar Semantic Segmentation
- 水下目标感知与场景理解
- 水下机器人环境感知
- 半监督语义分割
- 少标注与低标注成本学习
- 长尾语义分割
- 类别不均衡学习
- 稀有水下目标识别
- 声呐图像特征学习
- 水下智能感知
七、论文与数据集
FSSG 数据集及相关方法项目代码目前已经公开。
论文地址:https://arxiv.org/abs/2603.21071
数据集下载:https://pan.baidu.com/s/10qCqdCkPZ_o7hk7KlC74nw?pwd=0516
项目地址:https://github.com/pingggg516/CTFS