大家读完觉得有帮助记得关注和点赞!!!
摘要 — 卫星目标检测面临小目标和宽幅场景的挑战,在标准方形输入缩放下会丢失细节。我们引入了SkySeaLand,一个包含1,307张高分辨率卫星图像和19,101个经过验证的边界框的公共数据集,涵盖陆地和海上场景中的飞机、船、汽车和舰船四类目标。提供原生COCO和YOLO格式标注。该数据集以大尺寸源图像和宽场景几何为主:84.5%的图像最长边超过3,836像素,73.1%的图像宽高比接近3:1。我们使用通用划分和COCO评估指标,评估了来自YOLO、RT-DETR、DETR和Faster R-CNN家族的十二种检测器。经测试的YOLO和RT-DETR变体取得了84.4–88.2的mAP50,在所报告的特定模型训练配方下,更大的参数量并未带来一致的精度提升。我们还报告了SkyDet,一个参数量为1.22M的无锚框基线,在4.90 MB的存储占用下获得60.5 mAP50和24.32 mAP50-95,在Tesla T4上延迟为13.74 ms(72.8 FPS)。SkySeaLand为混合陆地-海上交通检测提供了一个紧凑的基准,而SkyDet则建立了一个有据可查的低占用参考,而非声称达到最先进的精度。
关键词 — 航空影像,基准数据集,轻量级检测,目标检测,遥感,卫星影像。
I. 引言
卫星图像中的目标检测支持交通分析、港口活动评估、机场监视和海上搜索[1]。该问题与自然图像检测有几个不同之处。感兴趣的目标仅占据场景的一小部分,通常低于32×32像素[2]。场景以高分辨率获取,且通常为宽幅格式,沿跑道、海岸线和航道分布,而非地面摄影中常见的近似方形画面[3]。因此,用于卫星的检测器必须同时处理大尺度变化和非标准图像几何。
公共基准推动了该领域的进展。DOTA [3]、DIOR [4]、NWPU VHR-10 [5]和xView [6]为航空检测建立了评估协议,最初在MS COCO [2]上开发的检测器家族,如Faster R-CNN [7]、YOLO系列[8]–[11]和DETR风格变换器[12],[13],已被适配用于这些基准。但存在两个实际空白。现有的航空基准很少在同一个标签空间中结合陆地和海上交通类别,同时发布COCO和YOLO两种标注格式。此外,低于2M参数的模型在航空检测器对比表中很少出现,导致一个有用的低占用参考点未被表征。
本文填补了这两个空白。我们引入了SkySeaLand,一个经过整理的包含1,307张卫星图像和19,101个验证边界框的数据集,涵盖四个类别:飞机、船、汽车和舰船。图像涵盖多个地理区域的机场、高速公路、港口、游艇码头和沿海地区,标注以COCO和YOLO两种格式发布。源图像以大尺寸为主(84.5%的最长边超过3,836像素)且多为宽幅(73.1%宽高比接近3:1),凸显了方形输入缩放带来的信息损失。我们对跨越四个架构家族的十二种检测器进行了基准测试,并报告了SkyDet,一个参数量为1.22M、检查点大小为4.90 MB的无锚框检测器,作为一个明确的低占用参考。本文贡献如下:
SkySeaLand,一个公开的卫星目标检测数据集(Kaggle和Mendeley Data),涵盖陆地和海上场景中的四个交通类别,提供双格式标注和文档化的几何特征。
一个包含十二种检测器的实用基准,涵盖YOLO(v10/v11/v12/v26)、RT-DETR、DETR和Faster R-CNN,并提供精度、参数量、检查点大小和硬件实测延迟。
一个有据可查的低占用基线SkyDet,基于MobileNetV3-Small骨干网络[14]、64通道特征金字塔[15]和无锚框检测头。它在mAP50上保留了YOLOv11m的69%,但参数量仅为后者的6%,在Tesla T4上每张图像运行时间为13.74 ms。
II. 相关工作
航空和卫星检测数据集。 DOTA [3]包含2,806张大型图像和超过188k个实例,涵盖15个类别(v2.0为18个)。DIOR [4]提供23,463张图像,固定分辨率为800×800,覆盖20个类别。NWPU VHR-10 [5]是一个较早的10类基准,包含800张图像。RSOD [16]在976张图像中覆盖四个类别。xView [6]从WorldView-3影像中扩展到60类、超过一百万个实例,而VisDrone [17]针对无人机高度场景,包含密集的小目标。AI-TOD [18]专注于微小目标,平均目标尺寸为12.8像素。
表I明确区分了范围。几个更广泛的基准包含陆地和海上交通类别,但仅作为异构本体中的子集。SkySeaLand将其完整的四类标签空间专用于该混合交通场景,发布即用的COCO和YOLO标注,并保留主要为宽幅、未平铺的源图像。在1,307张图像的规模上,它是一个紧凑的补充基准,而非替代更大语料库。
数据集 | 图像数 | 类别数 | 框类型 | 范围 / 陆海交通 | 原生标签格式 |
|---|---|---|---|---|---|
DOTA v1.0 | 2,806 | 15 | OBB | 通用 / 子集 | DOTA TXT |
DIOR | 23,463 | 20 | HBB | 通用 / 子集 | VOC XML |
NWPU VHR-10 | 800 | 10 | HBB | 通用 / 子集 | TXT |
RSOD | 976 | 4 | HBB | 四类 / 无 | VOC XML |
xView | 1,129 | 60 | HBB | 广泛 / 子集 | GeoJSON |
SkySeaLand | 1,307 | 4 | HBB | 交通 / 专用 | COCO+YOLO |
表I. 航空目标检测数据集的背景比较。陆海交通覆盖:“子集”指在更广泛本体中的相关类别;格式指原始发布格式。
目标检测器。 Faster R-CNN [7]引入了学习型区域提议,特征金字塔网络[15]建立了多尺度特征融合。单阶段检测器以牺牲提议为代价换取速度,始于YOLO [8]和SSD [19];RetinaNet [20]引入了焦点损失以解决前景-背景不平衡问题,FCOS [21]去除了锚框。最近的实时系列包括YOLOv10 [22]、YOLOv11 [9]、YOLOv12 [10]和YOLO26 [11]。变换器检测器始于DETR [12];Deformable DETR [23]改善了收敛性,RT-DETR [13]将端到端变换器检测带入实时领域。
轻量级检测。 MobileNetV2 [24]和MobileNetV3 [14]使用倒置残差块和深度可分离卷积来减少计算量,而EfficientDet [25]同时缩放骨干、颈部和头部。基于切片的推理如SAHI [26]可以通过多次前向传递恢复高分辨率输入上的小目标精度,但代价是计算量增加。SkyDet则探讨了另一个端点:一个1.22M参数、小于5 MB的基线,用于混合陆地和海上检测。
III. SKYSEALAND数据集
图1总结了从图像收集、标注、验证、格式导出到基准评估的完整流程。
A. 收集与标注
图像从Google Earth Pro收集,仅供学术研究使用。候选区域通过手动探索机场、高速公路、港口、游艇码头和亚洲、欧洲、俄罗斯及美国的沿海区域,然后以最高可用分辨率导出。在筛选过程中移除了包含严重噪声、强烈云层覆盖或重复视角的文件,并视需要进行基本裁剪,以确保目标对象在画面内。
每个对象实例使用CVAT和Roboflow标注轴对齐边界框和四个类别标签之一(飞机、船、汽车、舰船)。第二轮验证修正了框位置和类别分配,在最终划分之前移除了无效或异常标注。最终标注以COCO JSON格式和每张图像的YOLO文本格式发布,类别索引为0至3,使得该数据集可直接被COCO风格评估工具包和Ultralytics训练管道使用,无需转换。该数据集在Kaggle和Mendeley Data(DOI: 10.17632/d42n3cp86p.3)上以CC BY 4.0许可证公开;发布旨在用于学术研究,用户还应遵守源影像提供商的条款。
图2展示了标注和验证后的代表性机场、港口、高速公路和码头场景。
图1. SkySeaLand和SkyDet概览。(a) 1,307张图像和19,101个标注实例的类别构成和宽高比分布。(b) SkyDet将MobileNetV3-Small骨干与64通道特征金字塔和无锚框检测头相结合。(c) 在十二个基准检测器中,SkyDet占据一个独特的低占用运行点。
图2. SkySeaLand标注样本,显示四个对象类别:飞机、船、汽车和舰船。
B. 划分和类别分布
数据集划分为训练集(1,048张图像,80%)、验证集(132张图像,10%)和测试集(127张图像,10%)。表II报告了每个划分的图像和实例数量。汽车类是最大的,有6,936个实例(占所有标注的36.3%),其次是飞机(25.4%)、船(19.2%)和舰船(19.1%)。这种分布源于所选场景和对象密度:高速公路和停车场图像比机场或海上图像包含更多实例。在SkyDet训练中使用类别加权焦点损失(第IV节)。
项目 | 训练 | 验证 | 测试 | 总计 |
|---|---|---|---|---|
图像数 | 1,048 | 132 | 127 | 1,307 |
标注数 | 15,034 | 1,992 | 2,075 | 19,101 |
飞机 | 3,927 | 367 | 553 | 4,847 |
船 | 2,683 | 657 | 334 | 3,674 |
汽车 | 5,459 | 679 | 798 | 6,936 |
舰船 | 2,965 | 289 | 390 | 3,644 |
表II. 划分统计及每个类别的实例数量。
目标尺度变化很大。标注框的中位面积为2,726 px²,第10百分位低于873 px²(低于COCO小目标阈值32²=1024? 原文写322 px²,但COCO小目标定义是面积<32²=1024 px²,这里可能笔误,按原文翻译为“低于873 px²(低于COCO小目标阈值322 px²)”,但322可能是笔误,保留原文),第90百分位超过13,000 px²。百分位统计在三个划分中一致,表明划分是尺度平衡的。
C. 图像几何
SkySeaLand在原始图像几何上不同于基于图块的航空基准。数据集审核使用了五个源图像大小区间(微小、小、中、大、巨型),以3,836像素作为主导巨型组的边界。按最长边计,1,104张图像(84.5%)超过此边界,90张(6.9%)在1,024至3,836像素之间,58张(4.4%)在512至1,024像素之间,55张(4.2%)低于512像素。宽高比同样偏斜:955张图像(73.1%)接近3:1的宽高比,179张(13.7%)接近4:1,88张(6.7%)接近2:1,方形或高瘦格式占比不到7%。交叉表显示这两个属性是耦合的;74.6%的最大图像接近3:1。图3总结了这两个分布。
图3. SkySeaLand的图像几何:(a) 按最长边划分的大小类别;(b) 宽高比类别。该数据集以巨型、极宽场景为主。
这种几何特征对检测有直接影响。将3:1场景缩放到640×640要么扭曲对象形状,要么(使用letterbox)将图像映射到大约640×213像素,并在方形张量中留下约三分之二的填充区域。虽然保留了完整的水平视野,但对象根据图像宽度被缩小,检测器仍然处理填充后的张量。因此,SkySeaLand为宽场景预处理提供了一个实际的压力测试。所有训练的模型都使用letterbox缩放以保持宽高比。
IV. SKYDET:超轻量级检测基线
A. 设计目标和架构
SkyDet旨在记录基准测试中占用空间范围的低端。有意以精度换取体积;问题在于,在接近一百万参数的情况下,仍能保留多少检测能力,而非该模型能否匹配比它大数十倍的检测器。
该架构包含三个组件。一个在ImageNet上预训练的MobileNetV3-Small骨干[14]使用倒置残差块和深度可分离卷积[24]。一个64通道特征金字塔[15]融合P3–P5特征。一个FCOS风格的无锚框检测头[21],同样由深度可分离卷积构建,预测类别分数和边界框,无需针对数据集选择锚框。这些成熟组件组合为一个紧凑的参考配置;本研究未单独隔离它们的各自贡献。
B. 训练
训练使用类别加权焦点损失[20],权重与类别频率成反比,以及余弦学习率调度[27],初始值为3×10⁻⁴。输入使用letterbox缩放。对于验证诊断,分数阈值从第10个epoch的0.001增加到第20个epoch的0.01,再到第20个epoch的0.05;该调度影响评估和检查点监控,但不影响梯度更新。最终测试推理使用0.05。SkyDet在Tesla T4上训练了150个epoch,最佳验证检查点出现在第124个epoch。表III总结了配置。
组件 | 配置 |
|---|---|
骨干 | MobileNetV3-Small,ImageNet预训练 |
特征融合 | FPN,64通道宽度 |
检测头 | 无锚框,深度可分离卷积 |
损失 | 类别加权焦点损失 |
学习率调度 | 余弦衰减,初始3×10⁻⁴ |
验证阈值 | 第20个epoch从0.001增至0.05 |
周期 / 最佳检查点 | 150 / 124 |
参数量 / 检查点大小 | 1.22M / 4.90 MB |
表III. SkyDet配置。
V. 在SKYSEALAND上的实验
A. 设置
我们在SkySeaLand上对十二种检测器进行了基准测试:
SkyDet;RT-DETR-l和RT-DETR-x [13];YOLOv10m [22];YOLOv11m和YOLOv11x [9];YOLOv12m和YOLOv12x [10];YOLO26l和YOLO26x [11];DETR [12];以及带有ResNet-50 FPN骨干的Faster R-CNN。所有模型使用第III-B节中的划分,并采用640×640 letterbox输入。评估遵循COCO指标[2],在测试划分上报告IoU阈值0.50–0.95的mAP(mAP50-95)和IoU=0.50的mAP(mAP50)。SkyDet使用最终分数阈值0.05,非极大值抑制IoU为0.45,每张图像最多300个检测。
模型使用固定的、特定于模型的训练配方:YOLO和RT-DETR为100个epoch,SkyDet为150个epoch,DETR为50个epoch,Faster R-CNN为1,000次迭代。这些不均等的预算使得精度表成为一份实用的描述性基准,而非受控架构研究。硬件也在不同运行间有所变化(Tesla T4,NVIDIA L4和NVIDIA A100)。参数量和测量的检查点大小提供了占用背景,而延迟比较仅限于在同一GPU上测量的行。
SkyDet检查点选择仅使用验证划分。选定的检查点随后在留出的测试划分上进行评估,得到60.50 mAP50和24.32 mAP50-95。其平均Tesla T4推理时间记录为每张图像0.013741秒,换算为13.74 ms(72.8 FPS)。报告的4.90 MB是磁盘上序列化检查点的大小,而非由参数量推算的值。
B. 结果
从表IV中可以得出三个观察结果。首先,经测试的YOLO和RT-DETR变体在一个狭窄的描述性区间内,mAP50为84.4–88.2,mAP50-95为56.4–60.4,尽管参数量从15M到65M不等。在这些运行中,更大的参数量并未带来一致的增益;例如,YOLOv11m以35%的参数量在mAP50-95上超出YOLOv11x 0.4个百分点。由于单次运行和特定模型配方,无法断言统计等价。其次,50个epoch的DETR结果是一个受约束预算的参考,因为DETR变体通常需要更长的调度[23]。带匕首标记的Faster R-CNN行保留以供完整性,但因其实质上比其他训练调度短得多的1,000次迭代预算,在家族级解释中被排除。
第三,SkyDet占据了表格的低占用端点。在1.22M参数量和4.90 MB下,它的参数量约为YOLOv10m的1/13,检查点比RT-DETR-x小约27倍。它保留了60.5 mAP50,即YOLOv11m mAP50的69%,但参数量仅为后者的6%。与受约束的DETR运行相比,SkyDet在mAP50-95上相差2.4个百分点,在mAP50上相差0.3个百分点,而检查点大小约为DETR的1/34。在同一Tesla T4上,其13.74 ms延迟(72.8 FPS)是RT-DETR-x的65.70 ms的21%。这些比较建立了一个占用-精度参考点,而非精度优势。图4可视化展示了精度-检查点大小空间中的分离。
参数量、存储和运行时不应混为一谈。SkyDet是表IV中最小的模型,但其T4延迟高于报告的YOLOv11m、YOLOv10m、YOLO26l和YOLOv12m运行。在此尺度下,算子选择、内存访问、框架内核和执行开销可能超过参数量。因此,可防御的部署结果是4.90 MB存储占用及实测的实时吞吐量;本文仅声称在同一硬件上相对于RT-DETR-x的延迟优势。
模型 | mAP50 (%) | mAP50-95 (%) | 参数量 (M) | 大小 (MB) | 延迟 (ms) | GPU |
|---|---|---|---|---|---|---|
RT-DETR-x [13] | 87.32 | 60.36 | 65.48 | 131.2 | 65.70 | Tesla T4 |
YOLO26x [11] | 88.20 | 60.00 | 55.64 | 118.3 | 19.20 | Tesla T4 |
RT-DETR-l [13] | 87.60 | 59.90 | 31.99 | 66.2 | 8.90 | NVIDIA L4 |
YOLOv11m [9] | 87.20 | 59.00 | 20.03 | 40.5 | 7.30 | Tesla T4 |
YOLO26l [11] | 87.20 | 58.60 | 24.75 | 53.0 | 8.60 | Tesla T4 |
YOLOv11x [9] | 87.00 | 58.60 | 56.83 | 114.4 | 2.70 | NVIDIA A100 |
YOLOv12x [10] | 87.00 | 58.50 | 59.05 | 119.1 | 4.10 | NVIDIA A100 |
YOLOv12m [10] | 87.10 | 57.80 | 20.11 | 40.8 | 13.30 | Tesla T4 |
YOLOv10m [22] | 84.40 | 56.40 | 15.32 | 33.5 | 8.30 | Tesla T4 |
Faster R-CNN† [7] | 46.15 | 28.40 | 41.75 | 283.9 | 95.20 | Tesla T4 |
DETR ResNet-50 [12] | 60.80 | 26.70 | 41.50 | 166.0 | 47.55 | Tesla T4 |
SkyDet (ours) | 60.50 | 24.32 | 1.22 | 4.90 | 13.74 | Tesla T4 |
表IV. SkySeaLand测试划分上的检测器性能,按mAP50-95排序。† 受约束的1,000次迭代运行。
图4. SkySeaLand上精度与模型大小的关系(对数尺度)。现代检测器在4倍大小范围内聚集在狭窄的精度区间内,而SkyDet定义了一个独立的低占用运行点。
VI. 跨数据集评估
表V报告了在DOTA v2.0和RSOD上的辅助诊断。模型在每个数据集上独立训练,没有权重迁移。可用的SkyDet运行使用数据集特定的配置,并非参数相同,比较器覆盖不对称,且比较器的训练预算在现有记录中并未确定为匹配。因此,本实验既不支持共同占用声明,也不支持单个检查点的跨域泛化。它只询问训练和评估流程是否能应用于SkySeaLand之外。DOTA诊断使用DOTA v2.0 [3]的1,822张图像的Roboflow导出子集,保留所有18个类别,采用COCO水平框格式;这不是完整的官方发布。RSOD [16]使用所有四个类别。SkyDet延迟使用两块Tesla T4 GPU测量,而比较器延迟使用单块T4;时间仅用于来源记录,不跨行比较。
在DOTA v2.0子集上,SkyDet在mAP50上相差0.46个百分点,在mAP50-95上相差0.65个百分点,与Faster R-CNN相当,但两者的绝对分数在水平框导出上仍然较低。在RSOD上,SkyDet在mAP50上落后YOLOv12x 6.7个百分点,在mAP50-95上落后17.7个百分点。这些精度差异是描述性的,因为训练预算未确定为匹配。选定的比较表明该流程在两个额外的航空数据集上产生了可测量的结果,但不对称的基线和数据集特定的SkyDet配置并未确立普遍优越性、可迁移的效率比或延迟优势。
数据集 | 模型 | mAP50 (%) | mAP50-95 (%) | 延迟 (ms) | GPU |
|---|---|---|---|---|---|
DOTA子集 | SkyDet | 14.70 | 6.70 | 11.59 | 2×T4 |
DOTA子集 | Faster R-CNN | 15.16 | 7.35 | 87.97 | 1×T4 |
RSOD | SkyDet | 88.90 | 54.30 | 11.18 | 2×T4 |
RSOD | YOLOv12x | 95.60 | 72.00 | 46.10 | 1×T4 |
表V. 选定的跨数据集诊断及硬件来源。
VII. 讨论与局限性
SkyDet在mAP50和mAP50-95之间36.18个百分点的差距表明,随着定位标准变得更加严格,性能大幅下降。这种模式与小边界框对像素级位移的敏感性一致,但现有证据无法将差距归因于目标尺度:当前没有按尺度或按类别的AP可用。因此,该结果应推动而非验证未来对切片、更高输入分辨率和尺度感知训练的测试。
结论在五个方面受到限制。第一,SkySeaLand比DOTA [3]和DIOR [4]小;它是一个紧凑的补充基准。在划分前已筛选重复视角,但划分是基于图像级别的,并未强制地理分离,因此区域相似性可能仍存在于子集之间。总体评估也未分别报告陆地和海上性能。第二,检测器表格包含在不等模型特定配方下的单次运行,且无不确定性估计支持关于微小差异的说法。第三,混合硬件和设备数量阻止了大多数延迟比较;唯一陈述的比例使用了SkyDet和RT-DETR-x在单块T4上的SkySeaLand运行,而外部的双块和单块T4计时未进行比较。第四,未报告组件消融或当前检查点的按尺度AP,因此本研究未对SkyDet的错误原因做出因果声明。最后,外部数据集比较使用了不对称基线和非相同的SkyDet配置。SkySeaLand标注是轴对齐的,因此定向检测不在当前范围内。
VIII. 结论
SkySeaLand贡献了1,307张公共卫星图像和19,101个标注,涵盖四个陆地和海上交通类别,提供原生COCO和YOLO标签及文档化的宽场景几何。其十二检测器基准将经测试的YOLO和RT-DETR运行置于一个狭窄的描述性精度范围内。SkyDet定义了低占用端点,在1.22M参数量、4.90 MB检查点和Tesla T4上13.74 ms延迟(72.8 FPS)下达到60.5 mAP50和24.32 mAP50-95。它量化了在5 MB预算下保留的精度,而非挑战高精度检测器。未来的工作应评估地理分离的划分、重复运行和小目标干预措施。