基于注意力网络的遥感光学图像目标检测文献综述

随着遥感卫星传感器技术的发展,获得卫星,航空拍摄的高分辨率图像已经不再是难题。在如此多的数据图像信息不断驱动下,过去由于数据限制无法完成的检测任务在现阶段逐渐可以实现,这促进了人们在目标检测领域对技术不断的研究与探索。遥感图像的目标检测在国防，自然探索领域中起着非常重要的作用，它能为我们提供精确的地理信息，在资源探索，环境检测，城市规划，车辆检测，卫星遥感对地监测方面的作用也是举足轻重。遥感图像的信息是十分丰富的,一方面增加了遥感图像目标检测的任务,另一方面增加了特征提取的难度。因此，提高光学遥感图像的目标检测的速度和精准度是十分必要的。

对光学遥感图像进行目标检测，需要找到关注的目标并给出具体位置，而深度学习算法在视觉图像目标检测中的应用是计算机视觉检测领域的一次突破，基于深度学习的遥感光学图像目标检测在实际的运用中具有较高的精准度，所以通常把深度学习与目标检测结合在一起。基于深度学习的目标检测方法必须依靠大量的数据集来训练，Microsoft的MSCOCO数据集和PASCAL的VOC数据集在自然场景的目标检测上非常成功，但是遥感图像与自然图像有很大的差别，这两个数据集在光学遥感图像的目标检测上存在图像类别数量少，图像的多样性和变化性不足的缺点，因此《Object detection in optical remote sensing images: A survey and a new benchmark》这篇文章提出了DIOR数据集，这个数据集完美地克服了这样的缺陷，因为它不仅有更多数量和类别的遥感图像，而且这些遥感图像是在不同的成像条件下获得的，因此图像多样性和变化性可以得到有效保障。

在过去几年中，不同的研究小组公开了各种数据集，专为遥感图像中的汽车检测设计TAS数据集，为了基准化各种建筑物检测方法而创建的SZTAKI-INRIA数据集，有10种地理空间目标类别，包括飞机，棒球场，篮球场，桥梁，港口，田径场，船舶，储油罐，网球场和车辆的NWPU VHR-10数据集，用于检测车辆类别的VEDAI数据集，用于检测飞机和车辆的UCAS-AOD数据集等，这些数据集都是在遥感图像检测的基础上开发的，然而，地球观测学界中现有这些目标检测数据集都有一些共同的缺陷，例如，图像数量和目标类别数量较小，图像多样性和目标变化不足。这些局限性极大地影响了基于深度学习的目标检测方法的发展，而DIOR数据集正好可以解决这些问题，DIOR数据集的规模巨大，目标尺寸的变化范围大而且图像变化丰富，是目前用于遥感光学目标检测中非常成功的数据集之一。

受到在计算机视觉界中基于深度学习的目标检测取得巨大成功的启发，最近大量的研究已经在致力于光学遥感图像中的目标检测。与自然场景中的目标检测不同，在地球观察界大多数研究者使用的是基于区域提议的方法来检测多类目标。目前，人们把基于深度学习的目标检测方法分为两大类，一类是基于区域提案的目标检测算法，它先由特定算法生成一系列样本的候选框，再通过卷积神经网络对样本进行分类，最后还要进行边界框的位置进行修改，R-CNN算法就是属于这一类，R-CNN采用CNN模型来生成丰富目标，与以往的技术相比该技术实现了突破性的性能改进，但由于重复计算使区域提议增多，所以效率低是其主要缺点。另一类是基于回归的目标检测算法，这一类则不用产生候选框，而是直接将目标边框定位的问题转化为回归问题进行处理，直接对预测的目标物体进行回归， YOLO算法就是属于这一类，YOLO采用单个CNN主干，可以在一次评估中根据整个图像直接预测边界框和分类概率，它实现了实时的目标检测，但是，如果要精确定位某些目标（尤其是小尺寸目标）仍然很困难。第一类检测方法图像目标的检测精度更好，而第二类检测的速度更快。最近几年，新提出的检测算法有很多都是在先前的算法上进行改进得到的，如Faster R-CNN、YOLOv3。此外，为了进一步提高基于深度学习的目标检测方法的性能，人们已进行了广泛的研究，例如特征增强，硬否定挖掘，上下文信息融合，目标变形建模等同样取得了不错的检测效果。

注意力模型是神经网络研究中的一个非常重要的研究领域。注意力模型已经被广泛的应用到自然语言，统计学习语音识别和计算机视觉等人工智能相关领域。在神经网络模型中引入注意力模块有很大的好处，注意力模块在其他任务中展现出了良好的性能，在提升模型性能的同时，注意力机制增加了神经网络结构的可解释性，因为神经网络模型是一个黑盒模型，所以提高它的可解释性是非常重要的，所以把注意力模块引入到遥感光学目标检测上，势必也会带来意想不到的用处。

基于注意力网络的遥感光学图像目标检测，在传统的目标检测网络中，引入了注意力模块，增强了目标鉴别性特征，所以能提高了目标检测的准确性，以此为方向进行研究，可以探究在遥感光学图像的目标检测中，增加了注意力模块是否能提高遥感光学目标检测的性能，与同类型的各个检测方法相比，在其他方面是否有差异。因此，这个研究方向有很大的发展空间。

２．本课题要研究或解决的问题和拟采用的研究手段（途径）：

一、所研究或解决的问题

1.光学遥感图像有怎样的特征，如何进行光学遥感图像的目标检测。

2.针对光学遥感图像在小目标，多方向目标检测困难的问题，如何建立起具有针对性的网络模型。

3.现有的光学遥感图像模板检测网络框架是如何设计的，以及如何在此框架下进行工作。

4.如何提取基于空间注意力的目标深度特征，并应用到光学遥感图像的检测中的问题。

二、拟采用的手段

为完成课题的任务和要求，首先我要学习和了解神经网络，遥感图像，目标检测等相关专业知识，再去熟悉目前基于深度学习的光学遥感图像的目标检测方法的流程，理解并掌握TensorFlow框架，下载数据集，自己尝试学习深度学习目标检测网络，如YOLOv4和SSD，然后学会应用这些常见的算法，在此基础上掌握遥感图像目标检测网络，并学习构造注意力模块，将注意力模块运用在目标检测网络中，最后构造基于注意力的遥感图像深度学习方法，实现光学遥感目标检测算法，并记录检测的结果数据，检验实验的效果和性能。

三．参考文献

1. Fu K, Chang Z, Zhang Y, et al. Rotation-aware and multi-scale convolutional neural network for object detection in remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 161: 294-308.
2. Yang X, Liu Q, Yan J, et al. R3det: Refined single-stage detector with feature refinement for rotating object[J]. arXiv preprint arXiv:1908.05612, 2019.
3. Yang X, Yang J, Yan J, et al. Scrdet: Towards more robust detection for small, cluttered and rotated objects[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 8232-8241.
4. Li K, Wan G, Cheng G, et al. Object detection in optical remote sensing images: A survey and a new benchmark[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 159: 296-307.
5. Ding J, Xue N, Long Y, et al. Learning roi transformer for detecting oriented objects in aerial images[J]. arXiv preprint arXiv:1812.00155, 2018.
6. Van Etten A. You only look twice: Rapid multi-scale object detection in satellite imagery[J]. arXiv preprint arXiv:1805.09512, 2018.
7. 郭智, 宋萍, 张义, 等. 基于深度卷积神经网络的遥感图像飞机目标检测方法[J]. 电子与信息学报, 2018, 40(11): 2684-2690.
8. 赵旭江. 基于卷积神经网络的遥感图像目标检测与识别[D]. 中国科学技术大学, 2018.
9. 雷家荟. 基于深度学习的遥感目标检测算法[D]. 华中科技大学, 2019.
10. Cheng G, Zhou P, Han J. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405-7415.
11. Wang C, Bai X, Wang S, et al. Multiscale visual attention networks for object detection in VHR remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 16(2): 310-314.
12. Xiao Z, Xue W, Zhong P. Few-shot Object Detection with Self-adaptive Attention Network for Remote Sensing Images[J]. arXiv preprint arXiv:2009.12596, 2020.