图像超分辨（image super-resolution）是指利用一幅或多幅分辨率比较低的图像进行重建得到与之相对的高分辨率图像，其目标就是使图像更大、更清晰。根据超分辨算法所用的低分辨率图像数目的多少，可以将超分辨问题分为单幅图像超分辨和多幅图像超分辨[1]。因为单幅图像超分辨是进近些年来研究的热点，并且其在医学成像、监控视频与安全、遥感成像等领域有着广泛的应用[2]，所以本文主要对单幅图像超分辨问题展开讨论。
单幅图像超分辨方法根据其所用技术不同可大致分为基于传统特征的超分辨率算法与基于深度学习的超分辨算法。
基于传统特征的超分辨率算法是单幅图像超分辨早期使用的方法。最早的图像SR（super resolution）是在20世纪60年代由Harris和 Goodman提出的Harris-Goodman 频谱外推法[3]，但由于该方法限制条件过多所以并没有得到广泛的应用。在此基础上，后人对此进行改进，但在实际应用中的效果并不理想。直到1984年，Tsai和Huang[4]共同提出了名为频域法进行图像超分辨的方法。具体思想是，假定由HR（high resolution）图像生成LR（low resolution）图像的模型确定，然后对LR图像与HR图像进行傅里叶变换以确定LR图像与HR图像之间的线性关系，以此将LR图像超分辨为HR图像。虽然这种方法重建速度较快，但是难以应对实际应用中图像退化模型较为复杂的问题，并且也难以对先验知识加以应用。为了解决这些问题，后人提出了基于样例学习的方法[5]。这种方法的思想是充分利用先验知识，以训练的方式得到低分辨率与高分辨率图像之间的关系，以此将低分辨率图像超分辨为高分辨率图像。具体的步骤为：首先构建训练集，然后对训练集进行特征学习，最后进行高频细节重建以获得高分辨图像。基于样例学习的图像超分辨方法又可分为基于图像的自相似性的方法、基于邻域嵌入的方法以及基于稀疏表示的方法。基于图像自相似性的方法假设图像局部特征在不同尺度以及相同尺度内重复出现。训练集样本一般是由对输入图像做不同尺度变换得到的不同分辨率下的图像组成[5]。Freeman[6] 等人利用Markov网络对高分辨率、低分辨率图像之间的相接高分辨率图像块进行建模，对低分辨率图像进行搜索拼接以得到高分辨率图像。Glasner[7]等人认为自然图像中的色块倾向于在图像内部多次重复出现，无论是在相同的比例内还是在不同的比例内。在相同图像比例下重复出现图像块可进行典型的超分辨率，而在同一图像的不同比例上出现图像块可进行基于样例的超分辨率。他们的方法尝试对于每个像素在尺度内和跨尺度的冗余图像块，在每个像素处恢复其最佳分辨率。但是，这种方法得到的高分辨率图像块只源自于训练集中最邻近的样本，因而存在重构后的图像质量不高的问题。为了解决这一问题，Chang[8]等人提出了基于邻域嵌入的方法，该方法的假设条件是“HR图像流形和LR图像流形具有相似的局部几何结构”。其主要思想是通过低分辨率图像块得到拟合系数以用于高分辨率图像的重建。结合如最小二乘法等算法得到图像块的图像权重以用于高分辨率图像的重建。此外，还有基于稀疏表示的方法[9]。这种方法由Yang等人与2008年提出，其主要思想是从训练集中随机采样以构建HR图像块字典Dh和LR图像块字典Dl，然后使用字典Dl对输入的LR图像进行稀疏重构，并得到重构系数。之后再将同样的重构系数应用于HR图像块字典Dh以得到最终的高分辨率图像。相比于基于邻域嵌入的超分辨重建算法，基于稀疏表示的方法不需要确定训练集中最邻近的样本，更容易扩展，并且不易受到噪声干扰。但是，这种算法在稀疏编码阶段的计算量较大，对过完备字典的依赖度很高。如果不能很好地通过样本训练得到可以对图像较好稀疏表示的过完备字典，则图像的边缘细节等超分辨效果就会较差。
由于基于传统特征的超分辨率算法大多都是根据图像的底层特征来重建高分辨率图像，然而底层特征对高分辨率图像的细节表示能力有限，所以当放大倍数较高时，基于传统特征的超分辨率算法所可用的信息就越少，此时即使增加低分辨率图像的数量，也很难达到理想的重建效果[10]。为了打破这种局限，人们开始寻找新的方法。由于近些年来深度学习被广泛应用于计算机视觉领域，并且在各方面都取得了突破性的进展，所以人们开始尝试将深度神经网络引入图像超分辨领域。Dong等人[11]于2014年首先将深度学习用于低分辨率图像的SR中。在论文中，Dong提出了一种名为SRCNN的单图像超分辨率的深度学习方法。其方法的主要思想为直接学习低分辨率与高分辨率图像之间的端到端映射。该映射表示为深度卷积神经网络（CNN），其将低分辨率图像作为输入并输出高分辨率图像。在训练阶段，Dong等人使用了随机梯度下降对损失函数进行优化，以此得到映射函数所需要的网络参数。训练结束后，利用得到的网络参数即可通过已有的网络模型实现LR图像到HR图像的重建。之后几年，深度学习在计算机视觉领域的应用变得越来越普遍，也有越来越多的人投身到基于深度学习的图像SR研究中。在SRCNN的基础上，人们又利用图像梯度、稀疏性以及自相似性等陆续提出了SRCNN-Pr[12]、SCN[13]、DEGREE[14]等方法。之后，人们又陆续提出了基于残差结构的图像SR方法、基于密集连接的图像SR方法以及基于GAN的图像SR方法等方法，但基于CNN的图像超分辨率方法目前仍是基于深度学习的图像超分辨率主流方法。
和基于传统特征的图像超分辨率算法相比，基于深度学习的图像超分辨率算法可以从大量数据中通过机器学习获得可用于图像超分辨的特征，从而使得低分辨率图像的重建效果更加理想[15]。
参考文献
[1] Wang Z H, Chen J, Hoi S C H. Deep learning for image super-resolution: a survey[J]. arXiv:1902. 06068, 2019.
[2]刘颖,朱丽,林庆帆,李莹华,王富平,卢津.图像超分辨率技术的回顾与展望[J].计算机科学与探索,2020,14(02):181-199.
[3]方堃. 基于稀疏字典学习和核稀疏表示的图像超分辨率重建[D].郑州大学,2015.
[4]Tsai R Y, Huang T S. Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing,1984,1:317-339．
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
