一种基于空间通用自回归模型的图像融合方法

技术领域

本发明涉及一种基于空间通用自回归模型的图像融合方法，属于图像融合技术领域。

背景技术

通过图像融合，突破传感器极限，丰富图像信息量，在工业、医疗、遥感等诸多领域有着十分巨大的应用需求。近年来，学者们在此方面积极开展了相关工作。唐振民等提出一种基于非线性权重的图像融合的方法，该方法应用非线性权重模型进行图像融合操作，一定程度上有效改善了重影问题，提高了图像融合的质量(唐振民.基于非线性权重的图像融合的方法:中国,CN2020107085966[P].2020-10-30)。赵良军等提出一种基于纹理特征的图像融合算法，对经加权融合操作后的基层图像与亮细节层、暗细节层分别按顺序进行相应加权相加、相减融合操作后，最终得到清晰度更高的融合图像(赵良军.一种基于纹理特征的图像融合算法:中国,CN202010271482X[P].2020-08-07)。北京理工大学的郝群等通过构建八度高斯图像金字塔框架，采用不同策略对基础层和细节层图像进行分别融合后，再将融合后的基础层和细节层重构，从而丰富融合图像的特征信息(郝群.基于八度金字塔框架的多聚焦图像融合方法:中国，CN2020102116351[P].2020-07-10)。西北工业大学的王健等基于整个图像块的融合提出一种利用卷积稀疏表示的多模态图像融合方法，对分别采用不同融合策略进行操作后的低频和高频分量相加得到的最终图像，能够充分保留图像的细节信息(王健.基于卷积稀疏表示的多模态图像融合方法:中国,CN2018114007697[P].2019-04-02)。杨家俊等在基于稀疏表示原理模型中引入字典信息进行图像融合，在不过多增加算法复杂度的前提下，能够实现自适应地稀疏地表示图像的局部信息，从而改善图像融合质量(杨家俊.一种引入字典信息基于稀疏表示的图像融合方法:中国,CN2019108681564[P].2020-01-14)。张铖方提出一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，综合两种模型的优点，不仅改善了图像融合的质量，而且增强了关键细节信息的对比度(张铖方.基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法:中国,CN2020102875732[P].2020-07-17)。目前基于深度学习的图像融合大多采用监督学习的方式来训练网络，云南大学的王长城等提出一种基于无监督深度学习模型的多聚焦图像融合算法，将注意力机制的encoder-decoder网络模型引入训练过程中，最终得到的图像清晰度高且失真度小(王长城,周冬明,刘琰煜,谢诗冬.无监督深度学习模型的多聚焦图像融合算法[J/OL].计算机工程与应用:1-12[2020-11-25].)。

综上，目前主流的图像融合算法可以分为以下几类，第一类是基于空间域变换的像素或区域融合方法，该类方法结构复杂度较低且算法实施所需时间较短，但抗干扰能力较弱，图像融合精度不高；第二类是基于多尺度分解的方法，包括小波变换和图像金字塔框架等，利用此类方法若想获得融合质量较高的图像，应对图像进行多次分层操作，但此类方法普遍存在细节及边缘信息易丢失的问题，图像对比度损失较大，鲁棒性有待增强；第三类是基于稀疏表示原理模型的方法，虽然能够解决细节模糊问题，但融合图像的亮度较暗；第四类是基于深度学习的方法，通过构建卷积神经网络来实现图像融合操作，是目前性能较为优异的方法，但对于分辨率较低的源图像来说，所得融合图像的效果不能完全让人满意。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于空间通用自回归模型的图像融合方法。

为达到上述目的，本发明提供一种基于空间通用自回归模型的图像融合方法，包括：

基于空间通用自回归模型实现图像配准；

对待融合源图像进行平移处理；

平移处理后的待融合源图像加权平均得到粗融合后的图像；

建立一阶非因果空间自回归模型，粗融合后的图像完成精融合。

优先地，基于空间通用自回归模型实现图像配准，包括：

定义A(x,y)是左图像，定义B(x,y)是右图像，A(x,y)和B(x,y)为待融合源图像，A(x,y)和B(x,y)均位于图片中；

定义A(x,y)上的特征点a

优先地，对待融合源图像进行平移处理，包括：

1)从右图像B(x,y)右下角开始，基于图像双线性内插算法利用第一类待插值像素点领域内B(x,y)中四个已知像素点，依次对第一类待插值像素点进行求解；

2)从右图像B(x,y)右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型依次对第二类待插值像素点进行预报，具体过程包括：

①一阶强回归空间自回归模型的建立与一阶强回归空间自回归模型的参数估计：找到距离第二类待插值像素点欧氏距离最小的已知像素点b

b

式中，b

对一个大小为n pixels×n pixels的图像块一，上述方程可以列出(n-1)×(n-1)个，上述方程写成矩阵形式如下：

式中，b

令

②第一类待插值像素点或第二类待插值像素点利用一阶强回归空间自回归模型，预报第二类待插值像素点的灰度值

3)得到图像B(x,y)平移后的右图像B′(x,y)。

优先地，设置第一类待插值像素点为图片中的黑色方块，设置第二类待插值像素点为图片中的虚线空心圆圈，从而区分第一类待插值像素点和第二类待插值像素点。

优先地，从右图像右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型对第二类待插值像素点进行预报，右图像中预报顺序为从右图像右下角开始自下向上依次完成一列像素后再向左移动一个像素，每列像素重复自下向上完成，直到右图像中的所有像素完成预报。

优先地，平移处理后的待融合源图像加权平均得到粗融合后的图像，包括：

F

优先地，建立一阶非因果空间自回归模型，粗融合后的图像完成精融合，包括：

1)从F

2)建立一阶非因果空间自回归模型，并估计模型参数：

式中，a

对一个大小为m pixels×m pixels的图像块，上述方程可以列出(m-2)×(m-2)个，上述方程写成矩阵形式如下：

式中，a

令

3)根据

4)根据第3)步的结果，更新矩阵A为A

5)令矩阵C＝A-A

6)判断整个F

若整个F

本发明所达到的有益效果：

本发明提出一种基于空间通用自回归模型的图像融合方法，将图像融合分为粗融合和精融合两个过程，通过图像融合过程中引入空间自回归模型，使得提出的图像融合算法具有较好高的抗噪声干扰能力，且能有效地保护图像边缘等特征，从而能够有效提高图像融合的鲁棒性，克服现有图像融合算法各自存在的缺陷。

附图说明

图1是图像融合的示意图；

图2是实施例一中空间自回归模型建模用图像块的示意图；

图3是实施例一中空间自回归模型插值用图像块的示意图；

图4是实施例二中空间自回归模型建模用图像块的示意图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一

对B(x,y)图像进行平移处理包括以下步骤：

1)从B图像的右下角开始，采用图像双线性内插算法，利用第一类待插值像素点领域内B(x,y)图像中四个已知像素点，B(x,y)图像中四个已知像素点即图1中的实心黑色点，依次对待插值的像素点进行求解；

2)从B图像的右下角开始，利用第一类待插值得到的第一类待插值像素点，采用一阶强回归空间自回归模型，依次对第二类待插值像素点进行预报，具体过程包括两个子步骤：

①一阶强回归空间自回归模型的建立与参数估计：找到距离第二类待插值像素点欧氏距离最小的已知像素点，利用该像素点从B(x,y)图像上得到一个n pixels×n pixels的图像块，n取值不超过8，本实施例中以n＝3为例，具体实施：

α＝[α

b

②根据第一类待插值像素点或已经求出的第二类待插值像素点，利用一阶强回归空间自回归模型，预报第二类待插值像素点的灰度值

3)得到图像B(x,y)平移后的图像B′(x,y)图像。

实施例二

与实施例一不同的是，本实施例中建立一阶非因果空间自回归模型，完成精融合包括以下步骤：

1)从F

2)建立一阶非因果空间自回归模型，估计模型参数：

式中δ

3)根据A

4)根据第3)步的结果，更新矩阵A

5)令矩阵

6)平移m个像素，平移顺序为先水平后垂直或者先垂直再水平，从F

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。