首页> 中国专利> 一种红外热成像仪的图像显示方法、装置及红外热成像仪

一种红外热成像仪的图像显示方法、装置及红外热成像仪

摘要

本发明实施例公开了一种红外热像仪的图像显示方法、装置及红外热像仪,该方法包括:首先获得可见光图像、所对应的热成像图像以及当前物距信息;根据当前物距信息,确定出目标配准参数,从可见光图像或热成像图像中提取出画中画区域对应的区域图像,并根据所确定的目标配准参数,将该区域图像与除提取该区域图像的图像外的另外一张图像进行叠加,得到融合图像,最后显示该融合图像。本发明实施例中,对两张图像进行配准后,再进行叠加,形成了融合效果更好的融合图像,并且,配准过程中所依赖的目标配准参数是通过当前物距信息获得,节省了设备的生产成本。

著录项

  • 公开/公告号CN107976257A

    专利类型发明专利

  • 公开/公告日2018-05-01

    原文格式PDF

  • 申请/专利号CN201610919828.6

  • 发明设计人 浦世亮;蔡晓望;肖飞;范蒙;俞海;

    申请日2016-10-21

  • 分类号G01J5/02(20060101);

  • 代理机构11413 北京柏杉松知识产权代理事务所(普通合伙);

  • 代理人孙翠贤;项京

  • 地址 310051 浙江省杭州市滨江区阡陌路555号

  • 入库时间 2023-06-19 05:12:00

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-22

    授权

    授权

  • 2018-05-25

    实质审查的生效 IPC(主分类):G01J5/02 申请日:20161021

    实质审查的生效

  • 2018-05-01

    公开

    公开

说明书

技术领域

本发明涉及图像处理技术领域,特别涉及一种红外热像仪的图像显示方法、装置及红外热像仪。

背景技术

红外热成像技术广泛用于测量目标物体表面的温度,由于其测量方式是非接触测量,不会影响被测目标物体的温度分布,对远距离目标物体、带电目标物体、高温目标物体及其他不可接触目标物体都可采用。近年来,红外热成像技术逐步被应用到医疗、军事、安防、安全生产等领域。

红外热成像技术受成像原理的限制,所形成的热成像图像对比度较低,热成像图像中的目标物体的细节的反映能力比较差,成像效果不符合人眼视觉习惯。因此,为了弥补热成像图像的不足,可以将热成像图像与对应的可见光图像组合,以提升热成像图像中的目标物体的细节的体现效果。

目前出现了许多双目系统,该双目系统通过两个传感器分别采集并生成一路可见光图像和一路热成像图像,然后,在画中画模式下对该可见光图像与热成像图像进行融合。

发明人在研究过程中发现,由于可见光图像与热成像图像的视角不同,可见光图像与热成像图像无法进行准确对应,影响融合效果。

发明内容

本发明实施例公开了一种红外热像仪的图像显示方法、装置及红外热像仪,以提高画中画区域的目标物体显示的清晰度。具体方案如下:

一方面,本发明实施例提供了一种红外热像仪的图像显示方法,所述方法包括:

获得可见光图像以及所对应的热成像图像,并获得当前物距信息;

根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;

从所述热成像图像中提取画中画区域对应的第一区域图像;

根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像;或者

从所述可见光图像中提取出所述画中画区域对应的第二区域图像;

根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像;

显示所述融合图像。

可选的,所述获得当前物距信息的步骤,包括:

获得成像设备采集可见光信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述可见光信号对应的焦距信息;

根据所述聚焦统计信息所包括的焦距信息,确定所述可见光图像中的目标物体相对于成像设备的当前物距信息;或者

获得成像设备采集热成像信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述热成像信号对应的焦距信息;

根据所述聚焦统计信息所包括的焦距信息,确定所述热成像图像中的目标物体相对于成像设备的当前物距信息。

可选的,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像的步骤,包括:

依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像;

将所述第一区域图像叠加至所述第一转换图像中,得到包含画中画区域图像的融合图像;或

依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像;

将所述第二转换图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像。

可选的,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像的步骤,包括:

依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述可见光图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述可见光图像,得到所述热成像图像视角的第一转换图像;

所述依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像的步骤,包括:

依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述第一区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述第一区域图像,得到所述可见光图像视角的第二转换图像。

可选的,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像的步骤,包括:

依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像;

将所述第二区域图像叠加至所述第三转换图像中,得到包含画中画区域图像的融合图像;或

依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像;

将所述第四转换图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像的步骤,包括:

依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述热成像图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述热成像图像,得到所述可见光图像视角的第三转换图像;

所述依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像的步骤,包括:

依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述第二区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述第二区域图像,得到所述热成像图像视角的第四转换图像。

可选的,所述方法还包括:

确定成像设备采集可见光信号过程中的聚焦区域信息;

所述从所述热成像图像中提取画中画区域对应的第一区域图像的步骤,包括:

从所述热成像图像中提取与所述聚焦区域信息对应的对应区域图像;

将所述对应区域图像确定为所述画中画区域对应的第一区域图像;

所述从所述可见光图像中提取出所述画中画区域对应的第二区域图像的步骤,包括:

从所述可见光图像中提取出根据所述聚焦区域信息确定的聚焦区域图像;

将所述聚焦区域图像确定为所述画中画区域对应的第二区域图像。

可选的,所述根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像的步骤,包括:

滤除所述可见光图像中与所述第一区域图像对应的区域图像的低频信息;

根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像;

所述根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像的步骤,包括:

滤除所述第二区域图像的低频信息;

根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,所述根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像所利用公式为:

fus=firpip+λ·Η{vispip}+vispip'

其中,所述fus表示所述融合图像,所述firpip表示所述第一区域图像,所述vispip表示所述可见光图像中与所述第一区域图像对应区域的图像,所述vispip'表示所述可见光图像中除与所述第一区域图像对应区域的图像外的图像,Η{·}表示高通滤波,λ表示预设融合参数;

所述根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像所利用公式为:

fus=fir+λ·Η{vispip}

其中,所述fus表示所述融合图像,所述fir表示所述热成像图像,所述vispip表示所述第二区域图像,Η{·}表示高通滤波,λ表示预设融合参数。

另一方面,本发明实施例提供了一种红外热像仪的图像显示装置,所述装置包括:

第一获得模块,用于获得可见光图像以及所对应的热成像图像;

第二获得模块,用于获得当前物距信息;

确定模块,用于根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;

第一提取模块,用于从所述热成像图像中提取画中画区域对应的第一区域图像;

第一叠加模块,用于根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像;或者

第二提取模块,用于从所述可见光图像中提取出所述画中画区域对应的第二区域图像;

第二叠加模块,用于根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像;

显示模块,用于显示所述融合图像。

可选的,所述第二获得模块包括:获得单元和第一确定单元;

所述获得单元,用于获得成像设备采集可见光信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述可见光信号对应的焦距信息;

所述第一确定单元,用于根据所述聚焦统计信息所包括的焦距信息,确定所述可见光图像中的目标物体相对于成像设备的当前物距信息;或者

所述获得单元,用于获得成像设备采集热成像信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述热成像信号对应的焦距信息;

所述第一确定单元,用于根据所述聚焦统计信息所包括的焦距信息,确定所述热成像图像中的目标物体相对于成像设备的当前物距信息。

可选的,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述第一叠加模块包括第一转换单元和第一叠加单元;

所述第一转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像;

所述第一叠加单元,用于将所述第一区域图像叠加至所述第一转换图像中,得到包含画中画区域图像的融合图像;

或者,

所述第一叠加模块包括第二转换单元和第二叠加单元;

所述第二转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像;

所述第二叠加单元,用于将所述第二转换图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像。

可选的,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述第一转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述可见光图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述可见光图像,得到所述热成像图像视角的第一转换图像;

所述第二转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述第一区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述第一区域图像,得到所述可见光图像视角的第二转换图像。

可选的,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述第二叠加模块包括第三转换单元和第三叠加单元;

所述第三转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像;

所述第三叠加单元,用于将所述第二区域图像叠加至所述第三转换图像中,得到包含画中画区域图像的融合图像;

或者,

所述第二叠加模块包括第四转换单元和第四叠加单元;

所述第四转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像;

所述第四叠加单元,用于将所述第四转换图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述第三转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述热成像图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述热成像图像,得到所述可见光图像视角的第三转换图像;

所述第四转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述第二区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述第二区域图像,得到所述热成像图像视角的第四转换图像。

可选的,所述装置还包括信息确定模块;

所述信息确定模块,用于确定成像设备采集可见光信号过程中的聚焦区域信息;

所述第一提取模块包括第一提取单元和第二确定单元;

所述第一提取单元,用于从所述热成像图像中提取与所述聚焦区域信息对应的对应区域图像;

所述第二确定单元,用于将所述对应区域图像确定为所述画中画区域对应的第一区域图像;

所述第二提取模块包括第二提取单元和第三确定单元;

所述第二提取单元,用于从所述可见光图像中提取出根据所述聚焦区域信息确定的聚焦区域图像;

所述第三确定单元,用于将所述聚焦区域图像确定为所述画中画区域对应的第二区域图像。

可选的,所述第一叠加模块包括第一滤除单元和第五叠加单元;

所述第一滤除单元,用于滤除所述可见光图像中与所述第一区域图像对应的区域图像的低频信息;

所述第五叠加单元,用于根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像;

所述第二叠加模块包括第二滤除单元和第六叠加单元;

所述第二滤除单元,用于滤除所述第二区域图像的低频信息;

所述第六叠加单元,用于根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,所述第一叠加模块在根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像的过程中,所利用公式为:

fus=firpip+λ·Η{vispip}+vispip'

其中,所述fus表示所述融合图像,所述firpip表示所述第一区域图像,所述vispip表示所述可见光图像中与所述第一区域图像对应区域的图像,所述vispip'表示所述可见光图像中除与所述第一区域图像对应区域的图像外的图像,Η{·}表示高通滤波,λ表示预设融合参数;

所述第二叠加模块在根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像的过程中,所利用公式为:

fus=fir+λ·Η{vispip}

其中,所述fus表示所述融合图像,所述fir表示所述热成像图像,所述vispip表示所述第二区域图像,Η{·}表示高通滤波,λ表示预设融合参数。

另一方面,本发明实施例提供了一种红外热像仪,包括:可见光传感器、红外光传感器、处理器和显示器;

所述可见光传感器,用于采集可见光信号,并对所述可见光信号进行第一图像预处理,生成可见光图像并输入所述处理器;

所述红外光传感器,用于采集对应的红外光信号,并对所述红外光信号进行第二图像预处理,生成热成像图像并输入所述处理器;

所述处理器,用于获得可见光图像以及所对应的热成像图像,并获得当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;从所述热成像图像中提取画中画区域对应的第一区域图像;根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像;或者,从所述可见光图像中提取出所述画中画区域对应的第二区域图像;根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像;并输出所述融合图像至所述显示器;

所述显示器,用于显示所述融合图像。

在本方案中,首先获得可见光图像、所对应的热成像图像及当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;从热成像图像中提取画中画区域对应的第一区域图像;根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像;或者从可见光图像中提取出画中画区域对应的第二区域图像;根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像;进一步的,显示融合图像。可见,对于所得到的包含画中画区域图像的融合图像来说,其画中画区域图像为可见光图像和对应的热成像图像进行叠加生成,增强了画中画区域图像中的目标物体的细节的反映能力,提高了画中画区域图像中的目标物体的清晰度,并且,考虑到可见光图像和热成像图像存在视角偏差,先根据目标配准参数对两张图像进行配准,再进行图片叠加,使得所形成的融合图像效果更好,利用预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定目标配准参数,节省了设备的生产成本。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种红外热像仪的图像显示方法的流程示意图;

图2为本发明实施例提供的另一种红外热像仪的图像显示方法的流程示意图;

图3为对应的可见光图像和热成像图像之间的匹配点对标定的示意图;

图4为本发明实施例提供的一种红外热像仪的图像显示装置的结构示意图;

图5为本发明实施例提供的另一种红外热像仪的图像显示装置的结构示意图;

图6为本发明实施例提供的一种红外热像仪的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供了一种红外热像仪的图像显示方法、装置及红外热像仪,以生成融合效果更好的融合图像。

下面首先对本发明实施例所提供的一种红外热像仪的图像显示方法进行介绍。

如图1所示,本发明实施例提供了一种红外热像仪的图像显示方法,可以包括如下步骤:

S101:获得可见光图像以及所对应的热成像图像,并获得当前物距信息;

可以理解的是,红外热像仪可以通过成像设备(例如可见光采集设备)采集可见光信号,并对该可见光信号进行第一图像预处理,得到可见光图像,其中,该第一图像预处理可以包括曝光(自动或非自动)、聚焦(自动或非自动)、去马赛克以及去噪等处理。该可见光采集设备可以是可见光传感器。

可以通过成像设备(例如红外光采集设备)采集红外光信号,并对该红外光信号进行第二图像预处理,得到热成像图像,其中,该第二图像预处理可以包括非均匀矫正、AGC(Automatic Gain Control,自动增益控制)以及伪彩色等处理。其中,该红外光采集设备可以是远红外探测器。

在一种具体实现方式中,在成像设备采集可见光信号的过程中,可以获得可见光图像中的目标物体相对于成像设备的当前物距信息。所述获得当前物距信息的步骤,可以包括:

获得成像设备采集可见光信号过程中的聚焦统计信息,其中,该聚焦统计信息包括采集可见光信号对应的焦距信息;

根据聚焦统计信息所包括的焦距信息,确定可见光图像中的目标物体相对于成像设备的当前物距信息;或者

获得成像设备采集热成像信号过程中的聚焦统计信息,其中,该聚焦统计信息包括采集热成像信号对应的焦距信息;

根据聚焦统计信息所包括的焦距信息,确定热成像图像中的目标物体相对于成像设备的当前物距信息。

利用成像设备采集可见光信号或热成像信号过程中,需要对目标物体进行聚焦,统计聚焦过程中的聚焦统计信息,该聚焦统计信息中包括采集可见光信号时的焦距信息,或包括采集热成像信号时的焦距信息,即包括对目标物体进行聚焦时对应的焦距信息。可以利用现有技术,根据该焦距信息,确定目标物体相对于成像设备的当前物距信息。其中,该焦距信息为使得所生成的可见光图像中的目标物体最清晰的信息,并且,可以通过现有技术确定该使得所生成的可见光图像中的目标物体最清晰的焦距信息,在此不做赘述。

其中,直接利用成像设备采集可见光信号或热成像信号过程中的聚焦统计信息中所包括的焦距信息,即可确定当前物距信息,无需再增加其他测量物距设备(例如激光测距设备),节省了红外热像仪的制作成本。

S102:根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;

其中,可以是红外热像仪中预先存储有物距信息与配准参数的对应关系,当然,为了节省红外热像仪的存储空间,物距信息与配准参数的对应关系也可以存储于能够与该红外热像仪相连接的其他存储设备中,这也是可以的。

该预先存储的物距信息与配准参数的对应关系中,可能会匹配不到实际所得到的可见光图像中的目标物体相对于成像设备的当前物距信息,此时,可以依据各物距信息之间的对应关系,确定当前物距信息对应的目标配准参数。其中,物距信息与配准参数的对应关系可以依据现有技术进行确定,任一能够确定物距信息与配准参数的对应关系的方式都可以应用于本发明实施例中。

本发明实施例并不对S202与S203的执行顺序进行限定,可以先后执行(但执行顺序不定),可以同时执行,这都是可以的。

针对同一红外热像仪,不同物距信息下,可见光图像与对应的热成像图像的视角转换关系不同,即对应的将不同视角的图像转换为同一视角的图像的配准参数不同。换言之,针对同一红外热像仪,不同的物距信息对应不同的配准参数。下面通过具体实施例介绍物距信息与配准参数的对应关系的一种确定方式:

成像设备在与目标物体相距一定距离处,对该目标物体进行拍摄,得到该目标物体对应的可见光图像与热成像图像,在所得到的可见光图像与热成像图像上,选取至少2组匹配点对,其中,选取匹配点对的过程可借助Matlab工具箱函数实现,该一定距离即为可见光图像中的目标物体相对于成像设备的物距信息。如图3所示,其中左图为可见光图像,右图为热成像图像。在图3中列举出了4组匹配点对,其中,可见光图像中从左到右的四个点分别与热成像图像中的从左到右的四个点相对应,形成4组匹配点对。

在此可以随机选取其中的2组匹配点对,计算在上述的物距信息下的两张图片之间的配准参数。

A、设可见光图像与热成像图像上的2组匹配点对分别为:visPoint1、firPoint1;visPoint2、firPoint2,有如下关系:

其中,所述fir(n)row表示热成像图像上的第n组匹配点对应的行数,所述fir(n)col表示热成像图像上的第n组匹配点对应的列数;vis(n)row表示可见光图像上的第n组匹配点对应的行数,所述vis(n)col表示可见光图像上的第n组匹配点对应的列数;mij表示变换矩阵参数。其中,此处的变换矩阵参数即对应上述提到的配准参数。

B、根据上述匹配点之间的关系,通过最小二乘法,即可得到变换矩阵参数:

其中,此时选取2组匹配点对,N此时取2。

C、重复A、B两个步骤,获取不同物距信息下的变换矩阵Mi,其中i表示距离(单位:米),Mi表示在i米距离下的变换矩阵,其中,变换矩阵Mi中包含上述变换矩阵参数。

D、将当前物距信息d与标定的物距信息进行比较,根据预先存储的物距信息与配准参数的对应关系,计算得到在该当前物距信息d下的目标配准参数MP:其中,可以存在

MP=Mx,

其中,表示向上取整。

S103:从热成像图像中提取画中画区域对应的第一区域图像;

需要说明的是,该画中画区域对应的第一区域图像可以是该整幅热成像图像,也可以是该热成像图像中的部分图像,这都是可以的。其中,该画中画区域可以是红外热像仪默认设定的区域,也可以是用户根据实际情况,自主选定的该热成像图像中的相应区域。其中,用户可以通过输入相应坐标参数的方式选择对应的画中画区域,也可以是通过触屏滑动选择对应的画中画区域,或者可以是通过选中预设的图像框,利用该预设的图像框进行画中画区域的选择,等等,本发明实施例并不对选择画中画区域的方式进行限定,凡是能选择出画中画区域的方式都可以应用于本发明实施例中。

具体的,本发明实施例中,可以由用户根据实际情况,自主选定画中画区域,增加了画中画区域选择的灵活性,可以满足用户的各种需求。并且,可以支持触屏控制功能,使得相对操作更加直观且便捷。

S104:根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像;

可以理解的是,对于可见光图像与热成像图像来说,其是通过不同的成像设备所采集生成的,不可避免的,不同的成像设备针对同一目标物体所形成的图像会存在视角偏差。从热成像图像中提取出第一区域图像后,根据目标配准参数,将该第一区域图像叠加至该可见光图像中,即将该第一区域图像与该可见光图像中的与该第一区域图像对应的区域图像进行配准后,即将可见光图像与热成像图像转换为同一视角后,再进行叠加,可以得到效果更好的融合图像。其中,叠加过程可以采用现有技术,将配准后的第一区域图像与对应的区域图像逐像素叠加。具体的,叠加后所得到的融合图像中既包含画中画区域图像,又包含作为外围图像的可见光图像,其中,该外围图像为可见光图像中除画中画区域图像外的图像。

在一种具体实现方式中,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像的步骤,可以包括:

依据目标配准参数中所包括的视角转换关系,将可见光图像视角的可见光图像转换为热成像图像视角的第一转换图像;

将第一区域图像叠加至第一转换图像中,得到包含画中画区域图像的融合图像;或

依据目标配准参数中所包括的视角转换关系,将热成像图像视角的第一区域图像转换为可见光图像视角的第二转换图像;

将第二转换图像叠加至可见光图像中,得到包含画中画区域图像的融合图像。

需要说明的是,针对同一红外热像仪来说,一般情况下,其针对可见光信号的成像设备以及针对红外光信号的成像设备之间的相对距离是确定不变的,具体的,相对于不同物距信息下的配准参数是相对不变的,即物距信息与配准参数存在对应关系。根据预先存储有物距信息与配准参数的对应关系以及所确定出的当前物距信息,确定对应的目标配准参数。进一步的,根据目标配准参数中所包括的视角转换关系,将不同视角的两张图像转换到同一视角后,再进行相应位置的叠加。具体的,可以将可见光图像视角的可见光图像转换为热成像图像视角的第一转换图像,然后将第一区域图像叠加至第一转换图像中,得到包含画中画区域图像的融合图像;或者将热成像图像视角的第一区域图像转换为可见光图像视角的第二转换图像,然后将第二转换图像叠加至该可见光图像中,这都是可以的。

在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述依据目标配准参数中所包括的视角转换关系,将可见光图像视角的可见光图像转换为热成像图像视角的第一转换图像的步骤,可以包括:

依据水平缩放因子和垂直缩放因子,放缩可见光图像视角的可见光图像,并依据水平偏移量和垂直偏移量,平移可见光图像视角的可见光图像,得到热成像图像视角的第一转换图像;

所述依据目标配准参数中所包括的视角转换关系,将热成像图像视角的第一区域图像转换为可见光图像视角的第二转换图像的步骤,包括:

依据水平缩放因子和垂直缩放因子,放缩热成像图像视角的第一区域图像,并依据水平偏移量和垂直偏移量,平移热成像图像视角的第一区域图像,得到可见光图像视角的第二转换图像。

可以理解的是,该目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量,通过现有技术可知,该目标配准参数还可以包括六个元素,即水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量,再加上旋转因子以及投影因子,其中,旋转因子以及投影因子均可依据现有技术进行计算,在此不做赘述。并且,根据水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量对图像进行转换的过程与现有技术相同,在此不做赘述。

另外,本发明实施例并不对配准参数中所包含的元素个数进行限定,任何能够使得可见光图像视角的图像与热成像图像视角的图像进行配准的元素,都可以作为配准参数中的元素。

另外,可以理解的是,将可见光图像视角的可见光图像转换为热成像图像视角的热成像图像,与将热成像图像视角的热成像图像转换为可见光图像视角的可见光图像的过程是互逆的。举例而言,当可见光图像视角的可见光图像转换为热成像图像视角的热成像图像时,需要缩小可见光图像,当热成像图像视角的热成像图像转换为可见光图像视角的可见光图像时,则需要放大热成像图像。

S105:显示融合图像。

可以通过现有技术显示融合图像。其中,可以在红外热像仪内置的显示器显示该融合图像,也可以在红外热像仪外联的显示器显示该融合图像。另外的,在显示融合图像的同时,还可以显示关于该融合图像的各种参数,如:画中画区域图像中所包含的目标物体各部位对应的温度参数,等等这都是可以的。同时,还可以显示与用户交互过程中的交互参数,如:用户选择画中画区域对应的第一区域图像所对应的坐标参数,等等。

或者,

如图2所示,本发明实施例中所提供红外热像仪的图像显示方法可以包括如下步骤;

S201:获得可见光图像以及所对应的热成像图像,并获得当前物距信息;

S202:根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;

其中,该S201、S202分别与上述的S101、S102所实现效果相同,对于S201、S202的描述,可以分别参照对S101、S102的描述,在此不做赘述。

S203:从可见光图像中提取出画中画区域对应的第二区域图像;

S204:根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像;

可以理解的是,后续形成的画中画区域图像,是由可见光图像与对应的热成像图像的进行叠加而成的图像,对于画中画区域对应的区域图像,可以是从热成像图像中提取的第一区域图像,进一步的,根据目标配准参数,将所提取的第一区域图像叠加至可见光图像中;也可以是从可见光图像中提取的第二区域图像,进一步的,根据目标配准参数,将所提取的第二区域图像叠加至热成像图像中,这都是可以的。

其中,从可见光图像中提取出画中画区域对应的第二区域图像的实现方式与从热成像图像中提取画中画区域对应的第一区域图像的实现方式相同,在此不做赘述。并且,将第二区域图像叠加至热成像图像的实现方式与将第一区域图像叠加至可见光图像的实现方式也相同,在此不做赘述。

在一种具体实现方式中,在根据目标配准参数,将第二区域图像叠加至热成像图像中时,既可以将热成像图像视角的热成像图像视角的热成像图像转换为可见光图像视角的第三转换图像,也可以将可见光图像视角的第二区域图像转换为热成像图像视角的第四转换图像,然后将转换后的图像,与对应的另一种图像进行叠加。

所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像的步骤,包括:

依据目标配准参数中所包括的视角转换关系,将热成像图像视角的热成像图像转换为可见光图像视角的第三转换图像;

将第二区域图像叠加至第三转换图像中,得到包含画中画区域图像的融合图像;或

依据目标配准参数中所包括的视角转换关系,将可见光图像视角的第二区域图像转换为热成像图像视角的第四转换图像;

将第四转换图像叠加至热成像图像中,得到包含画中画区域图像的融合图像。

在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述依据目标配准参数中所包括的视角转换关系,将热成像图像视角的热成像图像转换为可见光图像视角的第三转换图像的步骤,包括:

依据水平缩放因子和垂直缩放因子,放缩热成像图像视角的热成像图像,并依据水平偏移量和垂直偏移量,平移热成像图像视角的热成像图像,得到可见光图像视角的第三转换图像;

所述依据目标配准参数中所包括的视角转换关系,将可见光图像视角的第二区域图像转换为热成像图像视角的第四转换图像的步骤,包括:

依据水平缩放因子和垂直缩放因子,放缩可见光图像视角的第二区域图像,并依据水平偏移量和垂直偏移量,平移可见光图像视角的第二区域图像,得到热成像图像视角的第四转换图像。

S205:显示融合图像。

可以通过现有技术显示融合图像,具体实现方式与S105相同,在此不做赘述。

应用本发明实施例,获得可见光图像、所对应的热成像图像及当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;从热成像图像中提取画中画区域对应的第一区域图像;根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像;或者从可见光图像中提取出画中画区域对应的第二区域图像;根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像;进一步的,显示融合图像。可见,对于所得到的包含画中画区域图像的融合图像来说,其画中画区域图像为可见光图像和对应的热成像图像进行叠加生成,增强了画中画区域图像中的目标物体的细节的反映能力,提高了画中画区域图像中的目标物体的清晰度,并且,考虑到可见光图像和热成像图像存在视角偏差,先根据目标配准参数对两张图像进行配准,再进行图片叠加,使得所形成的融合图像效果更好,利用预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定目标配准参数,节省了设备的生产成本。

在一种具体实现方式中,为了使得画中画区域图像更清晰,在采集可见光信号时,可以通过用户自主选择重点聚焦区域,并获得该用户自主选择重点聚焦区域的相关信息(后续提到的聚焦区域信息),后续的根据该相关信息确定画中画区域,进一步的对应形成画中画区域图像。此时,既可以实现由用户自主选择画中画区域图像的效果,又可以使得所形成的画中画区域图像更清晰。具体的,所述方法还包括:

确定成像设备采集可见光信号过程中的聚焦区域信息;

所述从热成像图像中提取画中画区域对应的第一区域图像的步骤,包括:

从热成像图像中提取与聚焦区域信息对应的区域图像;

将区域图像确定为画中画区域对应的第一区域图像;

所述从可见光图像中提取出画中画区域对应的第二区域图像的步骤,包括:

从可见光图像中提取出根据聚焦区域信息确定的聚焦区域图像;

将聚焦区域图像确定为画中画区域对应的第二区域图像。

在一种具体实现方式中,所述根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像的步骤,可以包括:

滤除可见光图像中与第一区域图像对应的区域图像的低频信息;

根据目标配准参数,将第一区域图像叠加至滤除该低频信息的可见光图像中,得到包含画中画区域图像的融合图像;

所述根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像的步骤,可以包括:

滤除第二区域图像的低频信息;

根据目标配准参数,将滤除低频信息的第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像。

以将第一区域图像叠加至可见光图像中为例说明:

对于热成像图像来说,其主要是通过图像颜色来体现目标物体的温度信息,进而根据温度信息可以确定目标物体是否出现问题。如果第一区域图像叠加至可见光图像中,可见光图像本身存在的目标物体的颜色信息会影响热成像图像中目标物体的温度信息的体现,使得热成像图像中目标物体的温度信息不准确,为了解决这一问题,本发明实施例可以滤除该可见光图像中与第一区域图像对应的区域图像的低频信息,将第一区域图像叠加至滤除该低频信息的可见光图像中。其中,滤除第二区域图像的低频信息,即提取出第二区域图像中的高频信息,并保留该高频信息对应的图像,而该可见光图像除该与第一区域图像对应的区域图像以外的图像可以保存所有信息(包括高频信息和低频信息)。可以理解的是,该低频信息中包含可见光图像对应的亮度信息,而该高频信息主要包含目标物体的边缘信息,进而,将第一区域图像叠加至滤除该低频信息的可见光图像中后,不仅增加了画中画区域图像中的目标物体的细节信息的反映,并且不会影响第一区域图像中的目标物体的温度信息的体现。

另外的,也可以是直接提取该可见光图像的高频信息,并保留该高频信息对应的图像,即将该可见光图像的低频信息完全滤除,然后将第一区域图像叠加至该仅剩高频信息的可见光图像中,这也是可以的。

在一种具体实现方式中,将第一区域图像叠加至该可见光图像中可以存在多种实现方式,例如:直接将上述对应区域的像素点的像素值进行叠加,或者,为对应区域的像素点分别设置的权重值,将对应像素点的像素值乘以相应的权重值后,再进行叠加,等等。第二区域图像叠加至热成像图像同理。本发明实施例中提供了一种叠加公式,具体的,所述根据目标配准参数,将第一区域图像叠加至滤除该低频信息的可见光图像中,得到包含画中画区域图像的融合图像所利用公式可以为:

fus=firpip+λ·Η{vispip}+vispip'

其中,所述fus表示所述融合图像,所述firpip表示所述第一区域图像,所述vispip表示所述可见光图像中与所述第一区域图像对应区域的图像,所述vispip'表示所述可见光图像中除与所述第一区域图像对应区域的图像外的图像,Η{·}表示高通滤波,λ表示预设融合参数;

所述根据目标配准参数,将滤除低频信息的第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像所利用公式可以为:

fus=fir+λ·Η{vispip}

其中,所述fus表示所述融合图像,所述fir表示所述热成像图像,所述vispip表示所述第二区域图像,Η{·}表示高通滤波,λ表示预设融合参数。

其中,该预设融合参数λ可以由红外热像仪默认设定,也可以由用户根据实际情况自主设定。

相应于上述方法实施例,本发明实施例提供了一种红外热像仪的图像显示装置,如图4所示,所述装置可以包括:

第一获得模块410,用于获得可见光图像以及所对应的热成像图像;

第二获得模块420,用于获得当前物距信息;

确定模块430,用于根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;

第一提取模块440,用于从所述热成像图像中提取画中画区域对应的第一区域图像;

第一叠加模块450,用于根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像;

显示模块460,用于显示所述融合图像。

或者,

如图5所示,所述装置可以包括:

第一获得模块410,用于获得可见光图像以及所对应的热成像图像;

第二获得模块420,用于获得当前物距信息;

确定模块430,用于根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;

第二提取模块540,用于从所述可见光图像中提取出所述画中画区域对应的第二区域图像;

第二叠加模块550,用于根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像;

显示模块460,用于显示所述融合图像。

应用本发明实施例,获得可见光图像、所对应的热成像图像及当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;从热成像图像中提取画中画区域对应的第一区域图像;根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像;或者从可见光图像中提取出画中画区域对应的第二区域图像;根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像;进一步的,显示融合图像。可见,对于所得到的包含画中画区域图像的融合图像来说,其画中画区域图像为可见光图像和对应的热成像图像进行叠加生成,增强了画中画区域图像中的目标物体的细节的反映能力,提高了画中画区域图像中的目标物体的清晰度,并且,考虑到可见光图像和热成像图像存在视角偏差,先根据目标配准参数对两张图像进行配准,再进行图片叠加,使得所形成的融合图像效果更好,利用预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定目标配准参数,节省了设备的生产成本。

在一种具体实现方式中,所述第二获得模块420包括:获得单元和第一确定单元;

所述获得单元,用于获得成像设备采集可见光信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述可见光信号对应的焦距信息;

所述第一确定单元,用于根据所述聚焦统计信息所包括的焦距信息,确定所述可见光图像中的目标物体相对于成像设备的当前物距信息;或者

所述获得单元,用于获得成像设备采集热成像信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述热成像信号对应的焦距信息;

所述第一确定单元,用于根据所述聚焦统计信息所包括的焦距信息,确定所述热成像图像中的目标物体相对于成像设备的当前物距信息。

在一种具体实现方式中,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述第一叠加模块450包括第一转换单元和第一叠加单元;

所述第一转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像;

所述第一叠加单元,用于将所述第一区域图像叠加至所述第一转换图像中,得到包含画中画区域图像的融合图像;

或者,

所述第一叠加模块450包括第二转换单元和第二叠加单元;

所述第二转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像;

所述第二叠加单元,用于将所述第二转换图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像。

在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述第一转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述可见光图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述可见光图像,得到所述热成像图像视角的第一转换图像;

所述第二转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述第一区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述第一区域图像,得到所述可见光图像视角的第二转换图像。

在一种具体实现方式中,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;

所述第二叠加模块550包括第三转换单元和第三叠加单元;

所述第三转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像;

所述第三叠加单元,用于将所述第二区域图像叠加至所述第三转换图像中,得到包含画中画区域图像的融合图像;

或者,

所述第二叠加模块550包括第四转换单元和第四叠加单元;

所述第四转换单元,用于依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像;

所述第四叠加单元,用于将所述第四转换图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;

所述第三转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述热成像图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述热成像图像,得到所述可见光图像视角的第三转换图像;

所述第四转换单元,具体用于依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述第二区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述第二区域图像,得到所述热成像图像视角的第四转换图像。

在一种具体实现方式中,所述装置还包括信息确定模块;

所述信息确定模块,用于确定成像设备采集可见光信号过程中的聚焦区域信息;

所述第一提取模块440包括第一提取单元和第二确定单元;

所述第一提取单元,用于从所述热成像图像中提取与所述聚焦区域信息对应的对应区域图像;

所述第二确定单元,用于将所述对应区域图像确定为所述画中画区域对应的第一区域图像;

所述第二提取模块540包括第二提取单元和第三确定单元;

所述第二提取单元,用于从所述可见光图像中提取出根据所述聚焦区域信息确定的聚焦区域图像;

所述第三确定单元,用于将所述聚焦区域图像确定为所述画中画区域对应的第二区域图像。

在一种具体实现方式中,所述第一叠加模块440包括第一滤除单元和第五叠加单元;

所述第一滤除单元,用于滤除所述可见光图像中与所述第一区域图像对应的区域图像的低频信息;

所述第五叠加单元,用于根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像;

所述第二叠加模块540包括第二滤除单元和第六叠加单元;

所述第二滤除单元,用于滤除所述第二区域图像的低频信息;

所述第六叠加单元,用于根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

在一种具体实现方式中,所述第一叠加模块440在根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像的过程中,所利用公式为:

fus=firpip+λ·Η{vispip}+vispip'

其中,所述fus表示所述融合图像,所述firpip表示所述第一区域图像,所述vispip表示所述可见光图像中与所述第一区域图像对应区域的图像,所述vispip'表示所述可见光图像中除与所述第一区域图像对应区域的图像外的图像,Η{·}表示高通滤波,λ表示预设融合参数;

所述第二叠加模块540在根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像的过程中,所利用公式为:

fus=fir+λ·Η{vispip}

其中,所述fus表示所述融合图像,所述fir表示所述热成像图像,所述vispip表示所述第二区域图像,Η{·}表示高通滤波,λ表示预设融合参数。

相应于上述方法实施例,本发明实施例还提供了一种红外热像仪,如图6所示,包括:可见光传感器610、红外光传感器620、处理器630和显示器640;

所述可见光传感器610,用于采集可见光信号,并对所述可见光信号进行第一图像预处理,生成可见光图像并输入所述处理器;

所述红外光传感器620,用于采集对应的红外光信号,并对所述红外光信号进行第二图像预处理,生成热成像图像并输入所述处理器;

所述处理器630,用于获得可见光图像以及所对应的热成像图像,并获得当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及所述当前物距信息,确定出目标配准参数;从所述热成像图像中提取画中画区域对应的第一区域图像;根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像;或者,从所述可见光图像中提取出所述画中画区域对应的第二区域图像;根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像;并输出所述融合图像至所述显示器;

所述显示器640,用于显示所述融合图像。

应用本发明实施例,获得可见光图像、所对应的热成像图像及当前物距信息;根据预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定出目标配准参数;从热成像图像中提取画中画区域对应的第一区域图像;根据目标配准参数,将第一区域图像叠加至可见光图像中,得到包含画中画区域图像的融合图像;或者从可见光图像中提取出画中画区域对应的第二区域图像;根据目标配准参数,将第二区域图像叠加至热成像图像中,得到包含画中画区域图像的融合图像;进一步的,显示融合图像。可见,对于所得到的包含画中画区域图像的融合图像来说,其画中画区域图像为可见光图像和对应的热成像图像进行叠加生成,增强了画中画区域图像中的目标物体的细节的反映能力,提高了画中画区域图像中的目标物体的清晰度,并且,考虑到可见光图像和热成像图像的视场角不同,先根据目标配准参数对两张图像进行配准,再进行图片叠加,使得所形成的融合图像效果更好,利用预先储存的物距信息与配准参数的对应关系以及当前物距信息,确定目标配准参数,节省了设备的生产成本。

可选的,在一种具体实现方式中,所述处理器630具体用于:获得成像设备采集可见光信号过程中的聚焦统计信息,其中,所述聚焦统计信息包括采集所述可见光信号对应的焦距信息,或包括采集所述热成像信号对应的焦距信息;根据所述聚焦统计信息所包括的焦距信息,确定所述可见光图像中的目标物体相对于成像设备的当前物距信息。

可选的,在一种具体实现方式中,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;所述处理器630具体用于:依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像;将所述第一区域图像叠加至所述第一转换图像中,得到包含画中画区域图像的融合图像;或

依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像;将所述第二转换图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像。

可选的,在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;所述处理器630依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述可见光图像转换为所述热成像图像视角的第一转换图像的过程,包括依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述可见光图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述可见光图像,得到所述热成像图像视角的第一转换图像;所述处理器630依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述第一区域图像转换为所述可见光图像视角的第二转换图像的过程,包括依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述第一区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述第一区域图像,得到所述可见光图像视角的第二转换图像。

可选的,在一种具体实现方式中,所述目标配准参数包括:热成像图像视角与可见光图像视角的视角转换关系;所述处理器630具体用于:依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像;将所述第二区域图像叠加至所述第三转换图像中,得到包含画中画区域图像的融合图像;或

依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像;将所述第四转换图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,在一种具体实现方式中,所述目标配准参数包括:水平缩放因子、垂直缩放因子、水平偏移量和垂直偏移量;所述处理器630依据所述目标配准参数中所包括的视角转换关系,将所述热成像图像视角的所述热成像图像转换为所述可见光图像视角的第三转换图像的过程包括:依据所述水平缩放因子和所述垂直缩放因子,放缩所述热成像图像视角的所述热成像图像,并依据所述水平偏移量和所述垂直偏移量,平移所述热成像图像视角的所述热成像图像,得到所述可见光图像视角的第三转换图像;所述处理器630依据所述目标配准参数中所包括的视角转换关系,将所述可见光图像视角的所述第二区域图像转换为所述热成像图像视角的第四转换图像的过程包括:依据所述水平缩放因子和所述垂直缩放因子,放缩所述可见光图像视角的所述第二区域图像,并依据所述水平偏移量和所述垂直偏移量,平移所述可见光图像视角的所述第二区域图像,得到所述热成像图像视角的第四转换图像。

可选的,在一种具体实现方式中,所述处理器630还用于:确定成像设备采集可见光信号过程中的聚焦区域信息;相应的,所述处理器630从所述热成像图像中提取画中画区域对应的第一区域图像的过程包括:从所述热成像图像中提取与所述聚焦区域信息对应的对应区域图像;将所述对应区域图像确定为所述画中画区域对应的第一区域图像;相应的,所述处理器630从所述可见光图像中提取出所述画中画区域对应的第二区域图像的过程包括:从所述可见光图像中提取出根据所述聚焦区域信息确定的聚焦区域图像;将所述聚焦区域图像确定为所述画中画区域对应的第二区域图像。

可选的,在一种具体实现方式中,所述处理器630根据所述目标配准参数,将所述第一区域图像叠加至所述可见光图像中,得到包含画中画区域图像的融合图像的过程包括:滤除所述可见光图像中与所述第一区域图像对应的区域图像的低频信息;根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像;所述处理器630根据所述目标配准参数,将所述第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像的过程包括:滤除所述第二区域图像的低频信息;根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像。

可选的,在一种具体实现方式中,所述处理器630根据所述目标配准参数,将所述第一区域图像叠加至滤除所述低频信息的可见光图像中,得到包含画中画区域图像的所述融合图像所利用公式为:

fus=firpip+λ·Η{vispip}+vispip'

其中,所述fus表示所述融合图像,所述firpip表示所述第一区域图像,所述vispip表示所述可见光图像中与所述第一区域图像对应区域的图像,所述vispip'表示所述可见光图像中除与所述第一区域图像对应区域的图像外的图像,Η{·}表示高通滤波,λ表示预设融合参数;所述处理器630根据所述目标配准参数,将滤除所述低频信息的第二区域图像叠加至所述热成像图像中,得到包含画中画区域图像的融合图像所利用公式为:

fus=fir+λ·Η{vispip}

其中,所述fus表示所述融合图像,所述fir表示所述热成像图像,所述vispip表示所述第二区域图像,Η{·}表示高通滤波,λ表示预设融合参数。

对于系统/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号