混合视触动觉信息的导盲杖镜助视系统及方法

技术领域

本发明涉及盲人日常生活领域，具体地，涉及混合视触动觉信息的导盲杖镜助视系统及方法，更为具体地，涉及用于在日常生活中的帮助盲人行动的混合视触动觉信息的导盲杖镜助视设备。

背景技术

眼是大脑功能的延伸，眼特有的精细视觉敏感度，是人不可或缺的视觉器官，在我们日常生活占据十分重要的作用。而在我们的现实生活中，我国还有很多视觉的缺陷者，在他们其中的大部分都完全丧失了视力能力，无论是先天身体的不足造成的，还是后天的一些意外造成的，完全丧失视力能力都对他们的日常生活形成了巨大的生活障碍。随着现代社会的发展，越来越多的道路的建设，越来越多的和以往不同的新型事物的出现，对外出的盲人所造成的识别性的困难越来越多。所以我们需要新的外在设备帮助盲人识别外在的物体的距离以及所在位置，将位置实时的传递给盲人，使得在外界的环境下，使得盲人具有更好的适应性。

传统的盲人导盲设备，也就是木制或者铁制的拐杖，在现在的环境下，难以提供足够的信息反馈给盲人，造成盲人行动性不及时，增添诸多不便。科技的进步下，产生了导盲眼镜这一先进的导盲设备，针对非透明等物体具有良好的识别性，但随着半透明性或者近乎透明物体的应用，单纯的依据图像相机的导盲眼镜难以满足要求。由于无论是透明物体还是半透明物体，在超声波的检测下，都会形成一定的检测反馈，使用超声波检测的优点加上图像相机的优点，就会使得绝大多物体都能够被很好的检测出来，形成一个完整的物体检测网。所以视觉导盲眼镜和导盲杖相组合的导盲设备能够很好的适应复杂的各种环境，并且对于长时间使用拐杖的盲人来说，他们对这种组合的接受程度更好。使用导盲眼镜来进行提醒，可以大大减少外在环境的其他的干扰，使得信息传递的准确性得以保障。

专利文献CN111840016A(申请号：202010719699.2)公开了一种灵活可配置可拆卸式盲人智能导盲装置，包括安装在导盲杖上的模块和安装在盲人眼镜上的模块，所有模块均进行封装形成带标准接口的小盒形状，采用固定卡扣进行安装。安装在导盲杖上的装置包括主控制模块、可定制化避障模块和蓝牙模块，避障模块分别为摄像头模块、前方避障模块、左右方避障模块、和底部路面检测模块。摄像头模块和前方避障模块综合检测一米以外前方障碍物类型和距离，左右方避障模块用于检测左右方有无障碍物，底部路面检测模块用于检测前方路面平整度。安装在盲人佩戴的眼镜上的设备包括等人高避障模块和语音模块。等人高避障模块能测量悬空障碍物，语音模块通过蓝牙方式与主控制单元进行通讯，引导盲人绕开障碍物。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种混合视触动觉信息的导盲杖镜助视系统及方法。

根据本发明提供的一种混合视触动觉信息的导盲杖镜助视系统，包括：

模块M1：利用视觉辅助眼镜本体获取环境实时感知的视觉信息；

模块M2：利用导盲杖本体获取环境感知的触觉与动觉信息；

模块M3：将环境感知的触觉与动觉信息与环境实时感知的视觉信息进行整合，并利用已经训练好的神经网络对整合后的信息进行实时的判断，识别外在环境物体的实时位置，并将判断的结果传递给佩戴者，从而实现对盲人的路径导盲。

优选地，所述视觉辅助眼镜包括图像相机，所述图像相机用来采集使用者身边物体的实时图像信息。

优选地，所述导盲杖本体包括超声波检测模块组；所述超声波检测模块组采集使用者身边的物体的实时距离信息；

所述超声波检测模块组包括多个超声波检测模块，分别用来检测路面的倾斜程序以及检测不同高度的物体。

优选地，所述导盲杖采用可伸缩设计，方便自由携带和使用；同时导盲杖的末端采用橡胶材料。

优选地，通过无线模块实现视觉辅助眼镜和导盲杖的信息交互。

优选地，所述模块M3采用：

模块M3.1：超声波检测模块组将采集到的信息传入导盲杖的控制模块中，导盲杖的控制模块将采集到的信息进行整合，得到整合后的信息；

模块M3.2：将整合后的信息通过无线模块传输至视觉辅助眼镜的控制模块中；

模块M3.3：视觉辅助眼镜的控制模块将图像相机获得的图像信息以及导盲杖的控制模块整合后的信息进行整合，再将整合后的图像输入训练后的神经网络进行实时性的判断，输出判断的结果，从而准确的判断使用者身边的环境信息。

优选地，所述控制模块包括GPS导航控制模块，GPS导航控制模块通过语音模块输入导航地图的具体信息，通过无线传输模块、GPS导航控制模块以及语音模块输出，指导使用者进行实时的路径导航。

优选地，所述导盲眼镜还包括振动提醒模块和语音提醒模块；基于振动提醒模块和/或语音提醒模块，使得提醒信息更加准确具体化；

所述振动提醒模块是根据物体距离盲人的远近使用不同的振动频率对盲人进行提醒；

所述语音提醒模块根据识别外在物体的结果对使用者进行语音提醒，同时也能够实现对使用者的语音指令进行控制。

根据本发明提供的一种混合视触动觉信息的导盲杖镜助视方法，包括：

步骤S1：利用视觉辅助眼镜本体获取环境实时感知的视觉信息；

步骤S2：利用导盲杖本体获取环境感知的触觉与动觉信息；

步骤S3：将环境感知的触觉与动觉信息与环境实时感知的视觉信息进行整合，并利用已经训练好的神经网络对整合后的信息进行实时的判断，识别外在环境物体的实时位置，并将判断的结果传递给佩戴者，从而实现对盲人的路径导盲。

优选地，所述视觉辅助眼镜包括图像相机，所述图像相机用来采集使用者身边物体的实时图像信息；

所述导盲杖本体包括超声波检测模块组；所述超声波检测模块组采集使用者身边的物体的实时距离信息；

所述超声波检测模块组包括多个超声波检测模块，分别用来检测路面的倾斜程序以及检测不同高度的物体；

所述步骤S3采用：

步骤S3.1：超声波检测模块组将采集到的信息传入导盲杖的控制模块中，导盲杖的控制模块将采集到的信息进行整合，得到整合后的信息；

步骤S3.2：将整合后的信息通过无线模块传输至视觉辅助眼镜的控制模块中；

步骤S3.3：视觉辅助眼镜的控制模块将图像相机获得的图像信息以及导盲杖的控制模块整合后的信息进行整合，再将整合后的图像输入训练后的神经网络进行实时性的判断，输出判断的结果，从而准确的判断使用者身边的环境信息。

与现有技术相比，本发明具有如下的有益效果：

1、本发明没有采用单一的外在设备，采用导盲杖和导盲眼镜相配合的方式，相比于单一的外在辅助设备，对盲人来说具备更好的适应性；

2、本发明采用将超声波设备转移到导盲杖上，减少了合成到单一设备的重量。使得各个部位的承受力比较均匀；

3、本发明采用电池后加在导盲眼镜上的方法，可以减轻前端鼻梁的受力，使得一部分的重量由脖子来受力，即可以使得使用感觉更加舒服，也可以使得可用电池含量大大增加；

4、本发明采用的为超声波检测模块和图像相机模块相结合的方式，弥补了之前针对透明、半透明物体检测困难等问题，使得检测效果更好；

5、本发明中采用的控制器均为STM32系列，STM32系列控制器具有很好的可塑性，能够进行自主的进行各项功能的开发，对各种检测模块和无线传输模块有很好的适配性，使用效果良好；

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的提供一种混合视触动觉信息的导盲杖镜助视设备的整体示意图。

图2为本发明提供的提供一种混合视触动觉信息的导盲杖镜助视设备的控制系统总体框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明涉及复杂室内外环境下智能视觉辅助设备领域，提供了一种混合视触动觉信息的导盲杖镜助视设备，包括视觉辅助眼镜本体、导盲杖本体以及集成化控制系统；其中，所述的视觉辅助眼镜本体是可以拆卸的，可以装载在普通的眼镜上，用于提供环境实时感知视觉信息，包括有眼镜外壳、图像相机、开发板、电源模块，所述的导盲杖本体用于提供环境感知的触觉与动觉信息，包括有可伸缩的连杆主体、超声波模块、电源模块以及用于和辅助眼镜交换数据的无线设备模块等；所述的导盲眼镜控制系统包括控制模块、检测模块和传输模块，由超声波采集的外在物体的信号，经过一系列的数据转换之后，通过无线蓝牙传输模块，导入到导盲眼睛中，与导盲眼镜中的相机采集的图像数据进行整合，从而能识别外在环境物体的实时位置，再将信息数据转换到导盲眼镜中的中心处理板上面，中心处理板上集成了已经训练好的一些神经网络模型，进行判断，将判断的结果通过语音和振动的方式，传递给佩戴者，实时提醒佩戴者具体的前进方向或者提醒外在物体的实时位置，从而实现对盲人的路径导盲。本发明采用导盲眼镜和导盲杖相结合的方式，与传统的单一的导盲设备相比，更加适用于习惯了手中物体探路的视觉不佳者，将一些设备分开再导盲杖和导盲眼镜上，减轻了其中任何一种的重量，减轻了使用者单个部位的受力状况。本发明采用图像识别和超声波检测相结合的方式，增加了对透明物体的识别度，增加了设备的识别正确性。

根据本发明提供的一种混合视触动觉信息的导盲杖镜助视系统，如图1所示，包括：

模块M1：利用视觉辅助眼镜本体获取环境实时感知的视觉信息；

模块M2：利用导盲杖本体获取环境感知的触觉与动觉信息；

模块M3：将环境感知的触觉与动觉信息与环境实时感知的视觉信息进行整合，并利用已经训练好的神经网络对整合后的信息进行实时的判断，识别外在环境物体的实时位置，并将判断的结果传递给佩戴者，从而实现对盲人的路径导盲。

具体地，所述视觉辅助眼镜包括图像相机，所述图像相机用来采集使用者身边物体的实时图像信息。

具体地，所述导盲杖本体包括超声波检测模块组；所述超声波检测模块组采集使用者身边的物体的实时距离信息；

所述超声波检测模块组包括多个超声波检测模块，分别用来检测路面的倾斜程序以及检测不同高度的物体。

具体地，所述导盲杖采用可伸缩设计，方便自由携带和使用；同时导盲杖的末端采用橡胶材料。

具体地，通过无线模块实现视觉辅助眼镜和导盲杖的信息交互。

具体地，所述模块M3采用：

模块M3.1：超声波检测模块组将采集到的信息传入导盲杖的控制模块中，导盲杖的控制模块将采集到的信息进行整合，得到整合后的信息；

模块M3.2：将整合后的信息通过无线模块传输至视觉辅助眼镜的控制模块中；

模块M3.3：视觉辅助眼镜的控制模块将图像相机获得的图像信息以及导盲杖的控制模块整合后的信息进行整合，再将整合后的图像输入训练后的神经网络进行实时性的判断，输出判断的结果，从而准确的判断使用者身边的环境信息。

具体地，所述控制模块包括GPS导航控制模块，GPS导航控制模块通过语音模块输入导航地图的具体信息，通过无线传输模块、GPS导航控制模块以及语音模块输出，指导使用者进行实时的路径导航。

具体地，所述导盲眼镜还包括振动提醒模块和语音提醒模块；基于振动提醒模块和/或语音提醒模块，使得提醒信息更加准确具体化；

所述振动提醒模块是根据物体距离盲人的远近使用不同的振动频率对盲人进行提醒；

所述语音提醒模块根据识别外在物体的结果对使用者进行语音提醒，同时也能够实现对使用者的语音指令进行控制。

根据本发明提供的一种混合视触动觉信息的导盲杖镜助视方法，如图2所示，包括：

步骤S1：利用视觉辅助眼镜本体获取环境实时感知的视觉信息；

步骤S2：利用导盲杖本体获取环境感知的触觉与动觉信息；

步骤S3：将环境感知的触觉与动觉信息与环境实时感知的视觉信息进行整合，并利用已经训练好的神经网络对整合后的信息进行实时的判断，识别外在环境物体的实时位置，并将判断的结果传递给佩戴者，从而实现对盲人的路径导盲。

具体地，所述视觉辅助眼镜包括图像相机，所述图像相机用来采集使用者身边物体的实时图像信息。

具体地，所述导盲杖本体包括超声波检测模块组；所述超声波检测模块组采集使用者身边的物体的实时距离信息；

所述超声波检测模块组包括多个超声波检测模块，分别用来检测路面的倾斜程序以及检测不同高度的物体。

具体地，所述导盲杖采用可伸缩设计，方便自由携带和使用；同时导盲杖的末端采用橡胶材料。

具体地，通过无线模块实现视觉辅助眼镜和导盲杖的信息交互。

具体地，所述步骤S3采用：

步骤S3.1：超声波检测模块组将采集到的信息传入导盲杖的控制模块中，导盲杖的控制模块将采集到的信息进行整合，得到整合后的信息；

步骤S3.2：将整合后的信息通过无线模块传输至视觉辅助眼镜的控制模块中；

步骤S3.3：视觉辅助眼镜的控制模块将图像相机获得的图像信息以及导盲杖的控制模块整合后的信息进行整合，再将整合后的图像输入训练后的神经网络进行实时性的判断，输出判断的结果，从而准确的判断使用者身边的环境信息。

具体地，所述控制模块包括GPS导航控制模块，GPS导航控制模块通过语音模块输入导航地图的具体信息，通过无线传输模块、GPS导航控制模块以及语音模块输出，指导使用者进行实时的路径导航。

具体地，所述导盲眼镜还包括振动提醒模块和语音提醒模块；基于振动提醒模块和/或语音提醒模块，使得提醒信息更加准确具体化；

所述振动提醒模块是根据物体距离盲人的远近使用不同的振动频率对盲人进行提醒；

所述语音提醒模块根据识别外在物体的结果对使用者进行语音提醒，同时也能够实现对使用者的语音指令进行控制。

实施例2是实施例1的优选例

根据本发明提供的一种视觉导盲眼镜和导盲杖相组合的导盲设备，包括：

视觉辅助眼镜本体：眼镜包括用于提供电源与减轻佩戴者鼻梁受力的后端电源部分和用于承载图像相机和各类控制器的前端部分；其中，所述的后端电源部分主要采用体积小、容量大和软体的电池组成，主要是用于提供眼镜所需要的电源，使用人体脖子的受力，减少佩戴者的鼻梁受力。

导盲杖本体：导盲杖包括用于动觉检测超声波检测器模块、电源模块、主控制器和无线模块。无线模块是用于进行导盲眼镜和导盲杖的信息的交互。

集成化控制系统：控制系统包括检测模块、无线模块和控制模块三大部分，其中检测模块包括导盲杖中的超声波检测模块和导盲眼镜中图像相机。

超声波检测模块主要采集使用者身边的物体的实时距离信息，所述的导盲杖中的超声波检测模块组由四个超声波检测模块组成，超声波检测模块1主要是用来检测路面的倾斜程度，由灵活的转轮挂载在导盲杖上，使得在一定程度上对路面始终是相对水平，可以使得使用者在一定的程度上不必水平的拿着导盲杖，超声波检测模块2-4，主要是用来检测不同高度的物体，增加了前面物体检测的范围。图像相机主要采集使用者身边物体的实时图像信息。

无线模块包括导盲杖中的无线蓝牙传输模块和导盲眼镜中的无线蓝牙和WiFi一体化模块，上述无线蓝牙传输模块和一体化模块用于在导盲杖和导盲眼镜之间的信息传输以及导盲眼镜和云端的通信。

控制模块主要是stm32为核心，附加上GPS导航控制模块，上述超声波检测模块将采集的信息传入导盲杖中的stm32中，上述stm32将信息进行整合判断，并将整合后的信息通过蓝牙传送模块发送到眼镜中，与上述图像相机获得的图像信息在导盲眼镜中的stm32进行整合，准确的判断使用身边的环境信息。上述的GPS模块主要和语音模块、WiFi和stm32联合使用，通过语音模块进行输入，确定打开导航模式，通过WiFi模块，与云端或手机应用端进行联系，得到使用者想要导航地图的具体信息，再返回到导盲眼镜当中，通过stm32、GPS导航模块和语音模块进行输出，指导使用者进行实时的路径导航。

具体地，所述的导盲杖中采用的为可伸缩的三节式设计，可以方便的自由的进行携带和使用，以提供给使用者以触觉的传感，增大了便利性。导盲杖的最后端采用橡胶材料，防止过于强烈的碰撞损坏导盲杖中的精密仪器，也可以减少使用触碰外界物体的时候，减少不必要的物体损坏。

具体地，所述的导盲杖中采用的超声波模块为HC-SR04超声波模块，无线蓝牙模块采用的为HC-05蓝牙串口通信模块。HC-SR04超声波测距模块可提供2cm-400cm非接触式测距功能，测距精度可达3mm，该模块包括超声波发生、接受和控制电路。

超声波测距模块的一般公式计算：

D＝s*t(1)

其中D是经过的距离，s是声速，t是经过的时间。在干燥的空气中，声速约为343.2米/秒。传感器和障碍物之间的距离是声波传播距离的一半。因此(1)中的距离为

每个超声传感器利用(2)计算出到障碍物的距离D。

HC-05蓝牙串口通信模块是一款高性能主从一体蓝牙串口模块，是一种集成蓝牙功能的PCBA板，较适用于短距离无线通信，所述上述的超声波模块和无线通信模块价格不高，且满足设计的需要，具有很高的性价比。

具体地，所述的导盲杖的主控制采用STM32,可以和上述的超声波模块和无线蓝牙模块很好的搭配使用，采用较为简单的、集成度不高的STM32系列，可以满足所述导盲杖的设计目标，也满足于减少的所述的导盲杖的外观要求，尽量使得导盲杖的外观变得轻便，便于盲人使用。

具体地，所述的导盲眼镜中采用的主控制板为STM32，其上面上集成了无线蓝牙和WiFi模块以及GPS导航模块。

无线蓝牙和WiFi模块：无线蓝牙用于接受所述导盲杖中的超声波检测模块的检测结果，将结果传递到所述的导盲眼镜中的主控制板上，与图像相机的信号进行汇总分析，得出实时的外接环境的信息。WiFi模块用于和云端或者应用端进行联网，可以得到更加庞大的数据库，提供使用者更强的使用功能。所述的无线蓝牙和WiFi模块为集成一体化的模块，共同集成在所述的导盲眼镜中的主控制板上。

GPS导航模块：所述的GPS导航模块采用的是Air530，Air530模块是一款高性能、高集成度的多模卫星定位导航模块。体积小、功耗低，提供超高的性能，即使在弱信号的地方，也能快速、准确的定位，也能够和所述的主控制器stm32很好的连接使用。与所述的语音模块、中央处理器和无线WiFi模块形成一体使用，使用者可以通过所述的语音模块进行导航模式的开启，打开导航模式之后，所述的中央处理器和GPS导航模块，共同作用。通过WiFi模块，从云端或者应用端进行导航地图数据的获得，返回到导盲眼镜的GPS导航模块中，然后通过所述的语音输出模块进行输出，告诉盲人实时的前进路线。

具体地，所述的导盲眼镜上增加了和上述主控制板相适应的振动提醒模块和语音提醒模块，上述的两种模块可以在更加复杂的情况下，通过组合提醒的方式，使得提醒信息更加准确具体化。

振动模块：所述振动模块为SW-1801P模块，具备信号干净，波形好，驱动能力强等特点，主要是根据物体距离盲人的远近，来使用振动的方式来对盲人进行提醒，振动模块在导盲眼镜的左右两边，采用两边的设计，主要可以给使用者更加具体的方式来提醒，使用者距离物体远近不同，振动模块的振动频率也不同，也一定的近距离范围内，距离越近，振动频率越快，可以给与使用者，更明显的提醒。

语音模块：所述的语音模块为WTK6900B01语音识别模块，可以通过语音指令控制输出，从而可以控制是否打开导航模式，也可以通过单片机串口控制播放指定语音，支持语言较多，增加存储容量，非特定人语音识别。在所述的特性下可以根据识别外在物体的结果，对使用者进行语音提醒，也可以对使用者的语音指令进行控制，使得导盲设备组，具备更好的交互性。

具体地，所述的导盲眼睛眼镜上所采用的图像相机为RGB图像相机,将上述RGB相机所得的外在视觉信息和所述的导盲杖中超声波检测模块所得的动觉信息进行融合，所得到的检测的准确度，能够满足绝大多数情况下的使用。

具体地，所述的导盲眼镜中的电源采用的为后挂式，将电源通过连接线连接到眼镜上，减少了导盲眼镜前端本体的重量，采用脖子来受力，从而使得会有更加充足的导盲眼镜中的空间，使得导盲眼镜的设计和使用更加合理。且后挂式的电池，使得电池的外在体积的增加，也就可以合适的增大电池的容量，增大使用的时间。

具体地，所述的上述所有设备，在打开电源开关之后，导盲杖和导盲眼镜将对外在环境进行独立的检测，再通过所述的蓝牙模块，对信息进行汇总，将实时外在环境进行判断，并将信息反馈给使用者。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。