生成健康评估报告的方法、系统及存储介质

技术领域

本公开涉及计算机技术领域，特别涉及一种生成健康评估报告的方法、系统及存储介质。

背景技术

当今社会人们越来越关注自身的健康情况，传统的获取自身健康情况的途径便是前往医院或体检机构进行检查。前往体检机构或是医院获取自身健康状况往往需要耗费数天时间，且需要花费高昂的检查费用。

随着智能传感器技术的发展，一些医用级的智能传感器被应用到智能手表、智能称等智能设备中，人们足不出户就可以获取自己的心电图、心率、体脂率等指标。

发明内容

发明人发现，在相关技术中，仅根据心电数据、心率数据、体脂数据等传感数据，难以准确、全面地评估用户的健康状况。

为此，本公开实施例根据用户健康状况相关的传感数据并结合身体部位的图像，准确地和全面地评估用户的健康状况。

根据本公开的一些实施例，提供一种生成健康评估报告的方法，包括：获取用户健康状况相关的传感数据；采集用户的身体部位的图像；根据所述传感数据和用户的身体部位的图像，生成用户的健康评估报告。

在一些实施例中，所述采集用户的身体部位的图像包括：检测身体部位的关键点坐标；根据身体部位的关键点坐标，调整预览框的位置；在身体部位的图像完整地显示在预览框中的情况下，采集身体部位的图像。

在一些实施例中，所述根据身体部位的关键点坐标，调整预览框的位置包括：确定将身体部位的关键点坐标从屏幕坐标系下变换到预览坐标系下的变换坐标；根据所述变换坐标，调整预览框的位置。

在一些实施例中，还包括：对用户的身体部位的图像进行灰度处理，得到灰度图像；对所述灰度图像进行卷积处理；计算卷积处理后的灰度图像的方差；在所述方差大于预设阈值的情况下，执行生成用户的健康评估报告的步骤；在所述方差不大于预设阈值的情况下，重复执行采集用户的身体部位的图像的步骤。

在一些实施例中，还包括：在对用户的身体部位的图像进行灰度处理之前，对用户的身体部位的图像进行抽帧处理和缩小处理中的一项或多项。

在一些实施例中，还包括：检测用户的身体部位的左旋转角和右旋转角；在所述身体部位的左旋转角和右旋转角在预设范围内的情况下，执行采集用户的身体部位的图像的步骤；在所述身体部位的左旋转角或右旋转角不在预设范围内的情况下，提示用户旋转身体部位，重复执行检测用户的身体部位的左旋转角和右旋转角的步骤。

在一些实施例中，还包括：计算包围用户身体部位的包围框大小与预览框大小的比值；在所述比值在预设范围内的情况下，执行采集用户的身体部位的图像的步骤；在所述比值不在预设范围内的情况下，提示用户靠近或远离摄像头，重复执行计算包围框大小与预览框大小的比值的步骤。

在一些实施例中，所述身体部位包括人脸或者舌部。

根据本公开的又一些实施例，提供一种生成健康评估报告的系统，包括：

传感器，用于采集用户健康状况相关的传感数据；

摄像头，用于采集用户的身体部位的图像；

处理器，被配置为执行任一实施例所述的生成健康评估报告的方法。

在一些实施例中，传感器控制模块还包括以下的一种或多种：工频陷波器，用于滤除传感数据的工频干扰；滤波器，用于滤除传感数据的肌电信号干扰；信号放大器，用于进行信号增益放大；信号转换器，用于将传感数据从模拟信号转换成数字信号。

在一些实施例中，所述传感器包括心电图ECG传感器、光电容积脉搏波描记PPG传感器、生物电阻抗测量BIM传感器中的一种或多种。

在一些实施例中，还包括：语音交互模块，被配置为发送语音提示，以提示用户调整位姿。

根据本公开的再一些实施例，提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的生成健康评估报告的方法。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出根据本公开的一些实施例的生成健康评估报告的方法的流程示意图。

图2示出根据本公开的一些实施例的采集用户的身体部位的图像的方法的流程示意图。

图3a示出根据本公开的一些实施例的具有低身高的用户U1的脸部无法正常显示在预览框的示意图。

图3b示出根据本公开的一些实施例的采集用户U1的脸部的示意图。

图4a示出根据本公开的一些实施例的具有高身高的用户U2的脸部无法正常显示在预览框的示意图。

图4b示出根据本公开的一些实施例的采集用户U2的脸部的示意图。

图5示出根据本公开的另一些实施例的生成健康评估报告的方法的示意图。

图6示出根据本公开的一些实施例的判断图像的方差是否大于预设阈值的流程示意图。

图7示出根据本公开的又一些实施例的生成健康评估报告的方法的示意图。

图8示出根据本公开的再一些实施例的生成健康评估报告的方法的示意图。

图9示出根据本公开的又再一些实施例的生成健康评估报告的方法的示意图。

图10示出根据本公开的一些实施例的生成健康评估报告的系统的示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

图1示出根据本公开的一些实施例的生成健康评估报告的方法的流程示意图。该方法例如可以由生成健康评估报告的系统执行。

如图1所示，该实施例的方法包括步骤120-160。

在步骤120，获取用户健康状况相关的传感数据。

传感数据例如可以从心电图(Electro-Car-Diogram，ECG)传感器、光电容积脉搏波描记(Photo-Plethysmo-Graphic，PPG)传感器、生物电阻抗测量(BioelectricImpedance Measurement，BIM)传感器等医用级的智能人体传感器获取，但不限于所举示例。这些传感器具有低功耗、小尺寸、低成本、高精度的特点，可以被广泛应用到智能手机、智能手表、智能手环、智能称中，由此可以使得生成健康评估报告的系统从这些智能设备方便获取。

在一些实施例中，还可以对传感数据进行如下处理中的一项或多项：使用工频陷波器滤除传感数据的工频干扰，使用滤波器(例如巴特沃斯低通滤波器)滤除传感数据的肌电信号干扰，使用信号放大器进行信号增益放大，使用信号转换器将传感器模拟信号转换成数字信号。

在步骤140，采集用户的身体部位的图像。

采集用户的身体部位的图像包括采集脸部、舌部、或者其他身体部位的图像。例如，可以使用工业级高清1100万像素摄像头模组完成人体脸部、舌部等身体部位的图像采集。

在步骤160，根据传感数据和用户的身体部位的图像，生成用户的健康评估报告。

根据传感数据获取用户的心率、心电图、呼吸率、体脂率、血氧浓度、血压等生理指标的检测值，根据用户的各个身体部位的图像通过专家知识分析得到用户的循环系统、呼吸系统、消化系统、内分泌系统、免疫系统、骨骼系统、皮肤系统和营养状态等项目的评估得分。因此，用户的健康评估报告例如可以包括用户的心率、心电图、呼吸率、体脂率、血氧浓度、血压等生理指标的检测值，循环系统、呼吸系统、消化系统、内分泌系统、免疫系统、骨骼系统、皮肤系统和营养状态的综合评估得分，以及身体健康状况得分等内容。

此外，不仅可以根据最新的传感数据和用户的身体部位的图像，还可以结合历史的传感数据和用户的身体部位的图像，确定健康状况变化情况，并记录在用户的健康评估报告中。

此外，可以定期地采集用户的传感数据和身体部位的图像，定期地生成健康评估报告，使得用户及时了解其健康状况。

此外，健康评估报告可以电子方式生成并保存，方便用户查找，并方便专家根据用户历史的健康状况分析健康状况变化情况，并在健康状况向着恶化方向发展时，及时提醒用户。

上述实施例中，结合用户的传感数据和用户的身体部位的图像共同生成用户的健康评估报告，与仅依靠传感器获取的数据分析用户的健康状况的方式相比，健康评估结果更准确更全面。同时，与通过传统体检机构或医院获取健康评估报告的方式相比，通过该实施例生成健康评估报告的方法既节省成本又节省时间。该实施例的方法可以自动生成健康评估报告，使得用户可以方便获取自己全面的健康状况，并依据该健康评估报告选择是否需要进一步实地就医。

图2示出根据本公开的一些实施例的采集用户的身体部位的图像的方法的流程示意图。

如图2所示，该实施例的方法是对图1实施例中步骤140的进一步说明，包括步骤141-143。

在步骤141，检测身体部位的关键点坐标。

身体部位的关键点坐标例如可以脸部或舌部的关键点(例如脸部左上角)坐标，例如将该关键点坐标标记为D(x

在步骤142，根据身体部位的关键点坐标，调整预览框的位置。

在一些实施例中，根据身体部位的关键点坐标，调整预览框的位置包括：确定将身体部位的关键点坐标从屏幕坐标系下变换到预览坐标系下的变换坐标；根据变换坐标，调整预览框的位置。

在步骤143，在身体部位的图像完整地显示在预览框中的情况下，采集身体部位的图像。

在一些实施例中，调整完毕后，即在身体部位的图像完整地显示在预览框中的情况下，通过语音提示用户即将进行脸部拍照，拍照完成后语音提示用户伸出舌头，使用舌头检测模型处理预览图像，检测到舌头伸出时语音提示用户保持不动并完成拍照。之后将采集的脸部和舌部照片上传给处理器进行处理，进一步生成健康评估报告。

上述实施例通过调整预览框的位置，以使得用户的身体部位(脸部或舌部)的图像完整地显示在预览框中，使用户明确知道身体部位已被采集到，避免用户不停地调整位置，从而提高采集效率，同时可以提高不同身高用户的拍照体验。相比物理拍摄角度固定的摄像头，本实施例的方法可以使得不同身高的用户的身体部位可以在预览框中正常预览。相比采用动态调整摄像头角度的方法实现用户的身体部位正常预览，需要采用价格高昂的可调角度摄像头，设备模具也需要增加对应的结构支撑，该实施例的方法极大地降低了成本。

下面分别以具有低身高的用户U1和高身高的用户U2为例，说明调整预览框的方法。

图3a示出根据本公开的一些实施例的具有低身高的用户U1的脸部无法正常显示在预览框的示意图。

由于摄像头的物理拍摄角度是固定的，如果采用传统的摄像头的预览方式，当用户身高较低时就会出现图3a图所示的头像出现在预览区域下方无法正常预览的情况，影响用户使用系统的用户体验。

图3b示出根据本公开的一些实施例的采集用户U1的脸部的示意图。

如图3b所示，屏幕左上角为坐标原点，标记为A点(0，0)，摄像头预览框(左上角的坐标标记为B(x

根据不同身高用户的头部位置动态调整摄像头预览框位置使得头部图像始终在中心镂空处显示的原理即使用获取的D点坐标计算出B点坐标来调整摄像头预览框的位置。因为E和C是接近重合的，根据坐标转换有m/n(x

当用户U1的身高150cm时，D点坐标例如为(610，610)，则(x

通过上述公式，计算B点坐标(x

图4a示出根据本公开的一些实施例的具有高身高的用户U2的脸部无法正常显示在预览框的示意图。

用户身高较高时在预览区域内会表现为图4a所示的头顶着预览框顶部无法正常预览的情况，影响用户使用系统的用户体验。

图4b示出根据本公开的一些实施例的采集用户U2的脸部的示意图。

当用户U2的身高例如为180cm时，D点坐标例如为(610，10)，则(x

通过上述公式，计算B点坐标(x

图5示出根据本公开的另一些实施例的生成健康评估报告的方法的示意图。

如图5所示，该实施例的方法包括步骤120-160。

图5的实施例与图1的实施例的区别仅在于还包括步骤150。下面将重点描述图5与图1的不同之处，相同之处不再赘述。

在步骤120，获取用户健康状况相关的传感数据。

在步骤140，采集用户的身体部位的图像。

在步骤150，判断图像的方差是否大于预设阈值。

图6示出根据本公开的一些实施例的判断图像的方差是否大于预设阈值的流程示意图。

如图6所示，步骤150包括151-157。

在步骤151，对用户的身体部位的图像进行抽帧处理。

假设摄像头每秒采集30帧预览图像，对30帧预览图像进行抽帧处理抽取10帧图像进行后续步骤152-157的处理。进行抽帧处理可以提高计算速度，从而满足图像采集的实时性要求，提升用户体验。

在步骤152，对用户的身体部位的图像缩小处理。

缩小处理可以提高计算速度，从而满足图像采集的实时性要求，提升用户体验。

在步骤153，对用户的身体部位的图像进行灰度处理，得到灰度图像。

灰度处理可以减少计算量，从而提高计算速度，满足图像采集的实时性要求，提升用户体验。

在步骤154，对灰度图像进行卷积处理。

例如，可以使用拉普拉斯算子作为卷积核对灰度图像做卷积处理。假设卷积核矩阵表示为

D

D

D

D

在步骤155，计算卷积处理后的灰度图像的方差。

根据卷积处理后的灰度图像矩阵中的所有元素计算方差。

将方差与设置的预设阈值进行比较，方差大于预设阈值则说明图像的清晰度满足预设要求，方差不大于预设阈值则说明图像的清晰度不能满足预设要求，还需要重新采集。

在步骤156，在方差大于预设阈值的情况下，执行步骤160。

在步骤157，在方差不大于预设阈值的情况下，重复执行步骤155。

在步骤160，根据传感数据和用户的身体部位的图像，生成用户的健康评估报告。

上述实施例中，通过计算用户的身体部位的图像的方差，确定预备采集的图像是否满足预设的清晰度要求，为生成健康评估报告奠定了基础，可以提高健康评估报告的准确性。

图7示出根据本公开的又一些实施例的生成健康评估报告的方法的示意图。

如图7所示，该实施例的方法包括步骤120-160。

图7的实施例与图1的实施例的区别仅在于还包括步骤130。下面将仅描述图7与图1的不同之处，相同之处不再赘述。

在步骤120，获取用户健康状况相关的传感数据。

在步骤130，检测用户的身体部位的左旋转角和右旋转角是否在预设范围内。

例如，可以使用开源的计算机视觉库(Open Source Computer Vision Library，openCV)的关键点检测方法获取脸部的左眼角、右眼角、鼻尖、左嘴角、右嘴角和下颌以及舌部的左上角、右上角、中心点、2/3舌部左坐标、2/3舌部右等关键点的坐标，使用openCV可分别计算出脸部和舌部的左右旋转角，可设置脸部、舌部的左右旋转角度的预设范围为小于等于15°，即假如计算得到脸部或舌部向左旋转的角度大于15°时判定需要提示用户向右旋转脸部或舌部，假如计算得到脸部或舌部向右旋转角度大于15°时判定需要用户向左旋转脸部或舌部。

在身体部位的左旋转角和右旋转角在预设范围内的情况下，执行步骤140。

在身体部位的左旋转角或右旋转角不在预设范围内的情况下，提示用户旋转身体部位，重复执行步骤130。

在步骤140，采集用户的身体部位的图像；

在步骤160，根据传感数据和用户的身体部位的图像，生成用户的健康评估报告。

上述实施例中，提高判断用户的身体部位的左旋转角和右旋转角是否在预设范围内，可以自动提示用户向左或向右旋转身体部位(例如脸部或舌部)，使用户明确知道身体部位的角度是否满足要求，避免用户不停地调整角度，从而提高采集效率，同时还可以提高用户的拍照体验。

图8示出根据本公开的再一些实施例的生成健康评估报告的方法的示意图。

如图8所示，该实施例的方法包括步骤120-160。

图8的实施例与图1的实施例的区别仅在于还包括步骤130’。下面将仅描述图8与图1的不同之处，相同之处不再赘述。

在步骤120，获取用户健康状况相关的传感数据。

在步骤130’，计算包围用户身体部位的包围框大小与预览框大小的比值是否在预设范围内。

使用openCV的目标检测算法检测脸部或舌部的包围用户身体部位的包围框的大小与图像的预览框大小的比值，例如设置比值的预设范围为1/4-1/2，即当检测结果的比值小于预设范围的最小值时判定用户距离摄像头过远，提示用户靠近摄像头；当检测结果的比值大于预设范围的最大值时判定距离摄像头过近，提示用户远离摄像头。

在比值不在预设范围内的情况下，提示用户靠近或远离摄像头，重复执行步骤130’。

在比值在预设范围内的情况下，执行步骤140。

在步骤140，采集用户的身体部位的图像。

在步骤160，根据传感数据和用户的身体部位的图像，生成用户的健康评估报告。

上述实施例中，可以自动提示用户靠近或远离摄像头，使用户明确知道身体部位与摄像头的距离是否满足要求，避免用户不停地调整位置，从而提高采集效率，同时还可以提高用户的拍照体验。

图9示出根据本公开的又再一些实施例的生成健康评估报告的方法的示意图。

如图9所示，该实施例的方法包括步骤120-160。

在步骤120，获取用户健康状况相关的传感数据。

步骤130和步骤130’的执行不分先后顺序。区别仅在于：如果先执行步骤130，则在身体部位的左旋转角和右旋转角在预设范围内的情况下，执行步骤130’，在比值在预设范围内的情况下，执行步骤140；如果先执行步骤130′，则在比值在预设范围内的情况下，执行步骤130；在身体部位的左旋转角和右旋转角在预设范围内的情况下，执行步骤140。下面给出先执行步骤130的详细说明。先执行步骤130’的实施例可以参照该实施例得到。

在步骤130，检测用户的身体部位的左旋转角和右旋转角是否在预设范围内。

在身体部位的左旋转角或右旋转角不在预设范围内的情况下，提示用户旋转身体部位，重复执行步骤130。

在身体部位的左旋转角和右旋转角在预设范围内的情况下，执行步骤130’。

在步骤130’，计算包围用户身体部位的包围框大小与预览框大小的比值是否在预设范围内。

在比值不在预设范围内的情况下，提示用户靠近或远离摄像头，重复执行步骤130’。

在比值在预设范围内的情况下，执行步骤140。

在步骤140，采集用户的身体部位的图像。

在步骤150，判断图像的方差是否大于预设阈值。

在图像的方差大于预设阈值的情况下，执行步骤160。

在步骤160，根据传感数据和用户的身体部位的图像，生成用户的健康评估报告。

上述实施例中，结合用户的传感数据和用户的身体部位的图像共同生成用户的健康评估报告，与仅依靠传感器获取的数据分析用户的健康状况的方式相比，健康评估结果更准确、全面。通过计算可以确定图像是否清晰，以使得采集的图像可以满足清晰度要求。同时，通过调整预览框的位置，以使得身体部位(脸部或舌部)的图像完整地显示在预览框中，使用户明确知道身体部位已被采集到，避免用户不停地调整位置，从而提高采集效率，还可以提高不同身高用户的拍照体验。另外，还可以自动提示用户向左或向右旋转身体部位、以及靠近或远离摄像头，使用户明确知道身体部位的角度和与摄像头的距离是否满足要求，避免用户不停地调整角度或位置，从而提高采集效率，同时还可以提高用户的拍照体验。

图10示出根据本公开的一些实施例的生成健康评估报告的系统的示意图。

如图10所示，该实施例的生成健康评估报告的系统1000包括：传感器1010、摄像头1020和处理器1030，在一些实施例中，还包括语音交互模块1040。

在一些实施例中，系统运行后，进行系统的初始化，系统初始化可以完成传感器自检、网络状态自检、服务器时间同步、脸部识别服务初始化等初始化工作。初始化成功后进入登录管理界面，登录管理包括脸部识别登陆和用户二维码扫描登录两种方式，登陆成功后得到用户唯一标识。

传感器1010，用于获取用户健康状况相关的传感数据。传感器包括心电图ECG传感器、光电容积脉搏波描记PPG传感器、生物电阻抗测量BIM传感器中的一种或多种。

传感器1010还包括：工频陷波器1011、滤波器1012、信号放大器1013、信号转换器1014中的一种或多种。其中，工频陷波器1011，用于滤除传感数据的工频干扰；滤波器1012，用于滤除传感数据的肌电信号干扰；例如为巴特沃斯低通滤波器信号放大器1013，用于进行信号增益放大；信号转换器1014，用于将传感数据的模拟信号转换成数字信号。

摄像头1020，用于采集用户的身体部位的图像。

处理器1030，被配置为根据传感器获取的传感数据和摄像头采集的图像，生成用户的健康评估报告。

语音交互模块1040，被配置为发送语音提示，以提示用户调整位姿，例如，提示用户旋转身体部位、或者，提示用户靠近或远离摄像头。

上述实施例中，结合用户的传感数据和用户的身体部位的图像共同生成用户的健康评估报告，健康评估结果更准确、全面。通过计算可以确定图像是否清晰，以使得采集的图像可以满足清晰度要求。同时，通过调整预览框的位置，以使得身体部位(脸部或舌部)的图像完整地显示在预览框中，使用户明确知道身体部位已被采集到，避免用户不停地调整位置，从而提高采集效率，还可以提高不同身高用户的拍照体验。另外，还可以自动提示用户向左或向右旋转身体部位、以及靠近或远离摄像头，使用户明确知道身体部位的角度和与摄像头的距离是否满足要求，避免用户不停地调整角度或位置，从而提高采集效率，提升用户的拍照体验。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。