医疗大数据中数据治理方式与治理结果的可视化交互系统

技术领域

本发明涉及医疗大数据技术领域，尤其涉及一种医疗大数据中数据治理方式与治理结果的可视化交互系统。

背景技术

目前医疗数据非结构化的数据量庞大，且不同类型的医疗数据采用的数据库技术不同，数据治理的方式、进度与治理结果不能实时很好的直观展示。通过从过百家机构的多种数据源中获取数据，经过治理以后才能转化为易读取和分析的数据。通过监控治理步骤的完成情况，可实时了解数据治理的方式、进度与治理结果。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种医疗大数据中数据治理方式与治理结果的可视化交互系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种医疗大数据中数据治理方式与治理结果的可视化交互系统，包括：数据管理模块、数据预处理模块、数据分析模块、系统配置管理模块、数据可视化模块、大屏展示端；其中：

数据管理模块，用于添加可视化分析和治理所需的数据；

数据预处理模块，用于对添加的数据进行标准化处理；

数据分析模块，用于对标准化处理后的数据进行质量分析，质量达标后按照结构化与非结构化数据类型进行存储，并对结构化数据进行数据分析，实时动态的呈现数据治理的方式、进度、质量、数据治理对比内容

系统配置管理模块，用于管理用户，并设置用户权限、数据权限、可视化成果阅览权限；

数据可视化模块，用于根据用户权限，进行治理数据的发布，发布后实时通过图形组件进行可视化显示；

大屏展示端，采用响应式布局，用于对通过四个主题对数据治理可视化的结果进行展示，包括“数据治理对比图”、“数据治理进度信息”、“数据接入方式”、“数据输入输入累计量”。

进一步地，本发明的所述数据管理模块中：

通过不同类型的数据源，添加可视化分析和治理所需数据；

通过文件的形式批量导入，添加可视化分析和治理所需数据。

通过SQL创建并将本地数据文件连接数据库后自动将文件中数据增加至数据库，作为可视化分析和治理所需数据集。

进一步地，本发明的所述数据预处理模块中：

将不同形式存储的医疗大数据进行标准化、统一化、规范化处理；

数据治理过程中对海量医疗数据进行存储。

进一步地，本发明的所述数据分析模块中：

治理后根据数据来源，展示不同来源的数据质量；

治理完成且质量达标后结构化与非结构化数据类型的存储；

将结构化的数据，通过数据分析，实时动态的呈现数据治理的方式、进度、质量、数据治理对比内容。

进一步地，本发明的所述系统配置管理模块中：

设置用户权限，发布可视化模块通过设置用户权限的方式授权给其他人查看；

通过新增用户、角色、机构的方式管理系统访问的用户权限、数据权限、可视化成果阅览权限；

配置大数据相关组件，通过在系统管理模块中配置的Hadoop集群以及组件，建立与Hadoop相关组件的连接与操作，支持与非关系型数据库的交互与数据源维护，包括mysql、postgresql、sparksql、presto。

进一步地，本发明的所述数据可视化模块中：

治理后数据通过权限设置，发布后实时进行在线数据分析，并将治理结果通过面积图、柱线组合图、KPI、Javascript、条形图、柱状图、雷达图、玫瑰图、玉玦图、筛选器组件，进行各种数据可视化分析，实现数据治理结果分析后的可视化，通过发布和设置权限的方式实现可视化展示与查看权限。

进一步地，本发明的所述大屏展示端中：

采用响应式布局，支持自定义展示尺寸，适应不同尺寸的屏幕；

支持三种数据类型的治理可视化，分为健康体检、临床数据、病案首页。

进一步地，本发明的所述大屏展示端中：

数据治理对比图：实时动态更新数据；实现实时播放平台数据治理的数据对比图，量化的展示经过数据治理后数据列、数据体积、数据规则发生的变化与对比；

数据治理进度信息：通过柱线组合图的方式，实时播放健康体检、临床数据、病案首页三种不同数据类型的数据治理进度；X轴为年月分布，Y轴分为未治理、治理中、治理完、完成率四个进度的分布情况；通过KPI的方式，实现数据治理流程中的进度展示，流程分为：数据合并、解析有效信息、数据清洗、指标名称统一、数据格式统一、数据脱敏；将数据治理每一个流程的进度按照百分百的方式展示；

数据接入方式：数据治理支持各种数据的接入方式，包括MYSQL、接口、excel、文本、图片、视频、csv，实现对不同医疗数据的接入与治理；

数据输入输出累积量：将历年积累的海量历史医疗数据进行统计，按年份与地区的分布来展示热点图。

本发明产生的有益效果是：本发明的医疗大数据中数据治理方式与治理结果的可视化交互系统，通过对于庞大的医疗数据进行标准规范化治理，要求数据格式经过治理后可形成数据格式的统一，敏感信息去除，数据质量的提升。本发明对于医疗大数据的数据质量，通过治理形成统一化、标准化、规范化、实时可视化，大大提高了对于数据治理进度、结果与治理质量的实时监控。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的BI大屏展示数据治理流程；

图2是本发明实施例的BI大屏展示数据治理页面。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的医疗大数据中数据治理方式与治理结果的可视化交互系统，包括：

数据管理模块：

1)可通过不同类型的数据源(数据库)，添加可视化分析所需数据；

2)可通过文件的形式(如TXT,EXCEL等文件格式都支持)批量导入，添加可视化分析所需数据。

3)可通过SQL创建并将本地数据文件连接数据库后自动将文件中数据增加至数据库，作为可视化分析所需数据集。

数据预处理模块：

1)将不同形式存储的医疗大数据进行标准化、统一化、规范化处理。

2)数据治理过程中对海量医疗数据进行存储。

数据分析模块：

1)治理后根据数据来源，展示不同来源的数据质量。

2)治理完成且质量达标后结构化与非结构化数据类型的存储。

3)将结构化的数据，通过数据分析，实时动态的呈现数据治理的方式，进度，质量，数据治理对比内容。

数据可视化模块：

治理后数据通过权限设置，发布后可实时进行在线数据分析，并将治理结果分析，通过面积图、柱线组合图、KPI、Javascript、条形图、柱状图、雷达图、玫瑰图、玉玦图、筛选器等组件，可支持各种数据可视化分析。实现数据治理结果分析后的可视化，通过发布和设置权限的方式实现可视化展示与查看权限。

系统配置管理模块：

发布可视化模块可通过设置用户权限的方式授权给其他人查看。

可新增用户、角色、机构的方式管理系统访问的用户权限、数据权限、可视化成果阅览权限。

可配置大数据相关组件，支持通过在系统管理中配置的Hadoop集群以及组件相关配置后，建立与Hadoop相关组件的连接与操作。支持与mysql、postgresql、sparksql、presto等非关系型数据库的交互与数据源维护。

大屏展示端：

1、采用响应式布局，支持自定义展示尺寸，可适应不同尺寸的屏幕。

2、支持三种数据类型的治理可视化，分为健康体检、临床数据、病案首页；

3、数据治理可视化四个主题分为“数据治理对比图”“数据治理进度信息”“数据接入方式”“数据输入输入累计量”，实现全面展示数据治理分析过程与结果；

1)数据治理对比图：实时动态更新数据。实现了实时播放平台数据治理的数据对比图，量化的展示了经过数据治理后数据列、数据体积、数据规则发生的变化与对比。

2)数据治理进度信息：通过柱线组合图的方式，实现了实时播放健康体检、临床数据、病案首页三种不同数据类型的数据治理进度。X轴为年月分布，Y轴分为未治理、治理中、治理完、完成率四个进度的分布情况。通过KPI的方式，实现了数据治理流程中的进度展示，流程分为：数据合并、解析有效信息、数据清洗、指标名称统一、数据格式统一、数据脱敏。将数据治理每一个流程的进度按照百分百的方式展示。

3)数据接入方式：数据治理支持各种数据的接入方式MYSQL、接口、excel、文本、图片、视频、csv。实现了对不同医疗数据的接入与治理。

4)数据输入输出累积量：将历年积累的海量历史医疗数据进行统计，可按年份与地区的分布来展示热点图等。

在本发明的具体实施例中，IMA从过百家机构的多种数据源中获取数据，必须通过治理以后才能转化为易读取和分析的数据。通过监控治理完成情况，了解数据治理的进度；数据治理的主要进度有：数据脱敏、数据格式统一、指标名称统一、数据清洗、解析有效信息、数据合并。在本发明实施例的一个具体治理流程中：

第一部分：数据治理前；

数据治理前的主要实现功能一共分为三个模块：数据类型、数据量、数据信息。其中，数据类型可以为：CSV格式数据、文本类型数据(如：TXT)、数据库中的数据(如：Mysql)；数据量：数据的行数和数据的列数；数据信息：标准规则数。

第二部分：数据治理过程；

数据治理中的过程主要分为六个模块：数据脱敏、数据格式统一、指标名称统一、数据清洗、解析有效信息、数据合并；其执行路程为：数据脱敏→数据格式统一→指标名称统一→数据清洗→解析有效信息→数据合并；可分别展示出每个环节中所治理的进度所占总体数据的百分比，同时展示设定目标值，和实际值所占百分比；显示对应时间点上对未治理、治理中、治理完，的柱状图的显示情况，以及当月总体完成率的线型图的展示。

第三部分：数据治理后；

数据治理后的实现过程主要由三个部分组成：数据格式、数据量、数据信息。数据格式经过治理后可形成，数据格式的统一，敏感信息去除，数据质量的提升。数据量：数据行数变化和数据列数变化。数据信息：标准规则数变化。

本发明实施例中采用的技术手段包括：

1.数据可视化模块采用的技术为web前端开发技术，主要有：html、css、js、echart.js、h5、vue、ant-design-vue、vuex、router、mock；

2.数据化分析处理模块采用的技术主要是：在Web Service中，通过对业务机能与基础数据之间的转化，最终生成可视化数据动态展示。其中主要运用的技术为：Maven+SpringBoot+SpringMVC+SpringDataJpa+Redis+Nginx+Shiro+Kafka等；

3.数据存储采用的技术：主要是采用分布式的方式进行存储，适用于复杂数据类型、海量医疗数据、高并发，多人群访问使用；其中主要的运用技术为：Mysql,TDH分布式数据库；HADOOP集群，HDFS分布式文件系统等。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。