非结构化数据

摘要： 如何对海量的非结构化数据进行管理并从中挖掘更大的价值,决定了全球经济下半场的走向。结合全球数据生产与存储现状以及数据管理理论和技术的发展情况,对非结构化数据管理的成因、管理方法和非结构化数据管理发展进行了讨论,并对未来智能化数字管理的建设作出展望。

摘要： 目的:基于BERT对医院近4年的肺部影像非结构化文本报告中的肺结节直径大小进行归类处理,以开发和利用非结构化数据的临床应用效能。方法:通过KETTLE清洗医院近4年有关肺结节的影像文本报告数据,随机选取500个样本报告,对报告中关于肺结节直径大小进行3分类标注,分别是:<8 mm、≥8 mm和未作描述;将标注的样本数据利用第四范式的基于BERT模型的文本分类模块进行自动机器学习,并发布成服务。结果:训练过程中,500个样本报告数据通过自动学习后,模型的准确率达到88.46%;之后对近4年13万份的肺结节报告通过训练后的模型进行了分类推论,并从中随机抽查了500份归类报告(不同于训练用数据),有462份符合实际情况,准确率高达92.40%。结论:BERT在非结构化医疗文本数据处理中更加方便,训练的样本量更少,准确率更高,降低了医疗文本利用最新自然语言处理技术进行学习的门槛。

摘要： 在传统的组合预测模型中,利用的数据大多为结构化数据,然而在网络环境下,非结构化数据广泛存在,因此充分利用非结构化数据所提供的有效信息是预测中要解决的关键问题之一。针对上述问题,文章构建了基于非结构化数据的局部线性嵌入和鲸鱼优化算法的最小二乘支持向量回归(locally linear embedding-whale optimization algorithm-least squares support vector regression,LLE-WOA-LSSVR)碳价格组合预测模型,通过LLE算法对非结构化的高维数据进行降维处理,并利用LSSVR进行预测。考虑到LSSVR模型中参数的选取会对预测结果产生影响,引入WOA算法优化模型中的参数。碳价格预测的实例结果表明,LLE-WOA-LSSVR预测模型可行且有效。

摘要： 内存数据库、文档数据库、列存储数据库等新技术层出不穷。目前数据资源中心通常使用关系型数据库配合其他数据库采用分布式大数据技术混搭的架构构建,这样的技术对数据资源库的使用者和维护者来说,需要掌握不同的技术,压力很大。尝试用NewSQL融合数据库构建数据资源库,一库管理多种类型数据,方便维护和使用。

摘要： 传统的数据模型只能通过文本的形式来对非结构化数据进行存储和组织,同时该形式不仅不能在不同平台之间对数据进行利用,还难以实现更高层次的语义信息表达。因此,文章结合传统数据模型中存在的不足,从Web服务的非机构化数据组织方法与应用方面为切入点,对Web服务以及非结构化数据进行了简单阐述,并提出了面向Web服务的非结构化数据组织与存储的方法,利用数据库属性文件以及数据服务分发结构,AJAX方式完成Web服务中的非结构化数据的应用。

摘要： 大数据环境下,单纯地使用传统审计分析程序已经无法满足财务报表审计的工作需要。大数据在审计分析程序中具有相当的应用必要性,可以提高审计效率和质量。分析程序在财务报表审计过程中的三大应用阶段都可以利用大数据技术,其应用框架大体一致,主要通过数据采集、数据预处理、数据储存、数据分析和分析结果展示5个部分实现。最后,针对当前大数据审计分析的成效和不足,论文提出相关的对策与建议。

摘要： 随着云计算、大数据、人工智能等前沿信息技术的快速发展,数据的研究越来越重要。开展大数据时代的数据研究与应用有利于人们更好地利用数据来改变工作、生活的方方面面。文章采用列举法、对比法和模型分析法,为读者详细地介绍了数据概念、数据类型和数据研究方法,并以房价预测问题为例,建立数据分析模型,介绍了数据分析技术的具体运用。

摘要： 本文运用基于非结构化嵌入技术构建非结构化数据审计逻辑框架,通过分析、整合该逻辑框架内容及逻辑关系,进一步构建非结构化数据数字化审计技术体系框架和实现路径,创新了数字化审计监督方法和手段;在应用实践上以经法合同业务场景为抓手,扩大了数字化审计监督的广度和深度,为非结构化数据数字化审计提供科学的技术方法和可行的操作建议。

摘要： 传统的天然运营系统主要基于报表生成和比对,该方式处理工作量大且仅仅满足日常的运营服务,不能对运营数据加以分析和应用,使其更好地指导生产和决策。基于大数据云平台的天然气运营管理系统将系统搭建于自身的私有云平台之上,通过大数据技术对各种数据进行分析、比对,从而保证了数据安全,提升了运营决策能力,提高了企业的运行效率,降低了企业的运行成本。

摘要： 随着气象信息化飞速发展,数据资料的来源更广、种类更多、频次更高、数量更大,当前数据存储环境技术架构体系以及现有基础设施资源的支撑能力已经不能完全满足海量增长气象大数据的管理需求。为此,介绍了采用分级存储策略利用分布式数据库对气象以及行业结构化数据和非结构化数据进行存储管理,满足数据实时查询检索和统计计算分析的需求。该数据库是自治区目前最为全面的气象基础数据库,为全区部门内外各级用户提供服务支撑。

摘要： 针对当前结构化数据和非结构化数据融合困难,提出了一种采用Word模板构造可扩充的,面向对象的数据模型.其方法是,采用Word可扩充标记语言生成文档模板,对结构化数据关键区域进行标记,采用文档模式解析替换标记内容,非结构化数据根据具体场景自由输入.最后生成完整的Word文档,较好解决了两类数据快速显示和动态更新问题,同时也满足了各种数据融合需求.实例证明基于Word模板的结构化和非结构化数据融合方式是可行的.

摘要： 本文针对非结构化数据管理中存在的问题,分析了西南油气田地质档案非结构化数据管理特点,提出了数据采集、数据存储、数据管理与数据利用的技术架构,并对非结构化数据的管理、应用进行了深刻剖析,总结出了以技术解决方案、行政管理模式和数据服务三位一体的管理模式,为油田地质档案中非结构化数据的管理与应用探索出了一个有效的模式.

摘要： 卫生信息技术的不断渗入,促使医疗数据的类型和规模正以前所未有的速度增长,医疗卫生领域己进入“大数据时代”.它的兴起,为异构医疗数据提供了一个整合、挖掘、共享、“清洗”的平台.其中,非结构化数据蕴含的信息量和应用价值使得如何高效地检索提取显得尤为重要.为此,本文提出使用爬虫技术思想解决非结构化医疗数据的检索问题,大量减少大数据中心庞大资源消耗,并可简化数据资源的应用过程.

摘要： 大数据环境下的非结构化数据的涌现给传统的集成分析方法带来巨大挑战,目前的非结构化处理技术大多针对文本数据,难以有效综合集成应用图像、视频、音频等多种非结构化数据.本文提出了一种基于多维数据模型的非结构化数据集成分析方法.基于该多维数据模型,能够针对文本、图形、图像、音频和视频等内容上没有统一的结构的数据建立统一标准的数据模型,并能够实现不同类型的非结构化数据之间的高效关联和融合.基于多维数据模型还能够为应用层提供统一访问接口,最终实现与非结构化数据源的无缝对接,具有广阔的应用前景.

摘要： 本文提出以Linux平台为基础,运用Rsync技术,结合实际例子来设计和实现主备系统大数据量的非结构化数据同步的实现方法和途径.

摘要： 非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,并且蕴藏着企业提升管理水平的很多重要信息.企业内容管理(ECM)解决方案为企业非结构化数据(文档、电子邮件、网页、XML文件、多媒体、数字资源)的整合、集成、管理、存储提供了全方位的解决方案.根据大亚湾核电站实际情况进行了应用研究,为大亚湾核电站提供了非结构化数据管理解决方案,在一定程度上可以促进电站非结构化数据资产的安全、高效利用,大幅提升非结构化数据的集约化管理水平.rn 本文选择以Documentum产品为底层基础，构建符合大亚湾核电文档管理需求的文档管理系统。并且为了保证产品能够很好地支撑企业业务，满足电厂在非功能性方面的特殊要求，对其产品中的每一层进行了二次设计。而且基于成熟产品构建的文档管理平台在系统架构及相关的集成度方面都有一定的优势，可以满足其日益增长的信息量以及企业信息高度集成的需求，设计了基于Documentum平台为基础的统一文档管理系统架构。rn 这样的设计提升了大亚湾核电信息的整合程度，并且通过成熟化的产品，可以充分利用和发挥每个模块的优势，并且还利用这些成熟化产品的现有接口，实现了非结构化主数据和企业结构化主数据的关联，从而有效地提升了大亚湾核电系统对业务的支撑能力。

摘要： BIM数据是典型的非结构化数据当今的建筑设计行业的IT架构,无疑将是建筑设计技术发展的重要转折点.不断增长的BIM数据给IT架构带来巨大挑战,BIM数据将具有显著的信息生命周期的特点,在建筑设计期间是BIM素材数据调用、新数据产生、综合分析、协同工作的期间,数据访问频率很高;之后在建筑使用维护期数据的访问频率将显著降低.BIM数据的生命周期要比津筑的生命周期更长.Isilon硬件系统是横向扩展存储系统(称为“集群”).一个Isilon集群山多个存储“节点”组成,这些竹点采用可安装在机架上的企业级应用装置的构造,每个节点包含内存、CPU,网络、NVRAM,Infiniband和存储介质.Isilon集群开始只有三个节点,可以横向扩展到多达144个节点.所有节点通过内部的40Gb/s的Infiniband交换网络互连。

摘要： 电力系统软件中存在大量的非结构化数据需要保存到数据库中进行统一管理,并且对数据的访问速度和存储空间有严格要求.本文通过分析典型的Oracle数据库的大字段存储机制,结合电力系统软件中非结构化数据的存储和访问需求,提出了LOB字段存储和访问优化策略,并基于OCI接口实现了LOB字段的存取流程.

摘要： 针对各行各业出现的大量的电子格式的文件,文章介绍了一个能有效地存储和管理海量非结构化数据的全文检索系统平台TRIP,对TRIP的存储结构和索引体系进行了详细地阐述,比较了和同类产品的区别,给出了TRIP的应用范围.

摘要： 云技术是一种新的计算模式，它通过互联网提供自助式服务，快速部署资源或获得服务、具有强大的存储和计算能力。通过对云技术的前瞻性探讨和对华赛非结构化数据统一存储平台解决方案以及华为赛门铁克分布式云存储方案德详细论述，最终证明了云存储针对非结构化数据处理先天的特性如高扩展性和高并发性等，可以完全满足电力客户未来几年的业务发展需求。

摘要： 本发明提供了一种用于管理外部异构数据的关系型数据库，所述的数据库包括用以描述存储在数据库外部的异构数据的格式化文本。所述的格式化文本包括提供数据的访问协议和存储位置的URI字符串、数据校验属性字段及数据格式字段。同时，本发明还提供了用于管理外部异构数据的关系型数据库的创建方法及查询方法。本发明的有益效果是使得数据库管理外部数据机制具有高扩展性，能够适应外部数据的多种访问协议，同时也增强了数据库外部数据管理的完整性和外部数据指向的数据独立性。

摘要： 用于搜索非结构化数据的方法、系统和程序产品。通过由扩展搜索协调器首先搜索非结构化数据，来搜索作为文本数据或图像数据的非结构化数据。扩展搜索协调器具有非结构化数据搜索的搜索请求者和搜索代理之间的中间部件。搜索代理返回搜索结果给协调器以进行聚集。协调器聚集搜索结果并将搜索结果返回给包装器。包装器然后从聚集的搜索结果中提取结果属性，并使所述属性作为例如别名表中的一个或多个列。关系数据库使用结构化查询语言(SQL)可以搜索所述别名表。

摘要： 本发明属于信息处理技术领域，特别涉及一种非结构化数据与结构化数据相互转换处理方法，包含：根据标签实现功能进行标签归类处理；针对标签进行字段属性和管理属性的处理；将待结构化数据与标签进行结合，创建使用版本模板；依据使用版本模板将用户提交的非结构化数据转换为静态网页内容，并根据标签类型将标签转换为编辑控件，提交的数据转换为结构化数据；选择使用版本模板进行结构化数据在线编辑；对编辑后的数据及对应的模板使用版本进行关联存储。本发明通过对非结构化数据文件的标签定义、模板化处理及非结构化数据文件的生成与转换存储，实现对非结构化数据与结构化数据之间的相互转换，便于后续数据分析处理，具有较好的应用价值。

摘要： 本申请公开了一种将结构化数据转化为非结构化数据的方法及系统，方法包括：配置JSON模板，解析JSON模板到结构体数组，根据结构体数组读取数组源，得到JSON文件。本申请能够高效准确的完成结构化数据到非结构化数据格式的转换。

摘要： 本发明提供一种非结构化数据处理方法和非结构化数据处理系统，该非结构化数据处理方法包括：获取非结构化数据；对所述非结构化数据进行序列化处理，得到序列化数据；将所述序列化数据与所述非结构化数据的索引信息进行连接，得到目标数据；将多个所述目标数据存储至目标结构化数据文件中，所述目标结构化数据文件用于分布式文件系统。本发明中，对多个非结构化数据进行序列化处理，并合并存储到一个结构化数据文件中用于分布式文件系统，与在分布式文件系统中存储多个小的非结构化数据相比，可以有效节省所需的存储空间。

摘要： 本发明涉及一种融合结构化数据和非结构化数据的数据传输方法，将结构化数据与非结构化数据融合在一个文件中进行传输，使得结构化数据和非结构数据在网络中进行传输、交换和共享时能够同步，避免了分开传输时存在数据不同步的问题；而且在数据传输与处理过程中，结构化数据和非结构化数据通过本发明设计方法有效关联后可以在应用系统中进行统一、同步处理，避免了异步处理的复杂性，同时也避免了结构化数据或非结构化数据中数据丢失所导致的数据不一致问题；并且基于数据传输时所设计的结构，设计与之相对应的解析处理，针对所接收到的结构化数据和非结构化数据的实现统一解析、处理，大大提高了数据传输过程中的解析效。

摘要： 用于搜索非结构化数据的方法、系统和程序产品。通过由扩展搜索协调器首先搜索非结构化数据，来搜索作为文本数据或图像数据的非结构化数据。扩展搜索协调器具有非结构化数据搜索的搜索请求者和搜索代理之间的中间部件。搜索代理返回搜索结果给协调器以进行聚集。协调器聚集搜索结果并将搜索结果返回给包装器。包装器然后从聚集的搜索结果中提取结果属性，并使所述属性作为例如别名表中的一个或多个列。关系数据库使用结构化查询语言(SQL)可以搜索所述别名表。

摘要： 本发明公开了一种针对质量数据的结构化、非结构化数据统一解析方法，包括步骤：定义Node对象数据结构，将不同格式数据转换成统一数据结构；基于叶子节点查询方法，并根据叶子节点关联查询并设置属性，将Node对象进行关联，形成树形列表；存储生成的树形列表；查询检验点及其嵌套的数据。本发明屏蔽了各种格式的数据来源，使用统一的数据解析格式，基于tree容器进行嵌套递归，便于数据解析与存储，本发明主要用于解决质量数据上传的差异性以及由该差异性导致的数据存储困难问题。

摘要： 本申请涉及一种从非结构化数据中提取结构化数据方法及装置，属于计算机技术领域，该方法包括：获取目标文档；对目标文档进行数据切割，得到目标文档中的多个数据片段；将多个数据片段依次输入预先训练的数据分类模型，得到每个数据片段包括的各个分类标签和每个分类标签对应的数据内容；将每种分类标签和对应的数据内容存储至结构化数据库，得到结构化数据；通过表单显示结构化数据；可以解决使用非结构化数据的形式录入数据时，不同人员录入数据的方式不同统一，导致文档录入和评审效率较低的问题；由于可以通过结构数据的形式显示目标文档中的非结构化数据，因此，可以提高文档录入和评审效率，并提高提取非结构化数据的准确性。

摘要： 本文描述了用于利用和扩展关系数据分片基础设施以在单个分片数据库系统中除了关系数据之外还提供对分片半结构化和非结构化数据的全面支持的技术。具体而言，描述了其中目录服务器预先收集它需要的所有数据，以回答从动态创建的临时lob的获取的技术。此外，提供了其中目录服务器在发送给客户端的lob定位符中对碎片标识符进行编码的技术。提供了用于将各种操作符下推到碎片服务器的技术。