查询处理

摘要： 基于位置的路网Skyline查询可根据用户的需求及用户所处的位置,从大量数据中快速返回给用户期望的数据,但已有的道路网络技术需要计算大量的路网距离及数据点间支配关系的运算,导致查询效率较低。提出一种基于路网数据点的倒排索引查询算法DSR。通过计算少量数据点的路网距离求得最终结果,减小路网距离计算的代价,从而加快数据点间支配关系的判定,提升查询效率。在此基础上,在数据点更新情况下给出算法的动态维护,仅通过维护少量数据,DSR即可以快速地计算出Skyline集合。实验结果表明,与SSI、BSS等算法相比,该算法具有较高的查询效率,且时间性能明显提升。

摘要： 区块链系统可以作为一种新型分布式数据库系统,适用于医疗、政务、教育等众多领域。然而,目前区块链自身存在着节点存储压力大、存取效率低、查询单一化等问题,限制了区块链应用的发展。为探明以上问题的原因以及找到合适的优化方法,选取比特币、以太坊、Hyperledger Fabric、FISCO BCOS四个在数据存储与查询方面极具代表性的区块链系统,对其在数据存储及查询处理机制上进行总结、分析。在此基础上,归纳了现有区块链系统存储、查询方面存在的常见问题,总结了现有区块链存储与查询技术的优化方法,并对未来主要研究问题进行展望。

摘要： 在分布式RDF查询处理中,由于查询图规模的不断增长,其复杂的结构使得查询优化面临着查询准确性和性能的双重挑战。针对这一问题,提出一种由结构主导的分布式子图匹配算法SDSM。根据查询图各部分结构的匹配特征,提出查询图的CPM分解模型;结合基于类型的摘要统计,通过代价模型得到查询起始节点及核心结构权重图,权重图与最小生成树思想相结合得到最优的查询匹配序列;各计算节点分两阶段进行查询,并在主机上进行轻量级的连接。实验将SDSM与StarMR、TriAD、Wukong等算法进行对比。结果表明,在处理复杂查询时,SDSM具有更高的查询效率,在多台机器以及不同数据集规模上的实验表明,SDSM也具有良好的扩展性。

摘要： 连接顺序选择问题,即从连接顺序搜索空间中选出性能最优的连接顺序,是关键的查询优化问题.然而,连接顺序的选择存在庞大的搜索空间,导致其成为难点问题,优化器往往无法确保找到最佳的连接顺序.虽然目前存在许多连接顺序选择策略,但是,现有的评测基准不适用于评估各种连接顺序选择策略的优劣.为了有效地评估优化器在连接顺序选择方面的优化效果,本文基于确定性数据生成方法,采用适用于不同连接形状的连接模板生成算法和基于结果导向的参数实例化方法,生成评测场景的数据与负载,实现了通用的优化器连接顺序选择评估工具.通过对OceanBase和PostgreSQL进行评测,表明本文所提出的工具能够全面且有效地评估查询优化器的连接顺序选择功能的性能.

摘要： 区块链是在数字加密货币的应用基础之上发展起来的一种分布式数据库技术.区块链系统具有去中心化、不可篡改、分布共识、可溯源和最终一致性等特点,这使其可以用于解决不可信环境下数据管理问题.区块链独特的数据管理功能已经成为各领域应用中发挥区块链价值的关键.本文基于对比特币、以太坊、超级账本等代表性区块链系统的研究分析,阐述区块链系统中分布式数据管理技术.首先,深入讨论区块链系统与传统分布式数据库系统之间的异同点,从分布式部署模式、节点角色、链拓扑结构等多个方面给出区块链的分类.然后,详细分析各类区块链系统所使用的数据存储结构、分布式查询处理与优化技术及其优缺点.最后,总结区块链系统的分布式数据管理技术在各专门领域应用中所面临的挑战和发展趋势.

摘要： 知识图谱是将无结构的知识进行结构化表示和组织的有效途径,已经成为支持众多智能应用的基础设施.然而,与商品相关的知识通常呈现出海量性、异质性和层次性的特点,这对现有基于关系模型和图模型的知识查询处理方法提出了挑战.针对商品知识的这些特点,本文设计与实现了一种利用CPU和GPU协同计算的商品知识查询处理方法.首先,为了充分发挥GPU的并行计算能力,提出了一种基于稀疏矩阵的商品知识存储策略,并针对商品知识进行存储优化;其次,根据稀疏矩阵的存储结构设计了一种查询转换方式,将SPARQL查询转化为对应的矩阵计算,并将连接查询算法扩展到GPU上进行加速.为了验证所提出方法的有效性,我们在LUBM数据集和一个半合成的商品数据集上进行了一系列的实验.结果 表明,本文提出的方法,不仅在海量商品知识下相对于现有RDF查询引擎在检索效率上有较大提升,而且在通用的RDF标准数据集上也能取得较好的检索性能,并验证了GPU加速查询处理的有效性.

摘要： 查询处理是现代关系型数据库管理系统(DBMS)中最重要的功能之一,主要包括查询优化和查询执行.然而查询处理的复杂性导致了测试的高成本,阻碍了开发过程中的快速迭代,并可能在生产环境中导致严重错误.为了更好地服务于DBMS查询处理功能的评测,采用模糊测试的方法生成基于主键约束的随机数据和完全有效的复杂分析型查询;构建约束优化,对查询中算子的精确基数进行高效计算,从而获得查询的正确结果;最后实现了完整的工具.通过对TiDB的不同版本进行了小规模的测试,结果表明可以有效地检测出TiDB不同版本的一些Bug.

摘要： 针对现有大数据空间查询处理方法存在执行时间长和查询结果不够准确的问题,提出一种基于动态分布式聚类算法的大数据查询处理方法,该方法分为数据预处理、数据聚类和查询处理3个部分.首先将输入数据划分为多个子集,以RRD格式存储在一组机器节点中;其次采用划分和层次混合动态聚类算法,在Apache Spark平台上对数据进行分布式聚类;最后通过K近邻查询方式获得高精度和高效率查询结果.实验结果表明,本文提出的方法具有可扩展性,可为空间查询处理提供高质量的结果,比其他查询方法更具优势.

摘要： 由于云服务具有灵活性、通用性和低成本等特性,将数据交由云服务器管理变得日益普遍.然而,云服务器不是完全可信的,因此将加密数据交由云服务器管理并支持加密搜索成为了当前研究的热点问题之一.加密虽然能够很好地保护数据隐私安全,但是会掩盖数据本身的语义信息,加大搜索难度.文中面向加密云数据提出了一种支持多关键字的安全语义搜索解决方案,其核心思想是基于主题模型获取文档的主题向量和主题的词分布向量,通过计算查询关键字与各个主题的语义相似度生成查询向量,支持在同一向量空间内评价查询向量与文档主题向量的相似度;提出了基于EMD并结合词嵌入计算查询向量与主题相似度的方法,提升了查询关键词与主题之间语义相似度的准确性;为支持高效语义搜索,构建了主题向量索引树,并采用"贪婪搜索"算法优化关键字搜索.理论分析和实验结果表明:所提解决方案可实现安全的多关键字语义排序搜索,并且大大提高了搜索效率.

摘要： 多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置.多核处理器遵循以cache LLC大小为中心的优化技术,而众核处理器,如Phi、GPU协处理器,则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计.随着处理核心数量的增长,计算框架更倾向于面向大规模处理核心的代码执行效率高并且扩展性强的设计思想.本文提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP,简化OLAP的存储模型和查询处理模型.在Array OLAP计算框架中,维表规范化为维向量,事实表规范化为带有多维索引的度量属性.通过多维索引计算,一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算.规范化的向量查找和向量索引扫描具有较好的代码执行效率,并且阶段化的处理模型更好地适应不同的计算平台,将计算阶段分配给最适合的计算平台.同时,Array OLAP是一种面向数据仓库模式特点的设计,向量处理模型设计简单,对于数据仓库维表较小且增长缓慢的特点具有较好的效率.描述了在不同平台上的Array OLAP计算框架并且通过基准测试评估Array OLAP的性能,通过与当前的内存分析型数据库的性能对比,Array OLAP性能超过主流的内存分析型数据库并且可以平滑地迁移到新的硬件平台.

摘要： 面对海量的索引规模和巨大的查询需求,如何保证检索效率已经成为搜索引擎面临的关键问题之一.一种重要的方法是通过优化单机的查询处理性能来提高整个系统的检索效率.首先介绍了索引系统的基本结构以及双层索引结构,并提出了一种基于双层索引的Max-Score查询处理技术优化方法MS-cs(Max-Score candidate selection).分析表明,在海量索引规模查询的情况下,MS-cs能够获得更好的性能.基于TREC WT2G和GOV2的多组实验验证了本文分析的结论.

摘要： 介绍了单机大图数据管理框架，单机程序开发效率相对高，单机程序不需要考虑网络传输代价，相对效率高，单机安装、管理、部署代价低，单机运行程序能耗低，探讨了分布式大图数据管理框架，大图数据查询分析面临挑战。图数据广泛出现在不同的应用领域.，图数据的处理需要考虑结构信息，处理复杂性高，利用图数据管理框架，能够简化用户编写图数据处理方法的代价，同时提高图数据查询的灵活度，目前出现多种单机和分布式的图数据管理框架，大多遵循以点为中心的计算模式。

摘要： 并行计算应用产生了大量多块并行结构的数据,给数据查询处理带来新的挑战.本文提出并实现了利用数据视图的位图索引加速多块数据并查询的方法.性能实验表明,该方法将多块数据的查询速度提升了8～14倍,并且在实际程序数据的并行查询处理过程中也取得较好的可扩展应用效果.

摘要： 公交客流信息是公交管理工作的基础,它为公交调度提供信息,同时为公交路线网的优化提供有用的参考.传统的公交线路信息和刷卡信息多为文字性的描述,杂乱而无法提供有意义的信息.而对公交信息的管理与地图上的可视化展示能更直观、全面地掌握公交出行数据,显示公民公交出行特征.为处理分析这些海量公交IC卡数据并能够更好地展示,构建了一个基于位置的服务(LBS)的应用.设计思路如下:1)将公交运行线路数据与公交IC卡刷卡数据进行预处理,包括线路筛选与公交方向判断等.2)对于海量公交数据,为加快条件查询速度,建立R树索引,以方便空间范围查询,建立B+树索引,方便时间范围的查询等.3)对管理的公交数据进行空间范围、时间范围查询,并进行可视化展示,最后结合北京实际交通情况做出基本评价.

摘要： 公交客流信息是公交管理工作的基础,它为公交调度提供信息,同时为公交路线网的优化提供有用的参考.传统的公交线路信息和刷卡信息多为文字性的描述,杂乱而无法提供有意义的信息.而对公交信息的管理与地图上的可视化展示能更直观、全面地掌握公交出行数据,显示公民公交出行特征.为处理分析这些海量公交IC卡数据并能够更好地展示,构建了一个基于位置的服务(LBS)的应用.设计思路如下:1)将公交运行线路数据与公交IC卡刷卡数据进行预处理,包括线路筛选与公交方向判断等.2)对于海量公交数据,为加快条件查询速度,建立R树索引,以方便空间范围查询,建立B+树索引,方便时间范围的查询等.3)对管理的公交数据进行空间范围、时间范围查询,并进行可视化展示,最后结合北京实际交通情况做出基本评价.

摘要： 公交客流信息是公交管理工作的基础,它为公交调度提供信息,同时为公交路线网的优化提供有用的参考.传统的公交线路信息和刷卡信息多为文字性的描述,杂乱而无法提供有意义的信息.而对公交信息的管理与地图上的可视化展示能更直观、全面地掌握公交出行数据,显示公民公交出行特征.为处理分析这些海量公交IC卡数据并能够更好地展示,构建了一个基于位置的服务(LBS)的应用.设计思路如下:1)将公交运行线路数据与公交IC卡刷卡数据进行预处理,包括线路筛选与公交方向判断等.2)对于海量公交数据,为加快条件查询速度,建立R树索引,以方便空间范围查询,建立B+树索引,方便时间范围的查询等.3)对管理的公交数据进行空间范围、时间范围查询,并进行可视化展示,最后结合北京实际交通情况做出基本评价.

摘要： 公交客流信息是公交管理工作的基础,它为公交调度提供信息,同时为公交路线网的优化提供有用的参考.传统的公交线路信息和刷卡信息多为文字性的描述,杂乱而无法提供有意义的信息.而对公交信息的管理与地图上的可视化展示能更直观、全面地掌握公交出行数据,显示公民公交出行特征.为处理分析这些海量公交IC卡数据并能够更好地展示,构建了一个基于位置的服务(LBS)的应用.设计思路如下:1)将公交运行线路数据与公交IC卡刷卡数据进行预处理,包括线路筛选与公交方向判断等.2)对于海量公交数据,为加快条件查询速度,建立R树索引,以方便空间范围查询,建立B+树索引,方便时间范围的查询等.3)对管理的公交数据进行空间范围、时间范围查询,并进行可视化展示,最后结合北京实际交通情况做出基本评价.

摘要： 随着互联网用户数量的不断增长,互联网应用逐渐进入了大数据时代.如何存储和分析这些大数据成为了互联网应用中的难题.融合数据存储和数据分析的内数据库分析(In-Database Analytics)技术,受到了越来越多企业和研究者的关注.Window(窗口)函数作为关系数据库领域中内数据库分析技术的一种解决方案,其精妙的语义特征使其能代替自连接(Self Join)和相关于查询(sub Queries)等完成传统复杂查询功能,现已被广泛应用到互联网应用的数据管理和分析中.在目前互联网应用步入大数据时代的背景下,针对高吞吐和实时响应等需求,已有的Window(窗口)函数的处理性能已经出现了瓶颈.本文基于PostgreSQL数据库中原有MAX/MIN Window(窗口)函数执行框架,提出了一种基于临时窗口的专门针对MAX/MIN函数优化的方法,来优化SQL Window查询针对MAX/MIN函数的处理,并给出了查询代价的分析模型,从理论上证明了该算法的性能.通过与现有商业数据库SQLServer进行性能上的对比,验证了该方案的有效性.

摘要： 随着互联网用户数量的不断增长,互联网应用逐渐进入了大数据时代.如何存储和分析这些大数据成为了互联网应用中的难题.融合数据存储和数据分析的内数据库分析(In-Database Analytics)技术,受到了越来越多企业和研究者的关注.Window(窗口)函数作为关系数据库领域中内数据库分析技术的一种解决方案,其精妙的语义特征使其能代替自连接(Self Join)和相关于查询(sub Queries)等完成传统复杂查询功能,现已被广泛应用到互联网应用的数据管理和分析中.在目前互联网应用步入大数据时代的背景下,针对高吞吐和实时响应等需求,已有的Window(窗口)函数的处理性能已经出现了瓶颈.本文基于PostgreSQL数据库中原有MAX/MIN Window(窗口)函数执行框架,提出了一种基于临时窗口的专门针对MAX/MIN函数优化的方法,来优化SQL Window查询针对MAX/MIN函数的处理,并给出了查询代价的分析模型,从理论上证明了该算法的性能.通过与现有商业数据库SQLServer进行性能上的对比,验证了该方案的有效性.

摘要： 本发明的目的在于，提供一种用户能够容易地告知升降机的状态的技术。本发明的信息处理装置具有：处理部，其基于从检测升降机的各部位的状态的传感器输出的检测信号，从事先存储在存储部的记录有升降机的故障状态的多个项目中获取1个或多个相符的项目；画面生成部，其生成在受理有关升降机的查询时向用户显示的画面，并以用户可选择的方式在画面内显示通过处理部获取的1个或多个项目；以及通信部，其将用户对通过画面生成部生成的画面输入的信息发送至事先规定的外部。

摘要： 本发明的目的在于，提供一种用户能够容易地告知升降机的状态的技术。本发明的信息处理装置具有：处理部，其基于从检测升降机的各部位的状态的传感器输出的检测信号，从事先存储在存储部的记录有升降机的故障状态的多个项目中获取1个或多个相符的项目；画面生成部，其生成在受理有关升降机的查询时向用户显示的画面，并以用户可选择的方式在画面内显示通过处理部获取的1个或多个项目；以及通信部，其将用户对通过画面生成部生成的画面输入的信息发送至事先规定的外部。

摘要： 本发明提供信息/查询处理装置、查询处理/文本查询方法、存储介质，所述信息处理装置能够接收用户输入的用户查询文本，并利用查询处理装置生成针对用户查询文本的查询结果，所述查询处理装置包括索引结构生成部，其利用经过对种子查询进行扩展而得到的查询样例集合，来生成由基于查询样例集合的句子表示构建的索引结构。本发明的查询处理装置对开发者的建模质量依赖程度较低并能够以较高质量进行建模，还能够较快地且高质量地对用户输入的用户查询文本进行意图理解。

摘要： 本发明提供了查询处理和查询率阈值的确定方法及分布式查询系统，所述查询处理方法包括：所述查询处理服务器获取对应的第一查询率阈值；所述查询处理服务器统计在预设时间段内接收查询请求的查询率；所述查询处理服务器在所述查询率大于或等于所述第一查询率阈值时，接收所述中心服务器下发的第一查询请求，并拒绝接收所述中心服务器之外的其他查询处理服务器下发的第二查询请求；所述查询处理服务器根据所述第一查询请求从对应的数据库中查询相应的数据。解决了现有技术中无法在第一时间内对请求量过大的服务器进行请求量的限制的问题，可以在第一时间内对请求量过大的服务器进行请求量的限制，从而保证系统的正常运行。

摘要： 本公开提供了一种查询处理方法，涉及云计算领域，包括：服务节点解析查询请求并生成相应的逻辑执行计划；服务节点判断逻辑执行计划属于OLAP规模查询业务或OLTP规模查询业务；当判断出逻辑执行计划属于OLAP规模查询业务时，则服务节点将逻辑执行计划切分为多个逻辑执行子计划；协调节点生成逻辑执行计划对应的第一物理执行计划，并反馈至服务节点，第一物理执行计划中记载有各逻辑执行子计划对应的处理节点的节点信息；服务节点根据第一物理执行计划，将各逻辑执行子计划分配至对应的处理节点；处理节点处理相应的逻辑执行子计划，得到查询子结果，并将处理子结果进行逐层上报；服务节点对接收到的处理子结果进行汇总，生成最终查询结果，并反馈至用户。

摘要： 本发明公开了自适应查询处理。查询处理服务处理属于客户端设备的问题的查询。该查询处理服务基于针对多个答案的相关性数据，从被确定为与查询最相关的多个答案当中识别答案子集。该查询处理服务向客户端设备提供包括答案子集的答案数据。该查询处理服务从客户端设备接收用户选择数据，该用户选择数据指定关于客户端设备的问题的特定答案的用户选择。响应于接收到用户选择数据，查询处理服务器更新通过查询处理服务所保持的用户选择数据，从而包括关于客户端设备的问题的特定答案的用户选择。该查询处理设备也可以基于对于用户选择数据做出的更新来修改相关性数据。

摘要： 本发明提供一种查询处理系统，取得与可视空间中被指定的点对应的适当的查询。查询处理系统具有：输入部，接受包括用于检索数据集合的至少一个字符串的多个查询；查询储存部，保持所接受的多个查询；显示控制部，按照所述多个查询之间的类似度，将所述多个查询显示在可视空间中；以及查询生成部，在所述输入部接受了在所述可视空间中被指定的坐标的情况下，生成与被指定的所述坐标对应的第1查询，所述查询生成部按照从被指定的所述坐标至显示的所述多个查询为止的距离，从所述可视空间提取多个查询，并对所述提取的多个查询进行组合，由此生成所述第1查询。

摘要： 本发明提供信息/查询处理装置、查询处理/文本查询方法、存储介质，所述信息处理装置能够接收用户输入的用户查询文本，并利用查询处理装置生成针对用户查询文本的查询结果，所述查询处理装置包括索引结构生成部，其利用经过对种子查询进行扩展而得到的查询样例集合，来生成由基于查询样例集合的句子表示构建的索引结构。本发明的查询处理装置对开发者的建模质量依赖程度较低并能够以较高质量进行建模，还能够较快地且高质量地对用户输入的用户查询文本进行意图理解。

摘要： 本发明提供了查询处理和查询率阈值的确定方法及分布式查询系统，所述查询处理方法包括：所述查询处理服务器获取对应的第一查询率阈值；所述查询处理服务器统计在预设时间段内接收查询请求的查询率；所述查询处理服务器在所述查询率大于或等于所述第一查询率阈值时，接收所述中心服务器下发的第一查询请求，并拒绝接收所述中心服务器之外的其他查询处理服务器下发的第二查询请求；所述查询处理服务器根据所述第一查询请求从对应的数据库中查询相应的数据。解决了现有技术中无法在第一时间内对请求量过大的服务器进行请求量的限制的问题，可以在第一时间内对请求量过大的服务器进行请求量的限制，从而保证系统的正常运行。

摘要： 本公开提供了一种查询处理方法，涉及云计算领域，包括：服务节点解析查询请求并生成相应的逻辑执行计划；服务节点判断逻辑执行计划属于OLAP规模查询业务或OLTP规模查询业务；当判断出逻辑执行计划属于OLAP规模查询业务时，则服务节点将逻辑执行计划切分为多个逻辑执行子计划；协调节点生成逻辑执行计划对应的第一物理执行计划，并反馈至服务节点，第一物理执行计划中记载有各逻辑执行子计划对应的处理节点的节点信息；服务节点根据第一物理执行计划，将各逻辑执行子计划分配至对应的处理节点；处理节点处理相应的逻辑执行子计划，得到查询子结果，并将处理子结果进行逐层上报；服务节点对接收到的处理子结果进行汇总，生成最终查询结果，并反馈至用户。