查询优化

摘要： 数据库的性能会随着应用系统的数据量变大而降低,甚至会遇到系统卡顿、长时间未响应等问题,而查询SQL的执行效率是影响数据库性能的关键要素之一,因此对数据库性能优化的研究很有必要。首先,简要阐述了Oracle数据库性能优化的相关概念,同时根据总结出3条SQL优化本质。然后,提出了SQL优化的一般步骤路线,通过制定SQL优化目标,分析每条SQL的执行计划,采用各种方法优化数据库。最后结合若干实例,介绍了SQL语句调整和优化的具体方法。经实验证明:数据库SQL优化之后,应用系统的查询速度有了明显的提升。

摘要： 基数估计是实现数据库多表连接(JOIN)查询优化的重要手段之一。对数据量较大的数据表进行基数估计时常用数据抽样来获得较小的样本,从而估计各种查询负载下所需的数据基数。在单表上利用数据抽样来完成基数估计的方法已经得到广泛研究,但在多个数据表的抽样样本总体存储预算存在限制时,目前仍缺乏有效的多表间样本数划分方法使得整体基数估计达到较优。为此,提出一种面向多表JOIN查询优化的基数估计方法,针对一组给定的含有复杂多JOIN操作的查询负载,为其合理分配数据库中每个表的抽样率,从而在满足样本大小总和限制的同时使得基数估计准确率达到最高。将上述过程抽象为一个抽样率分配搜索问题,在数据库数据抽样问题中引入贝叶斯优化搜索算法,利用该算法快速搜索出不同表之间抽样样本大小的分配比例,使得有限时间内获得的样本分配方案对应的基数估计准确率最高,从而达到查询优化的目的。在TPC-H数据集上的实验结果表明,在相同时间内确定多JOIN操作查询负载下基数估计准确率最高的抽样比例方案时,相比随机搜索算法,贝叶斯优化算法所得方案对应的基数估计误差率降低54.8%~60.2%。

摘要： 对于AI与数据库优化问题,现有技术均须改动数据库底层,影响研究成果的应用且缺乏可扩展性.提出一种非嵌入数据库的学习式查询优化方法.在基数估计阶段,使用多模型的方法,对特定的子查询建立神经网络,独立训练不同的子模型,解决需要训练集过多且可扩展性差的问题;在连接优化阶段,应用基于代价的强化学习方法,提高查询优化性能.针对每个查询,从基数估计到连接排序的优化过程都在数据库外执行,按照得到的优化策略对查询重写,并将重写结果返回到数据库中,通过设置参数使该查询按照指定的计划执行.在包含8个表的数据集上进行实验验证,与未进行优化的查询进行比较,非嵌入数据库的优化方法具有良好的优化效果.

摘要： 针对煤矿隐患管理系统中数据易被篡改、共享困难等问题,提出一种基于区块链的煤矿隐患信息管理模型,在保障煤矿隐患信息存储安全的同时实现了不同煤矿之间的信息共享。首先,该系统通过“链上+链下”结合的数据存储模型,提升区块链系统的运行效率;其次,提出基于区块链的快速查询机制,解决区块链查询效率低的问题;最终,模拟实验表明,基于区块链的煤矿隐患管理系统具有较高的安全性和运行效率,可为煤矿安全管理提供一种可行的应用方法。

摘要： 基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.

摘要： 随着网络数据量的增大,用户对数据库查询的要求也越来越高,普通的查询有时很难满足要求,迫切需要对于MySQL语句实现优化,以便对查询效率进行提升,查询效率高低逐渐成为开发者最为关心的话题之一。当前研究MySQL的方向很多,主要集中在性能调优方面,其中最常用的是创建索引。介绍了目前广泛使用的多种查询语句优化方法,主要从索引优化、查询语句优化、索引设计原则、分页查询优化等方面进行了分析。

摘要： 复杂事件处理技术通常基于有限状态自动机实现,匹配过程中会在事件流上产生大量且重叠的部分匹配,有限状态自动机需维护大量的重复匹配状态,导致基于该技术的方法都会出现冗余计算的问题。为了提高复杂事件处理的匹配效率,提出了使用复杂事件实例覆盖技术来实现复杂事件处理的方法。通过设计临时匹配链式分区存储结构以及基于此结构的匹配算法来利用复杂事件实例覆盖减少冗余计算,从而实现匹配效率的提升。在模拟数据集和真实数据集上进行了实验测试与分析,与两种常用的复杂事件处理技术进行比较。实验表明,提出方法能够在保证匹配正确性的同时有效地减少匹配过程中的冗余计算,提高整体匹配效率。

摘要： 连接顺序选择问题,即从连接顺序搜索空间中选出性能最优的连接顺序,是关键的查询优化问题.然而,连接顺序的选择存在庞大的搜索空间,导致其成为难点问题,优化器往往无法确保找到最佳的连接顺序.虽然目前存在许多连接顺序选择策略,但是,现有的评测基准不适用于评估各种连接顺序选择策略的优劣.为了有效地评估优化器在连接顺序选择方面的优化效果,本文基于确定性数据生成方法,采用适用于不同连接形状的连接模板生成算法和基于结果导向的参数实例化方法,生成评测场景的数据与负载,实现了通用的优化器连接顺序选择评估工具.通过对OceanBase和PostgreSQL进行评测,表明本文所提出的工具能够全面且有效地评估查询优化器的连接顺序选择功能的性能.

摘要： 轨迹数据具有规模大、更新频繁的特点,对轨迹数据的查询具有较高的性能要求.为了提高轨迹数据的查询效率,提出了两级轨迹数据划分算法:在第一级划分中,使用基于优化最小边界矩形(Minimum Bounding Rectangle, MBR)的轨迹数据划分方法将轨迹数据划分为子轨迹,以提高轨迹数据的近似效果;在第二级划分中,按照时空范围,使用网格结构对子轨迹进行分组.基于划分算法提出了R-tree结点组织方法,将划分后的轨迹数据自底向上地构建R-tree.通过实验展示了所提的划分算法对查询效率的提升.实验表明,与基于轨迹段平均个数和基于组合运动特征这两种轨迹数据划分算法相比,所提算法具有更好的查询性能,查询效率分别平均提升了43.0%和30.5%.

摘要： 针对现有基于日志结构合并树(LSM-Tree)实现的分布式数据库仅支持高效的主键查询,无法让用户快速地应用在自己的集群中的问题,提出了基于LSM-Tree的轻量级分布式索引实现方法SIBL.首先,通过对主键属性列建立索引来提高非主键属性的查询效率;然后,提出了分布式索引构建算法以及基于等距取样的索引区间划分算法,从而保证了索引在系统中的均匀分布,并且优化了传统索引的查询算法,将索引文件看作特殊的数据文件分布式地存储在系统中,从而保证了系统的负载均衡和可扩展性;最后,将该方法与华为二级索引方案HIndex在HBase数据库上进行实验来比较二者的索引构建的时间和空间开销、索引的查询性能和系统的负载均衡等性能,验证得出所提出的方法使查询性能提升了50～200倍.

摘要： 在分布式集群系统中,数据根据划分算法存储在集群的各个节点中,这为涉及到大量连接操作的复杂查询处理带来了昂贵的网络通信开销.针对该问题,本系统基于XXX模型,结合集中式、分布式数据库系统查询优化策略的优点,提出了最小通信量查询划分算法和多目标查询优化算法.其中最小通信量查询划分算法将复杂查询划分成多个近似parallelizable without communication(PWOC)的子查询,保证每个子查询在通信量较大的情况下不从其他处理节点获取数据.多目标优化算法基于查询划分的结果之上,将并行性和通信代价同时作为驱动目标,以传统多目标加权算法结合贪心策略作为查询优化的评估依据生成查询计划树.最后,系统基于TPC-H基准生成测试数据,将原始算法与优化算法进行了对比实验,结果表明优化算法可以极大提高复杂查询的效率.

摘要： 基于多核处理器硬件技术和高并发查询负载需求,近年来的研究不仅关注于一次一查询模式的查询优化技术,而且也关注于一次一组模式的查询优化技术.通过将并发查询转换为共享负载,一些低访问延迟的操作,如磁盘I/O、cache访问,可以被多个并发的查询所共享.当前的研究通常基于共享查询操作符,如扫描、连接、谓词处理等,通过生成全局执行计划优化并发查询.对于复杂的分析型负载,如何创建优化的执行计划是一个具有挑战性的问题.本文在广泛使用的星形模型的基础上提出一种模板OLAP查询执行计划来简化查询执行计划,以达到最大化查询操作符利用率的目标.首先,提出了基于代理键的连接索引技术,将传统的基于值探测的连接操作转化为内存数组地址访问(AIR),使连接操作的CPU效率更高并且支持聚集计算的后物化.其次,并发查询的谓词处理简化为cache line敏感的谓词向量,在单次cache line访问中最大化并发查询谓词计算性能.最后,通过多核并行实现技术在SSB基准上进行性能测试,实验结果表明共享扫描和共享谓词处理能够将并发OLAP查询处理性能提升一倍.

摘要： 目前分布式数据库查询优化器基于代价模型，总代价=CPU代价+I/O代价+通信代价，在远程通信网或数据传输率较低的系统中，通信代价应作为首要的优化目标来考虑;提出了一种基于Multi—Agent技术的查询模型(QMAS);同时为了保证系统组内、组间Agent之间的高效通信，采用了树型拓扑结构(TTMAS)的通信模型，系统内各Agent使用通信原语高效通信、协作，且满足Agent间的通信路由最优，从而保证了QMAS的查询效率.

摘要： 系统数据库数据量大时，常常会遇到系统响应时间过长、占用系统资源过多等一系列问题。因此对海量数据查询技术的研究就很必要。文中基于Oracle数据库，采用各种措施和方法来提高响应速度：合理设计数据库结构，使用索引、分区、SQL语句优化等手段优化数据库。另外，分页显示杳询结果也能很大地提高查询速度。实验证明，优化后速度明显提高了很多。因此可见，文中采用的优化方法对海量数据的查询优化是正确有效的。

摘要： Oracle数据库的性能优化问题一直是决策者及技术人员共同关注的焦点,影响数据库性能的一个重要因素就是SQL查询语句的低效率.阐述了几种常见的Oracle数据库的性能优化技术,如数据库设计的优化、I/O优化、数据库各种动态参数的调整,并着重讨论了SQL语句的查询优化.从查询优化的测试结果来看,系统的响应时间明显降低,系统运行效率得到提升.

摘要： 云数据库中查询处理中，连接操作是最常用的、费时的而且代价较高的一种操作，本文分析云数据库应用中存在大量的重复查询操作的特征，查询代价估算方法以及半连接优化的过程，采用基于半连接查询优化算法减少云数据库查询操作中间结果数量和网络传输数量，缩短计算时间和传输时间，提高查询效率。在处理云数据库中海量信息查询和复杂查询领域里具有实用的价值。

摘要： 由于XML在数据交换的广泛应用,对XML的查询优化成为了一个重要课题.通过对XML特性和各种查询优化算法的分析,在传统蚁群算法分析的基础上,提出了一种改进的蚁群算法.该算法用于XML查询有效地避免了无效查询,扩大了查询范围,提高了查询收缩效率,执行了动态查询,从而极大地提高了XML数据的查询效率。

摘要： 数据分布是大数据处理的数据量、并行化的原生需求，需重新审视“简单一致性模型”，通过收集分布特性、(局部关系代数编译）选择合适的分布特性、(全局代价计算）规避不合适的分布特性优化数据分布。

摘要： 频繁断接性是移动数据库的重要特性，是影响移动数据库查询优化的重要因素，而数据广播是解决移动数据库频繁断接操作的一种有效办法，本文对数据广播进行了研究，提出了基于语义的数据广播调度算法，实践表明，该方法能够提高移动数据库查询的效率。

摘要： 随着数据处理技术的进步以及移动互联网的快速普及,计算机技术被广泛地运用到了社会的各个领域,随之而来的则是海量数据的产生.不确定数据作为其中一种最具代表意义的数据类型,普遍存在于人类社会的各个领域,包括金融,军事,位置服务,医疗以及气象等等.近年来,随着人们对不确定数据研究的不断深入,一系列的数据处理方法以及数据模型相继诞生.其中,可能世界模型则是一种已经被广泛应用的数据模型.该模型通过构造相关元组的概率实例来描述数据集合的不确定性,为处理不确定数据的查询提供了理论基础.但是,模型中的可能世界实例会由于不确定数据集合的规模呈现指数级的增长,这就使得计算成本与空间成本大幅上升.本文基于压缩近似原理提出了一种面向于不确定数据流查询的方法，可有效处理面向于数据流的TTk查询与ER-Topk查询，该算法以少量精度损失为代价降低了空间的损耗。通过与probTree进行比较，可以肯定的是在处理大规模数据是压缩算法对于空间的节省是明显的，证明了该类压缩近似方法在处理不确定数据方面存在着很大价值。在未来的工作当中，还将结合其他领域的多种相关工作，研究该类方法在处理不确定数据管理上面的可行性，提出更好的改进方案。

摘要： 本发明公开了一种基于逻辑优化算法的数据快速查询方法，包括简化条件集，本发明通过简化条件集，从而实现快速查询的目的，且适合分布式应用。

摘要： 本发明涉及一种将列与函数关联以优化查询执行的方法。所述方法包括查询优化服务器接收包含一个或多个列的信息以及所述一个或多个列的每个的函数信息的数据定义语句。所述查询优化服务器将具有函数信息的列与对应的预定义函数相关联并将其存储在存储器中。一旦接收到包含与列关联的函数的查询，所述查询优化服务器就将该函数与存储在存储器中的预定义函数作对比。基于所述对比，所述查询优化服务器从存储器中访问该预定义函数用于执行查询。

摘要： 本发明涉及一种查询优化方法及查询编译器。查询优化方法包括如下步骤：检索SQL查询内的子查询；从检索到的所述子查询中识别标量子查询；分析所识别的所述标量子查询来识别关联标量子查询；根据所识别的所述关联标量子查询的结果形式，将具有所识别的所述关联标量子查询的查询反嵌套为新连接方式。

摘要： 本发明公开了一种将XPath查询转换为树形数据结构的查询优化方法，所述方法包括：将带有位置谓词的XPath查询语句转换为抽象语法树AST；将抽象语法树AST中不同类型的节点对象转换成小枝模式树形结构中的节点对象。本发明提出了一种小枝模式树形数据结构以及小枝模式转换方法，在一定程度上优化了小枝模式查询；且本发明提出的在位置谓词节点对象中存储其参考位置的方法，在小枝查询时，能够快速定位相对求值节点，加快了小枝模式查询处理中对位置查询的求值。

摘要： 本发明涉及一种将列与函数关联以优化查询执行的方法。所述方法包括查询优化服务器接收包含一个或多个列的信息以及所述一个或多个列的每个的函数信息的数据定义语句。所述查询优化服务器将具有函数信息的列与对应的预定义函数相关联并将其存储在存储器中。一旦接收到包含与列关联的函数的查询，所述查询优化服务器就将该函数与存储在存储器中的预定义函数作对比。基于所述对比，所述查询优化服务器从存储器中访问该预定义函数用于执行查询。

摘要： 本发明实施例公开了一种查询优化方法，包括：接收执行计划，执行计划基于查询语句生成，并包括多个运算节点；确定执行计划中满足优化条件的目标运算节点；基于目标运算节点，确定执行计划所包含的目标路径和与目标路径相关联的目标数据；以及对目标路径进行优化，以便转换目标数据的存储格式。本发明实施例还公开了对应的查询优化装置、数据查询系统、计算设备和可读存储介质。

摘要： 本发明涉及一种查询优化方法及查询编译器。查询优化方法包括如下步骤：检索SQL查询内的子查询；从检索到的所述子查询中识别标量子查询；分析所识别的所述标量子查询来识别关联标量子查询；根据所识别的所述关联标量子查询的结果形式，将具有所识别的所述关联标量子查询的查询反嵌套为新连接方式。

摘要： 本发明公开了一种将XPath查询转换为树形数据结构的查询优化方法，所述方法包括：将带有位置谓词的XPath查询语句转换为抽象语法树AST；将抽象语法树AST中不同类型的节点对象转换成小枝模式树形结构中的节点对象。本发明提出了一种小枝模式树形数据结构以及小枝模式转换方法，在一定程度上优化了小枝模式查询；且本发明提出的在位置谓词节点对象中存储其参考位置的方法，在小枝查询时，能够快速定位相对求值节点，加快了小枝模式查询处理中对位置查询的求值。

摘要： 一种信息技术和数据库技术领域的基于极值优化的数据库查询优化方法，主要用于解决关系数据库查询中的连接优化问题。技术方案要点如下：1.加载数据库统计信息，选择查询优化模型；2.采用两层循环迭代的新型优化算法，内层的种群个体根据极值过程原则进行迭代，外层循环中个体之间的相同连接被固定，减小变量数量后形成内层循环的种群；3.种群适应度的计算采用连接费用定义λi＝3/(αi+βi)，选择概率参数采用公式τ≈1+4/ln n，个体目标函数通过对每个个体所表示的执行计划方案的分析计算。本发明降低了个体适应度函数的计算量，在循环迭代中逐步减少变量的个数，降低了实际计算的规模，有效提高了查询优化的效率。

摘要： 本申请实施例公开了一种关系型数据库查询优化方法、装置、电子设备及存储介质，属于数据库技术领域，能够解决现有技术中通过谓词下推的方式进行SQL查询，若谓词条件复杂耗时会导致查询效率较低的问题。该方法包括：计算SQL语句的N个过滤条件中每个过滤条件的第一等级值，得到N个第一等级值，SQL语句用于对至少两个基表进行连接查询；计算SQL语句的连接条件的第二等级值；在N个第一等级值中存在至少一个第三等级值的情况下，将每个第三等级值对应的过滤条件上拉到连接条件之上执行；在N个第一等级值中存在至少一个第四等级值的情况下，将每个第四等级值对应的过滤条件下推到连接条件之下执行。