函数依赖

摘要： 大数据时代,数据蕴含着巨大价值,成为当今信息社会的重要战略资源.然而,在对数据进行加工、处理的过程中,产生了大量不一致数据,对企业决策造成了不可预知的恶劣影响.现有的工作主要基于函数依赖研究数据修复技术,已有的修复方法分为三类:前两类需要企业提供Master数据库或给定元组的可信度值,然而在实际应用中,这样的条件未必能满足;而第三类基于最少删除原则的修复方法又会造成信息的丢失.同时,当函数依赖X→Y存在冲突时,现有的方法仅支持修改Y属性值.针对以上不足,在没有给定元组可信度的情形下,提出了带有可信度标记的增量式数据修复方法,方法分为两部分:第一部分为通过分析操作日志和知识规则,自动生成单元格的可信度标记;第二部分包含增量式修复策略,依据可信度标记值,确定修复X或Y属性值,同时结合条件概率来选取目标值进行修复.实验结果表明,所提的修复方法具有较高的可靠性和扩展性.

摘要： 数据库的设计中,关系模式设计在整个数据库的设计过程中起着重要的指导作用.一个数据库模式设计的好坏主要取决于各个关系模式的质量.本文以教务管理数据库的关系模式讲述设计准则、函数依赖、模式分解以及规范化处理.

摘要： 数据库原理课程是信息管理类专业核心课程,学习该课程的学生人数较多,对在线考试需求比较迫切.现有相关系统的侧重点集中在考试系统的整体设计和组卷问题上,很少提及该课程具有特殊性的知识点的考试功能设计.文章分析数据库原理中SQL语句、关系代数、最小函数依赖和E-R图四种题型的特点,并详细研究和设计这四种题型的在线考试功能,将其组合到现有的考试系统中,弥补了数据库原理课程在线考试系统的缺陷.

摘要： 为了解决软件中数据变量发生异常的问题, 找到该异常变量在整个程序中与其余变量之间的关系以及影响范围, 提出了一种基于数据拓扑图的数据影响分析方法.研究了静态分析提取变量的依赖关系包括顺序依赖、自身依赖、节点依赖和函数依赖, 得到变量的依赖影响集合, 生成变量的数据拓扑图.实验结果表明, 该方法能全面覆盖程序中的变量并准确地生成指定变量的数据拓扑图, 且数据拓扑图能够发现在程序中被异常变量影响的变量.%In order to solve the problem of abnormality of data variables in software, and to find the relationship between the abnormal variables in the whole program and the remaining variables and the influence range of the variables, the data impact analysis method based on data topology graph was proposed. The dependence of static analysis on extracting variables was studied, including order dependence, self dependency, node dependence and function dependence. The dependent influence set of variables was obtained, and the data topology graph of the variables was generated. The experimental results show that the method can completely cover the variables in the program and accurately generate the data topology graph of the specified variables, and the data topology graph can find out which variables are affected by the abnormal variables in the program, and which variables are affected by the abnormal variables.

摘要： 针对分布在不同节点的数据的函数依赖挖掘问题进行了研究,提出了一种分布式函数依赖挖掘算法,该算法是以传统的函数依赖挖掘算法Tane算法为基础设计的.其基本思想是:首先,使用Tane算法挖掘出各个节点的函数依赖;然后,得到各个节点的公共函数依赖;最后,以公共函数依赖的左部公共属性值为散列值对数据进行重分布并对候选函数依赖进行验证,得到最终的函数依赖.该算法的实现过程中帮助解决的数据迁移量大和负载不均衡的问题,通过在真实数据上的对比分析验证了算法的可行性.

摘要： To find clues and improve the quality of data,this paper proposed a data repairing algorithm based on constraint in the field of computer forensics.First,using the equivalence class,the algorithm initializes the data according to different constraints.Second,it repaires the problem data found in the initialization phase and gets different values according to the type of constraint.Third,the repaired collections are regenerated according to function dependence set and other constraint sets.If the problem data still exist,the algorithm continues to repair until there is no problem so far.Experiment proves the validity and high efficiency of the proposed method.%为了发现线索,提高数据质量,提出了一种应用于计算机取证领域的基于约束的数据修复算法.首先,利用等价类,针对不同的约束对数据进行初始化;然后,对初始化阶段发现的有问题的数据进行修正,修正值依据约束类型的不同而取不同的值;最后,根据函数依赖集合和其他约束集,对经过修复的单元格集合重新生成问题单元格集合,如果依然存在问题单元格集合,则继续修复,直到不存在问题单元格为止.实验数据证明了所提方法的有效性和高效性.

摘要： 大数据时代数据源的多样性使得数据质量良莠不齐,数据中包含的语义不一致性给应用其进行决策的领域造成损失.对数据间语义联系的了解程度决定了错误检出和修复的效果,通常掌握的知识粒度越细错误检出和修复越有效.在关系数据库理论中提出的函数依赖是描述数据间语义联系的规则,最初用于定义模式,最近被用于改善数据质量.为了弥补函数依赖在解决数据质量、描述语义知识时的局限性,研究人员又定义了条件函数依赖和微函数依赖.应用依赖改善数据一致性通常需要确定依赖集合、发现违反依赖的错误数据和修复错误三步,当前研究人员围绕着其中一两个步骤展开研究取得了一些成果.按依赖所描述语义逐渐细化的顺序,综述最新研究进展,指出在大数据时代尚缺乏兼顾错误检出率、修复效果和可扩展性的一致性问题解决方案,展望未来的研究方向.

摘要： 本文利用范式理论分析学生信息系统的数据库实例.深入浅出的讲解了第一范式,第二范式及第三范式的概念,第一范式和第二范式产生数据操作异常的原因,并通过范式转换解决数据操作的异常.

摘要： 函数依赖作为数据库规范化的基础在关系理论中起着重要的作用。近年来,XML得到广泛应用并已成为因特网上数据传输和交换的标准。由于XML半结构化的特性,使得如何定义XML函数依赖使其具有更强的描述能力,以及如何解决相应的逻辑蕴涵问题成为当今学术界所面临的挑战。本文详细描述了目前关于XML函数依赖的研究现状,特别是把分析的重点放在如何定义函数依赖、判断其蕴涵关系和以及从XML文档中发现函数依赖等问题上。最后,本文讨论了诸如类型化函数依赖关系等一些相关的研究方向。

摘要： 当系统与网络均正常运行时,发布到互联网上的关系数据仍然可能在逻辑上发生敏感信息的泄漏.定义了不同程度的信息泄漏;阐述了函数依赖作为导致信息泄漏的原因;提出了一种在数据发布之前检测信息泄漏的算法,对促进逻辑上更为安全的数据发布有所裨益.

摘要： 函数依赖是XML数据约束研究的重要组成部分.针对XML中存在的复杂的多种形式的函数依赖约束,分析了数据约束的特点,引入节点值相等的概念,提出了一种DTD的路径语言,进而提出了一种新的XML函数依赖(XFD)的定义,包括相对XFD和绝对XFD.其中,绝对键和相对键是XFD的特例.研究了XFD的逻辑蕴涵与闭包问题,给出一组相应的推理规则,并证明了推理规则的正确性及完备性.

摘要： 提出了模糊空值环境下函数依赖的定义及公理,并证明了公理的有效性和完备性,论述了模糊空值函数依赖集之间的等价性,给出极小模糊空值函数依赖集的定义.

摘要： 当前关于XML函数依赖主要有三种定义方法:基于树元组的XML函数依赖、基于路径的XML函数依赖和基于子图的XML函数依赖.分析了这三种定义之间的内在联系及它们在XML函数依赖语义描述能力上的差别,主要结果是:(1)基于树元组的XML函数依赖与基于路径的XML函数依赖在语义描述能力上是等价的,但后者比前者在某些方面具有一些优点;(2)基于子图的XML函数依赖无法描述涉及到非叶子节点时的函数依赖,只有当把函数依赖限制在叶子节点上时,基于子图的XML函数依赖在语义描述能力上才强于基于树元组的XML函数依赖和基于路径的XML函数依赖.

摘要： 函数依赖是一种常见的数据依赖,反映了数据之间的完整性约束.然而,现实世界存在着大量非精确的函数依赖,例如病理学家希望获得不同饮食习惯与不同疾病的关系,市场营销人员希望知道不同的年龄阶层与商品购买力间的关系等.这些数据间普遍存在的非精确的函数依赖关系为近似函数依赖(ApproximateFunctionalDependencies.近似函数依赖在知识发现、隐私保护和数据推演等方面都有着重要的作用.本文提出了一种基于值等的近似XML函数依赖定义.使用XML近似函数依赖强度和支持度两个指标衡量XML近似函数依赖.提出了XML近似函数依赖约减集的概念,并提出一种抽取文档中XML近似函数依赖约减集的方法.本文还提出了多种优化抽取的策略,实验表明优化后的算法效率有了显著的提高.

摘要： 粗糙集理论是人工智能领域中处理不确定性的有效方法,已经在模式识别、智能信息处理、控制等领域取得了成功的应用.但是,粗糙集中的许多问题复杂度高,如求取所有约简与最小约简是典型的NP问题等.因此,许多研究者提出将粗糙集与人工智能中的许多问题结合起来,实现优劣互补,解决实际应用中的问题.现已有许多成功的应用,如将粗糙集与模糊集、证据理论等有效地结合起来,解决人工智能、模式识别中的问题.本文研究基于函数依赖关系的约简算法.

摘要： 本文利用粒计算的位表示方法与粗糙集原理分析了粗糙关系数据库的属性值表示，进而研究位表示下的粗糙关系数据库的数据查询及函数依赖。

摘要： 数据集成系统提供了一个针对多数据源的统一查询接口.GAV和LAV两种集成映射方法均难以适应数据源和全局视图变化频繁的情况.rn 对此,文章提出一种基于轻映射的数据集成方法来解决这一问题.首先定义了最小视图作为映射的基础,利用函数依赖关系把关系模型分解为最小视图集合,从而把关系映射转换为基本属性的映射.基于该方法,构造了查询重构算法,把基于全局模式的查询转换到基于数据源模式的查询,并通过一些实例加以说明.

摘要： 本文引入了模糊数学理论,提出模糊空值的概念.论述了模糊空值环境下三种数据依赖:函数依赖、多值依赖、连接依赖,其中包括模糊空值多值依赖的定义及公理系统.本文以此为基础对模糊空值环境下多值依赖进行补充说明和深入研究.

摘要： 本发明公开了一种基于函数依赖图的内核模块兼容影响域分析方法、系统和介质，本发明根据内核以及内核模块之间的函数调用关系构建内核模块依赖有向图；当某一内核模块版本升级后，比较内核升级前后版本间的函数差异，确定发生变化的内核模块接口函数集合；沿内核模块依赖有向图将内核接口函数变化辐射到有向图中与之相关的内核模块集合，从而确定内核模块兼容影响域，并根据兼容性问题解决的难易程度发出兼容性预警。本发明能够针对内核模块的不同版本之间的确定影响域和影响域实现版本兼容性检测，可用于保证内核模块之间的自洽以及兼容性预警，具有计算和存储代价小、检测准确度高的优点。

摘要： 本发明涉及一种基于函数依赖的多样性数据修复方法，初始化修复集合；判断修复集合中的修复个数是否小于等于设定修复个数，若是，则初始化输入队列后进行下一步，否则进行最后一步；利用偏好函数w’(c)选择每个修复的修复元素，生成输入队列；利用Genrepair算法进行数据修复；判断修复集合中是否包含与本次相同的修复，若为是，则直接返回第二步，否则将本次修复操作加入修复集合，返回第二步；判断是否满足终止条件，若为是，则修复完成，否则对修复集合进行检查，并进行选取相应修复进行替换。与现有技术相比，本发明同时考虑多样性和代价进行数据修复、提高修复效率以及可以适用于指数级别的修复空间的有效动态采样等优点。

摘要： 本发明提供一种基于Spark平台的分布式大数据函数依赖发现方法，包括数据分区，包括根据Spark集群各节点分配的CPU内核数对数据进行分区；生成属性集合的所有非空子集，包括通过数据库中的所有属性集合，生成含有所有非空子集的集合，为求解所有属性集合的等价类个数作准备；累加各节点属性集合的等价类数量，通过等价类计算得到全局数据库的(属性集合，等价类数)集合；迭代各属性集合生成函数依赖集合，包括由各属性集合的子集构建候选函数依赖关系，判断函数依赖关系是否成立。该方法解决了分布式环境下函数依赖发现算法的负载不平衡和低效问题，大幅度提高了函数依赖发现的执行效率。

摘要： 本发明提供一种基于函数依赖和聚类的数据缺失值填补方法，包括：对待处理的数据集进行检查，获得完备数据子集和不完备数据子集；采用HYFD算法从完备数据子集中获得函数依赖集合，并对函数依赖进行升序排序；判断不完备元组中的缺失属性是否存在于函数依赖集合的RHS集合中；如果缺失属性存在于RHS集合中，利用完备数据子集中的完备元组对不完备元组进行填补；如果缺失属性不存在于RHS集中，通过改进的AP聚类算法对完备数据子集进行聚类处理的聚类簇；利用KNN算法对不完备元组进行处理，最后利用完备元组进行填补；本发明有效提高缺失值填补算法的准确性。

摘要： 本发明公开了一种基于电网数据仓库的自动提取函数依赖方法，该方法包括下述主要步骤：构建电网DV数据仓库；根据电网数据特征，检测函数依赖候选的成立模式；基于电网业务键自身与证据属性的数据语义，计算业务键的数据置信度、业务实体关联记录的数据置信度；根据设定的置信度阈值，计算函数依赖候选的数据置信度；最终输出所有成立的函数依赖候选。本发明克服因多源数据不一致带来的数据噪音干扰，解决了从多对多的链接表中自动提取函数依赖的技术问题，提高了计算不同实体属性数据及其记录置信度的准确性，实现高效、高质量的数据语义关系抽取，从而为自动构建多维模型奠定基础。

摘要： 本说明书一个或多个实施例提供一种函数依赖的确定方法及装置，包括：获取原始数据集，所述原始数据集包含多个元组，每个元组包含至少两个字段对应的字段值；针对每个字段分别生成相应的划分集，所述划分集中包含至少一个元组集合，每一元组集合内的元组在所述划分集对应字段上的字段值相同；对所有元组集合进行采样得到元组对，每一元组对包含属于同一元组集合的两个元组；针对每一元组对生成相应的无效函数依赖并添加至无效函数依赖集合中，以得到已采样的元组对对应的所有无效函数依赖；对所述无效函数依赖集合进行反演得到有效函数依赖集合，所述有效函数依赖集合包含所述原始数据集对应的有效函数依赖。

摘要： 本发明公开一种基于文本特征和函数依赖特征的软件安全漏洞检测方法，该方法包括：对项目中的代码进行预处理，提取项目中所有的函数信息并保存，对函数信息进行函数文本特征和函数依赖关系特征提取和合并，使用自编码Autoencoder对合并特征向量进行降维和去噪，最后利用局部离群因子检测方法LOF进行异常检测，得到含有安全漏洞的函数。本发明基于无监督学习进行软件安全漏洞检测，不需要提供样本是否含有安全漏洞的标签，同时考虑软件的文本特征和软件中函数之间的依赖关系特征，提高了软件安全漏洞检测的正确率。

摘要： 本发明公开了一种基于函数依赖图的内核模块兼容影响域分析方法、系统和介质，本发明根据内核以及内核模块之间的函数调用关系构建内核模块依赖有向图；当某一内核模块版本升级后，比较内核升级前后版本间的函数差异，确定发生变化的内核模块接口函数集合；沿内核模块依赖有向图将内核接口函数变化辐射到有向图中与之相关的内核模块集合，从而确定内核模块兼容影响域，并根据兼容性问题解决的难易程度发出兼容性预警。本发明能够针对内核模块的不同版本之间的确定影响域和影响域实现版本兼容性检测，可用于保证内核模块之间的自洽以及兼容性预警，具有计算和存储代价小、检测准确度高的优点。

摘要： 本发明公开一种基于函数依赖的批量交通视频数据结构及其挖掘方法，包括：步骤一，在已知条件下，初始化属性集合、结果子集和迭代层级；步骤二，确定子集上的依赖关系；步骤三，搜索空间修剪和子集合并；步骤四，层次集合判断和迭代的退出。本发明对批量数据挖掘方法进行扩展，将该方法应用于实际交通监控视频的实验结果表明，该方法修正了函数依赖性，提高了从交通视频数据中提取元数据的准确性。该方法还大大提高了处理大量视频监控数据的效率。

摘要： 本发明提供一种基于Spark平台的分布式大数据函数依赖发现方法，包括数据分区，包括根据Spark集群各节点分配的CPU内核数对数据进行分区；生成属性集合的所有非空子集，包括通过数据库中的所有属性集合，生成含有所有非空子集的集合，为求解所有属性集合的等价类个数作准备；累加各节点属性集合的等价类数量，通过等价类计算得到全局数据库的(属性集合，等价类数)集合；迭代各属性集合生成函数依赖集合，包括由各属性集合的子集构建候选函数依赖关系，判断函数依赖关系是否成立。该方法解决了分布式环境下函数依赖发现算法的负载不平衡和低效问题，大幅度提高了函数依赖发现的执行效率。