离群点

摘要： 针对异常离群点对k-means‖算法的聚类精确度影响较大且在确定中心点过程中会泄露聚类数据隐私的问题,提出DPk-means‖算法。标记离群点,降低离群点对k-means‖算法聚类精确度的影响,将差分隐私应用于k-means‖聚类算法中保护聚类数据隐私。在选择聚类初始中心点和迭代求取均值中心点的过程中,应用拉普拉斯机制注入噪声,解决数据隐私泄露的问题。通过隐私预算动态变化对聚类结果准确性的影响及同类算法对比实验分析验证,DPk-means‖算法能够提供更高的隐私保护水平且保证聚类结果的准确性。

摘要： 电力负荷具有复杂性、分散性以及时变性等特点,变电站负荷特性分类能够为典型变电站的负荷建模提供依据。其中大数据分析及聚类分析方法在电力负荷特性分析中发挥了重要作用。论文对比了各类聚类分析方法,针对k-means算法对于孤立数据(离群点)敏感等缺点,考虑到变电站负荷数据的分散性,提出一种改进型k-means算法。该算法首先剔除离群点,再找出最佳聚类中心数目并进行分类。实验结果表明,该算法可以使变电站负荷特性的聚类效果进一步提高,提高电力负荷分析与建模的精准度。

摘要： 聚类分析是数据挖掘的重要技术,而在5G时代,海量的数据维度高、数据集大,利用K-means算法易受离群点的影响,且K值、初始聚类中心的选取影响聚类结果的稳定性和准确率,甚至导致聚类陷入局部最优,对K-means算法的改进受到众多研究者的关注。主要对K-means聚类的研究现状进行归纳总结。首先,介绍K-means算法的思想原理;其次,针对初始聚类中心点的选取、K值确定、离群点对现有改进算法进行基于密度和距离的分类总结,并对各个改进算法的优势和缺陷进行分析;最后对K-means算法未来可能的研究方向和趋势进行展望。

摘要： 研究基于TCM-KNN算法的网络入侵检测方法,分析与预处理网络入侵数据,提取数据特征,结合深度行为分析方式,构建网络入侵行为检测模型,引入TCM-KNN算法,计算网络入侵离群点,设计网络入侵检测步骤,实现网络入侵检测方法设计。

摘要： 社区搜索是备受关注的网络分析任务之一,旨在搜寻包含查询节点的局部社区.现有大多数社区搜索方法多面向简单网络且仅能定位查询节点所在社区,未能在搜索过程中考虑用户偏好.为实现利用用户偏好指导搜索过程并搜寻用户感兴趣的多社区,设计了属性网络中结合用户偏好的社区搜索和离群点检测方法,旨在通过较少的查询节点有效的捕获用户偏好并自动探索网络中的社区,同时识别社区中离群点.具体而言,通过编码查询节点及其邻居间的显式交互关系和相似属性以突出局部结构,利用其来挖掘潜在查询节点候选集成员.在查询节点候选集上定义平均划分相似度以推断属性子空间为用户潜在兴趣.采用属性和结构约束来搜索网络中的多社区和离群点.此外,真实数据集和人工数据集上的大量实验证明了所提方法的有效性.

摘要： 针对密度峰值聚类算法需要人工设置参数、时间复杂度高的问题,提出了基于快速密度峰值聚类离群因子的离群点检测算法。首先,使用k近邻算法代替密度峰值聚类中的密度估计,采用KD-Tree索引数据结构计算数据对象的k近邻;然后,采用密度和距离乘积的方式自动选取聚类中心。此外,定义了向心相对距离、快速密度峰值聚类离群因子来刻画数据对象的离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与一些经典和新颖的算法进行对比实验,从正确性和时间效率上验证了所提算法的有效性。

摘要： 针对现存离群点检测算法和剪枝方法存在算法精确度较低和剪枝程度小的问题,提出了一种基于近邻差波动因子的离群点检测方法。该方法首先依据离群点的相互k近邻(MUN)点数远小于参数k这一特点,提出了一种基于近邻关系的剪枝方法;然后提出近邻差的概念来刻画数据对象与其邻居点的分布特征,在变化的参数k下,离群点和正常点的近邻差的变化不同;最后采用近邻差波动衡量每个数据点的离群程度,进而检测出离群点。人工数据集和真实数据集下的实验结果表明,该算法能够有效且较为全面地检测出离群点。

摘要： 样本点的边界信息对于分类具有重要意义。针对于边界Fisher分析(MFA)和局部敏感判别分析(LSDA)构造本征图和惩罚图所利用的样本点边界信息,在一些情况下并不能很好地表征不同类样本点的可分性,提出了一种新的图嵌入降维算法——边界流形嵌入(MME)。MME算法根据样本点的标签信息,寻找距离每个样本点最近的异类边界子流形,再返回本类中寻找距离异类边界子流形最近的同类边界子流形,从而定义出不同类样本间密切联系的同类边界邻域和异类边界邻域。通过最大化所有成对的边界子流形之间的距离,MME算法可以得到更具有鉴别意义的低维特征空间。同时,MME算法能将徘徊在边界的离群点收入到边界邻域里,这对减弱离群点给算法带来的负面的影响有一定的帮助。在人脸数据库上的实验结果表明了MME算法提取的低维特征能够提升分类的准确率。

摘要： 在大量的网络数据中,可能隐藏着少许攻击序列,离群点是由异常机制产生,不服从数据的普遍分布规律,设计一个基于神经网络的多尺度时序数据离群点挖掘方法.采用对象与其类别聚类中心的相似度来测量对象属于聚类的程度,确定检测对象的邻域,采用神经网络技术对多尺度时序数据离群点挖掘,初始化BP神经网络,基于网络的实际输出和预期输出,判断网络的停止条件,不断迭代上述基于神经网络的计算过程,直至所有的离群点挖掘完毕,以此完成多尺度时序数据离群点挖掘.实验结果表明,提高了挖掘准确性,还提高了离群点挖掘效率.

摘要： 针对井下作业人员轨迹数据信息多维度和稀疏性等问题,提出了基于离群点的异常轨迹筛选ZFMTRAOD算法,首先通过对轨迹子段建立R-tree索引提升检索速度,然后利用离群检测思想对邻域半径内轨迹子段的数量和平均时间判断轨迹是否异常,最后利用井下作业人员的轨迹数据对算法的性能进行比较,发现基于离群点的井下人员轨迹分析算法不仅能判别出井下作业人员异常轨迹的类型,还提高了异常轨迹判别的准确率.

摘要： 在开展过程监控的离线建模的工作中,当训练数据集含有离群点时,高斯混合模型(Gaussian Mixture Model,GMM)不能准确刻画多模态数据特征.为解决GMM易受离群点影响的问题,本文提出了LoOP-GMM的过程监控方法.首先,用局部离群概率(Local Outlier Probability,LoOP)算法在数据预处理阶段检测并剔除训练数据集中的离群点,并用GMM算法建立离线模型,同时根据后验概率将训练数据集进行聚类.其次,考虑到在线样本的离群概率,构造一个新的全局概率指标作为统计量并用于多模态过程故障监控.最后,通过数值仿真和连续搅拌釜反应器(Continuous Stirred Tank Reactor,CSTR)过程验证了本文所提方法的有效性.

摘要： 检测数据流中离群点是离群点检测的一个新兴领域.为了实时动态地检测数据流滚动窗口中当前离群点,本文运用保守策略,结合ROF-Tree树结构,实现了滚动窗口环境下在线有效地检测离群点,而且做到尽力不漏报离群点.实验结果证明,与其他检测方法相比,本文的方法不仅具有较好地时空效率,而且在准确率和覆盖率上具有优势.

摘要： 本文针对高维种属属性的数据集,提出了一种有效的在子空间中进行局部离群点检测的EDOLOIS算法.算法利用子空间和原空间固有的数学关系,结合LOF定义的特点,利用原空间的原始数据来高效地计算出子空间的局部离群系数.理论分析表明,EDOLOIS算法能够很好地利用原空间已经算计算出的数据,来推算出子空间的局部离群系数,从而较好地克服了"维度灾难"和"组合爆炸"问题对离群点发现问题的影响;理论上,EDOLOIS算法能够以小得多的时间复杂度发现所有子空间中的局部离群点.

摘要： 离群点挖掘(outliermining)是一项有趣而重要的数据挖掘任务.现有的离群点挖掘方法,一般不能有效地预测并控制目标结果的范围.本文提出了一种基于群体智能的离群点挖掘算法SIOM(Swarm Intelligence based Outlier Mining),通过两个简单的聚类过程,准确、有效地发现离群数据,并可以通过主要参数的调整,有力地控制目标结果的范围.我们将这一算法应用于电信行业欺诈用户的发现,验证了算法的正确性和有效性,并分析了SIOM算法基于群体智能思想的优势和特点.

摘要： 鉴于离群点对基于电力感知数据的电力应用存在不良影响,本文充分考虑电力感知数据的特点和异常数据检测技术的易用性需求,提出一种电力传感数据的离群点检测解决方案,由异常数据检测的服务框架和离群点检测方法构成.前者借鉴Web服务的思想提供电力感知数据的异常检测服务,后者基于聚类算法和考虑时间属性数据分类方法检测电力感知数据中的离群点异常.本文通过实验验证了所提方法的可行性和有效性.实验结果表明提出的方法能够发现电力感知数据中存在的离群点,且在数据规模增大时,具有良好的并行性能和可扩展性.

摘要： 针对模糊支持向量机在故障诊断中对离群点和噪声十分敏感的缺点,提出了最小化数据集在超平面法向离散度的模糊支持向量机.通过最大化两类样本间的几何间隔和最小化数据集在分类超平面法向的离散度,不仅保证了数据集的可分性,同时减小了离群点和噪声出现的概率,提高了故障诊断的正确率.此外,提出了基于样本点到超平面距离的非线性隶属度计算方法,能够适应分布几何形状不规则的数据集,进一步提高了故障诊断的正确率.

摘要： 针对传统的PCA建模要求数据噪声服从正态分布，然而在实际的工业过程中建模数据经常含有离群点问题，提出了一种基于鲁棒主元分析的故障检测方法．该方法使用加权方差-协方差矩阵来代替传统PCA的协方差矩阵建立鲁棒PCA模型，计算此模型的SPE(Q)和T2统计量并监控这2个统计量是否超过了各自的控制限来检测是否存在故障．用Matlab进行了与传统PCA的对比仿真，结果表明，当离群点存在时传统的PCA方法很难检测出故障，而鲁棒PCA可以消除离群点的影响准确地检测出故障．鲁棒PCA比传统PCA方法分析过程数据更为准确，并能克服大多数鲁棒方法需要进行迭代的问题，能有效地检测过程故障．

摘要： 本文提出了辨识土建结构系统物理参数的突加荷载激振-振动反分析法,并用线性再平均技术筛选被噪声污染的结构物理参数样本,剔除离群点,提高了辨识精度;在辨识的基础上进行了结构响应预测.数字仿真结果表明,此方法简便易物,准确可靠.

摘要： 一种用于科学仪器支持的方法包含获得色谱数据。所述方法包含以下之一：(a)计算所述色谱数据的强度评分，并且当所述强度评分低于评分阈值时识别注射未命中；或(b)应用机器学习模型以对所述色谱数据进行分类。所述方法进一步包含向用户通知注射未命中或注射错误。

摘要： 本发明涉及肌电数据中离群点的处理方法和系统，包括：获取数据样本的数据集，并将数据集划分为第一类正域、第一类边界区、第二类正域和第二类边界区；将第一类边界区和第二类边界区内数据样本聚类，并根据聚类结果，分别将第一类边界区和第二类边界区划分为多个群组；分别根据第一类边界区内数据样本至第一类正域的距离和第二类边界区内数据样本至第二类正域的距离，确定第一类边界区每个群组至第一类正域的平均距离和第二类边界区每个群组至第二类正域的平均距离，将平均距离大于距离阈值的群组标记为离群点，集合离群点作为离群集合；将数据样本量大于飞地阈值的离群点标记为飞地群组，并删除离群集合中的飞地群组，得到离群点处理结果。

摘要： 本发明涉及低压台区防窃电技术领域，提出了一种基于局部离群点因子的低压窃电用户定位方法。首先，基于影响台区线损的特征属性搜寻与监测台区最相似的k个台区，即k个最近邻台区；接着，基于k个最近邻台区的线损率分析监测台区线损率是否异常；如果监测台区某段时间线损率异常则计算该监测台区所有用户该段时间负荷曲线之间的离散Fréchet距离；最后，基于用户负荷曲线之间Fréchet距离计算该监测台区每个用户负荷曲线的局部离群点因子，局部离群点因子越大的用户窃电概率越大。该方法输出线损率异常的监测台区所有用户窃电概率的排序，只需要检测排序靠前的用户即可检测出大部分窃电用户，大大提高了反窃电工作效率。

摘要： 本发明提出了一种车联网中基于时空离群点的虚假数据检测方法，其步骤为：利用车联网中部署在路边的RSU收集车辆报告的数据，按照时间和空间属性对数据进行分组，量化每个组内数据的相似程度，基于贝叶斯方法检测出现数据显著分歧的异常数据组。将道路空间中交通数据高度相关的区域定义为时空邻域，基于历史数据建立时空邻域，利用离群点检测算法检测显著偏离整体的虚假数据。本发明利用真实交通环境中交通数据的时空相关特性，初步判断虚假数据，再结合时空离群点检测算法，量化时空邻域中每个数据与整体的偏离程度，找出虚假数据，能够正确有效地评价道路交通状况，提高交通管理行为能力，从而实现交通安全、智能导航等丰富多样的上层应用。

摘要： 本发明公开了一种离群点去除方法，根据三轴角速度、三轴加速度和旋转矩阵计算拍摄装置第一图像帧和第二图像帧时间间隔内的三轴旋转量；将从第一图像中获取的第一特征点和从第一图像相邻的第二图像获取的第二特征点组成的第一特征点匹配对中随机抽取一对第二特征点匹配对，根据三轴旋转量和第二特征点匹配对拟合得到第一基础矩阵；使用第一基础矩阵识别出第一特征点匹配对中的第一内点和第一离群点；根据第一内点拟合得到第二基础矩阵；使用第二基础矩阵识别出第一特征点匹配对中的第二内点和第二离群点；将上述步骤循环N次，从得到M个第二内点中获取特征点匹配对数量最多的一个第二内点为目标点。通过本发明实施例，能有效加速识别误匹配点对。

摘要： 本发明提供了一种三维点云的离群点提取方法及装置，其方法包括：获取训练完备的目标离群点提取模型，所述目标离群点提取模型包括点云旋转模块、点云特征提取模块以及分割模块；获取待提取三维点云；基于所述点云旋转模块将所述待提取三维点云进行旋转，获得旋转点云；基于所述点云特征提取模块对所述旋转点云进行特征提取，获取目标点云特征；基于所述分割模块和所述目标点云特征提取所述待提取三维点云中的离群点。本发明可提高提取三维点云的离群点的效率和准确率。

摘要： 本发明公开的一种基于信令获取人口数据判别离群点的方法、系统和介质，其中方法包括：获取预设区域的纵向人口数据和本期统计的人口数据；将预设区域的纵向人口数据和本期统计的人口数据进行排序，得到有序的人口数据序列；基于预设的统计检验模块，判断人口数据序列是否存在离群点，若是，则将对应离群点进行标记；若否，则将对应人口数据进行保留；将标记的离群点和预设原因库中非常规事件进行匹配，若匹配成功，则将对应离群点进行保留；若否，则将对应离群点进行删除。本申请通过三种方法判定离群点，将离群点和预设非常规事件进行匹配，判断离群点是否匹配成功，将人口统计数据中匹配失败的离群点剔除，保证了统计数据的准确性。

摘要： 本发明公开了一种利用时空关联性识别齿轮箱振动信号离群点的方法和系统，通过建立两个关联通道并在两个通道下分别实施采集齿轮箱输入轴传感器信号和齿轮箱输出轴传感器信号，利用滑窗法移动滑窗并计算各窗口内数据特征值，根据特征值分别计算各通道内数据特征值的相异距离和不同通道的相关系数，根据相异距离和相关系数对候选离群数据序列是否为错报数据进行排除。本发明提供了针对工业领域的新的离群时间序列离群数据点的判断方法和系统，可以减少甚至避免设备误报警。

摘要： 本发明公开了一种面向焊板点云处理的离群点去除方法，首先获取待处理的焊板点云图像，分割焊板平面并分别拟合焊板平面方程，然后依据焊板平面方程确定焊板的理论交线的位置，并依据理论交线的位置和焊板点云图像中的各点的坐标，判断各点所属的焊板平面，最后确定各点到其所属的焊板平面的距离，设定距离阈值和处理范围，若距离小于阈值，则保留该点，否则认定为离群点并删除。本发明在处理过程中加入了焊板平面的形状信息，使去噪过程更加简单快速，不仅能去除广义上的离群点，同时对其他各类离群噪声点均有良好的去除效果。

摘要： 本公开的实施例公开了基于离群点引导的视线估计跨场景适配方法和装置。该方法的一具体实施方式包括：基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；基于目标图像、该协同学习模型组和该平均协同模型组，生成该协同学习模型组对应的离群点；利用离群点损失函数和离群点，对协同学习模型组进行优化；利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。该实施方式能够有效地稳定跨域适配过程，提高系统的可扩展性。