大数据情形下统计深度函数的计算方法研究

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

过去将近十年的时间里，数据收集、存储和数据分析技术的快速发展，大大降低了统计成本，使得一个大数据时代逐渐的展现在我们面前。大数据出现后，先后渗透进社会经济的各领域，对社会管理、经济发展和个人生活都产生了深刻的影响。在传统的数据分析中，一维数据的分析现在已经非常成熟，但随着信息技术的高速发展，数据量迅速膨胀，数据体量庞大且结构复杂，但是却缺乏类似一维数据排序的统计量。1975年Tukey[47]首次提出统计深度函数的概念，在一定程度上有效地解决了这一难题，统计深度函数可以用于高维数据的排序以及数据分析和异常值诊断，在位置参数的选取中，由深度函数定义每一个数据点的深度，将深度最深的哪一点作为位置参数，这样可以避免异常值对估计的影响，达到估计稳健性的效果，避免了异常只出现所造成的影响，统计深度函数的出现能够有效地找出数据中所有信息，这个已经被证明是非常有效的。本文介绍了几种常用的深度函数，对现有统计深度函数的计算算法作了概述，值得一提的是，这里所探讨的相关计算算法均为精确算法，因此只能适用于数据量较小时的情形。如何在大数据情形下开展相关计算，本文也在第四章针对投影深度函数和单纯型深度函数进行了详细的计算说明和描述。如同其他稳健估计一样，当样本数据过大和维数很高时，基于深度函数的参数估计计算非常复杂，所以为了使稳健估计更具实用性，解决计算问题非常重要。进入到大数据时代以来，数据量更加大、维度更高、结构更加复杂，面对纷繁复杂的数据，现有的统计深度函数由于其复杂的计算过程，往往会给研究者带来较大的计算压力。为了简化复杂的计算过程，本文对现有的统计深度函数进行了改进。作为一种改进，Cheng和Ouyang(2001)[3]分别为三维和四维数据提出了两种更快的算法。不幸的是，Cheng和Ouyang的算法对于更高维的数据并不可行，因为当p≥5时，它们相应扩展的复杂度比朴素算法的复杂度更要严重。更重要的是，他们的想法还没有相应的程序代码。在文献中，如何构造一个比朴素类型更快的算法，通常对于p＞2的维度是没有详细研究的。投影深度函数在p＞2的维度计算，Liu和Zuo(2014)[27]提供的算法计算量过大。作为权衡，我们只根据一些预先确定的计划在计算中选择较小数量的随机方向向量。需要付出的代价是计算精度的损失，但是，如下文中所述，对于时间节省的收益还是非常可观的。为了便于应用单纯型深度，我们进一步解释了这种计算，通过提出两个算法来引出问题。第一个是确切的，各种经验实例表明，所提出的算法的实施运行速度比朴素算法要快得多。然而，当n或p是任意的时候，精确计算单纯型深度的问题本质上是NP-完全问题，尽管存在用于固定p的多项式时间算法。因此可以使用合理的近似值。所以，提出了一种基于重采样的近似算法，并在文章第四章对该方法步骤做了详细的说明。本文中提出了一种新的p≥3的近似算法，所提出的算法是仿射不变的，并且与其它的对应算法相比，其实现在计算上是更有效的。

著录项

作者
蒋亚飞;
展开▼
作者单位

江西财经大学;

展开▼
授予单位江西财经大学;
学科统计学
授予学位硕士
导师姓名刘小惠;
年度 2018
页码
总页数
原文格式 PDF
正文语种中文
中图分类计算技术、计算机技术;保健组织与事业（卫生事业管理）;
关键词
大数据; 统计; 深度函数;

相似文献

中文文献
外文文献
专利

1. 大数据情形数理统计和并行计算方法研究 [J] . 蒋亚飞 . 辽宁经济 . 2017,第007期
2. 缺失数据情形下概率密度函数的统计应用研究 [J] . 张亚 ,安佰玲 . 宿州学院学报 . 2018,第005期
3. 大数据时代背景下统计数据形态与政府r统计工作方法研究 [J] . 陆勤华 . 统计与管理 . 2017,第008期
4. 大数据背景下智能工业统计方法研究 [J] . 王婧 . 市场调查信息 . 2021,第011期
5. 大数据背景下“统计学”课程教学方法研究 [J] . 韩静舒 . 教育教学论坛 . 2019,第009期
6. 大数据环境下基于深度学习的基站故障预测方法研究 [C] . 王奕 . 辽宁省通信学会2018年度学术年会 . 2018
7. 基于深度函数的多变量参考值范围统计学方法研究 [A] . 薛富波 . 2005

大数据情形下统计深度函数的计算方法研究

目录

摘要

著录项

相似文献

相关主题

期刊订阅