首页> 中文学位 >基于梯度下降和自适应学习的高维生物数据降维可视化方法研究
【6h】

基于梯度下降和自适应学习的高维生物数据降维可视化方法研究

代理获取

目录

声明

摘要

第一章 绪论

1.1 课题研究意义

1.2 论文的主要创新工作

1.3 本文的组织结构

第二章 高维数据降维可视化算法

2.1 非线性数据降维可视化方法

2.2 基于流形学习的数据降维可视化

2.2.1 等度量映射算法(Isomap)

2.2.2 局部线性嵌入算法(LLE)

2.3 保持局部和全局特性的非线性数据降维可视化

2.3.2 多重映射图随机邻接嵌入算法

2.3.3 基于拉普拉斯正则化的多重映射图随机邻接嵌入算法

2.4 高维数据降维可视化评价

2.4.2 错误率

2.5 高维数据集

2.5.1 词相关性数据集

2.5.2 合著者数据集

2.5.4 微生物数据集

2.6 本章小结

第三章 基于Nesterov动量的mm-tSNE正则化算法

3.1 基于梯度的优化算法

3.1.1 随机梯度下降算法

3.1.2 标准动量算法

3.1.3 Nesterov动量算法

3.2 基于Nesterov动量的mm-tSNE正则化的高维可视化算法

3.3 实验结果与分析

3.4 本章小结

第四章 基于NM-RMSProp策略的mm-tSNE正则化算法

4.1 自适应学习率算法

4.2 AdaGrad算法

4.3 RMSProp算法

4.4 基于NM-RMSProp策略的mm-tSNE正则化算法

4.5 实验结果与分析

4.6 本章小结

第五章 总结与展望

5.1 主要贡献和创新点

5.2 研究展望

参考文献

致谢

攻读硕士学位期间的主要研究成果

展开▼

摘要

高维数据可视化是数据挖掘领域中非常具有挑战性的难题。传统高维数据可视化方法通过维数约减方法将高维空间数据点映射到低维空间,但会受到度量空间性质的限制,难以真实的表示非度量空间中的相似性数据,因为这些相似性往往是非传递的,它们共享不同的潜在的相似性成分。例如,从疾病表型的角度来看,很多复杂疾病是多种症状的特殊组合,这些与疾病相关症状往往揭示了一个共同的疾病机理和生理机制,但显然疾病表型之间的关系是非传递性的,因此疾病的表型的重叠导致某些类型的复杂疾病难以准确诊断。高效的数据可视化方法有助于发现复杂高维数据内部蕴含的潜在模式特征和不同维度的数据的分布特性,进而帮助研究者消除高维数据之间歧义性关系的影响并做出准确的判断与预测。本文主要研究工作如下:
  1)基于Nesterov动量的mm-tSNE正则化的高维数据可视化方法。mm-tSNE可以将高维空间中数据点可视化到低维空间。在目标函数的更新过程中,每个参数更新的方向不仅取决于当前的梯度位置,而且取决于最后的参数更新方向。基于标准动量的梯度方法更新方向不一定准确,而且步长过大,并致算法过度的振荡。基于Nesterov动量的mm-tSNE正则化方法计算参数每次迭代更新的梯度时先施加Nesterov动量达到一个新的临时参数位置,然后在当前参数位置计算更新的权重梯度,从而提供更大且更及时的梯度校正,这种改进使得Nesterov动量方法以更快和更好的响应方式更新梯度,在收敛性上比标准动量方法更快速和更稳定。实验结果表明,与原始的mm-tSNE,mm-tSNE正则化算法相比,基于Nesterov动量的mm-tSNE正则化方法获得了更好的可视化结果并且可以更好的表示数据之间的不可传递性相似性。
  2)基于自适应学习的mm-tSNE正则化方法实现高维生物数据可视化。在优化目标损失函数过程中,学习率是难以设置的超参数之一,对模型的可视化性能有着显著的影响。传统的采用固定的学习率来评估每次参数迭代的梯度,单一的学习率并不适合所有的梯度搜索方向,而损失函数通常对参数空间中的某些方向更为敏感。高的学习率对于低曲率的方向将会有好的作用,但对于高曲率的方向则会有所偏离。本文提出一种自适应算法学习的mm-tSNE正则化可视化方法,采用RMSProp方法根据曲率信息自适应地设置学习率,采用每个迭代参数的梯度指数移动平均值来归一化梯度,从而提供更好更及时的梯度校正。实验结果表明:基于自适应学习的mm-tSNE正则化方法获得了比原始的算法更快的收敛速度,降低了目标损失函数的错误率,证明了非度量属性在微生物数据集、生物数据集等数据集中普遍存在。
  使用新的优化方法学习算法的目标损失函数,更好的缓解了非度量空间性质的约束,因此可以更好的更快的表示相似性数据的非传递性。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号