首页> 中文会议>2017年全国高性能计算学术年会 >PB级数据在高性能计算系统中的协同预处理设计

PB级数据在高性能计算系统中的协同预处理设计

页面导航

摘要
著录项
相似文献
相关主题

摘要

高性能计算应用的数据量日益增长,数据密集型应用占比日益增加,在计算能力之外,高性能计算系统的存储能力、数据吞吐能力越发重要.数据预处理作为全流程处理中的重要一环,在数据量大的条件下不可忽视.如何在HPC系统现有条件下高效完成数据预处理,并且合理利用系统资源,是应用在HPC系统中适应性设计的重要挑战.本文利用高性能计算系统中的存储管理单元的高吞吐特性,设计了大规模数据的存储协同预处理方案.并在神威太湖之光环境下,进行了PB级的数据预处理的样例实验,实验证明了设计的有效性.

著录项

来源
《2017年全国高性能计算学术年会》|2017年|92-99|共8页
会议地点合肥
作者
Sun RuJun; 孙茹君; Zhang LuFei; 张鲁飞; Wang XiYang; 王晞阳; Hao ZiYu; 郝子宇; Chen ZuoNing; 陈左宁;
展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类 TP311.13;
关键词
数据处理; 高性能计算系统; 协同预处理设计; 高吞吐特性;
入库时间 2022-08-17 10:13:02

相似文献

中文文献
外文文献
专利

1. 高适用性高性能计算系统建设及在航天设计中的应用 [J] . 吴茂永 ,卢康 ,周智力 . 网信军民融合 . 2020,第007期
2. 基于 FPGA 的高性能数据采集和预处理系统的设计 [J] . 徐建丽 ,吴长瑞 . 淮阴工学院学报 . 2014,第005期
3. E级高性能计算机系统中监控分系统的挑战与设计 [J] . 袁远 ,李世杰 ,邢建英 . 计算机工程与科学 . 2021,第008期
4. 逆向工程点云数据预处理在交通运输工具(摩托车)设计中的应用与解析 [J] . 王海娜 ,韩飞 . 交通建设与管理 . 2014,第003期
5. 逆向工程点云数据预处理在交通运输工具(摩托车)设计中的应用与解析 [J] . 王海娜 ,韩飞 . 水路运输文摘 . 2014,第006期
6. 面向高性能计算系统的软硬件协同平台设计与实现 [C] . 杜金艳 . 全国抗恶劣环境计算机第二十五届学术年会 . 2015
7. E级高性能计算系统光互连网络架构研究 [A] . 姜涛 . 2018

PB级数据在高性能计算系统中的协同预处理设计

摘要

著录项

相似文献

相关主题

期刊订阅