您现在的位置: 首页> 研究主题> I/O性能

I/O性能

I/O性能的相关文献在1994年到2022年内共计111篇,主要集中在自动化技术、计算机技术、无线电电子学、电信技术、大气科学(气象学) 等领域,其中期刊论文67篇、会议论文10篇、专利文献177470篇;相关期刊52种,包括中国集成电路、电脑知识与技术、单片机与嵌入式系统应用等; 相关会议7种,包括2016年全国高性能计算学术年会 、第四届中国科学院超级计算机应用大会、第18届全国信息存储技术学术会议等;I/O性能的相关文献由235位作者贡献,包括李丽、Xue Wei、何光明等。

I/O性能—发文量

期刊论文>

论文:67 占比:0.04%

会议论文>

论文:10 占比:0.01%

专利文献>

论文:177470 占比:99.96%

总计:177547篇

I/O性能—发文趋势图

I/O性能

-研究学者

  • 李丽
  • Xue Wei
  • 何光明
  • 何晓斌
  • 何曼
  • 余婷
  • 冯景华
  • 刘晓萌
  • 吕倩华
  • 吴仲品
  • 期刊论文
  • 会议论文
  • 专利文献

搜索

排序:

年份

    • 蔡春花; 黄思远; 高继梅
    • 摘要: 文中设计一个用于存储的平台,通过虚拟化技术实现了服务器,规划了平台的存储集群规模及服务;对存储集群架构、请求处理系统、数据库进行了设计;使用Spring Boot和Thymeleaf实现了前台用户功能模块,包括用户注册、用户登录、文件上传及文件相关操作、用户关注和用户分享等功能;最后对HBase库亿级大数据查询性能和Hadoop集群输入/输出(Input/Output,I/O)性能进行了测试。测试结果表明查询性能可以做到百毫秒级查询,写性能平均I/O速率为91.73 Mb/s,读性能平均I/O速率为348.56 Mb/s,能够满足用户需求。
    • 陈康; 武永卫; 郑纬民
    • 摘要: 对于存储系统来说,信息资源的爆炸性增长在I/O支持应用的性能以及数据可用性等方面提出了越来越高的要求。可以预见,人工智能、大数据和图计算等新型计算模式对存储系统的I/O性能更是提出了极致要求。从技术发展趋势上来看,新型的网络传输硬件及使用模式、新型存储硬件都提供了极高的访问带宽和极低的访问时延,这一发展趋势导致现有的存储软件成为性能瓶颈。特别是在提供低时延访问上,存储软件的结构需要进行革新。
    • 曾瀞瑶; 苑娜; 魏文娟; 李根; 杜政霖
    • 摘要: [目的]为推动精准医学研究的发展,世界各国相继开展大规模人群队列基因组测序计划,通过对数以万计个体进行全基因组测序,构建人群特异的基因组变异图谱.这些海量基因组数据产出,对计算速度和计算通量提出了新的要求,迫切需要速度更快、通量更高的计算平台来处理与解读这些生物序列信息.由于基因组数据自身的特点、数据解析过程的多样性和复杂性,致使在大规模人群基因组变异解析中高通量计算资源的使用效率低、计算速度慢、耗时长,服务器与本地数据交换不便,因此需要针对基因组变异解析进行多方面优化,通过软硬件开发来解决应用中存在的多种问题.本文拟对这些优化方法进行分析和综述.[方法]在高通量计算系统中,系统IO瓶颈问题是基因组变异解析并行化效率低的主要原因,通常采用基于分布式非结构化存储数据库以及对象存储系统,以提升IO的大规模可扩展能力,解决分析流程中存在的IO问题;同时通过基因组数据的高效压缩算法,可减少数据IO和传输压力.为了加快基因组数据解析速度,可在软件上采用神经网络等算法优化基因组解析方法,在硬件上使用FPGA(现场可编程逻辑门阵列)或GPU异构计算,以提高数据处理速度.[结果]综合来看,以上多方面的优化可以大幅提升基因组数据分析中高通量计算的性能,解决基因组数据处理中的存储墙问题,提高高通量计算资源的使用效率,大大减少全基因组变异解析的计算时间.[结论]高通量计算在基因组数据解析应用中存在的多种问题,可通过软硬件开发和优化得以解决,从而显著改进高通量计算在大规模人群队列变异解析应用中的计算效率,促进今后人群队列基因组研究与应用的广泛开展.
    • 曾瀞瑶; 苑娜; 魏文娟; 李根; 杜政霖
    • 摘要: 【目的】为推动精准医学研究的发展,世界各国相继开展大规模人群队列基因组测序计划,通过对数以万计个体进行全基因组测序,构建人群特异的基因组变异图谱。这些海量基因组数据产出,对计算速度和计算通量提出了新的要求,迫切需要速度更快、通量更高的计算平台来处理与解读这些生物序列信息。由于基因组数据自身的特点、数据解析过程的多样性和复杂性,致使在大规模人群基因组变异解析中高通量计算资源的使用效率低、计算速度慢、耗时长,服务器与本地数据交换不便,因此需要针对基因组变异解析进行多方面优化,通过软硬件开发来解决应用中存在的多种问题。本文拟对这些优化方法进行分析和综述。【方法】在高通量计算系统中,系统IO瓶颈问题是基因组变异解析并行化效率低的主要原因,通常采用基于分布式非结构化存储数据库以及对象存储系统,以提升IO的大规模可扩展能力,解决分析流程中存在的IO问题;同时通过基因组数据的高效压缩算法,可减少数据IO和传输压力。为了加快基因组数据解析速度,可在软件上采用神经网络等算法优化基因组解析方法,在硬件上使用FPGA(现场可编程逻辑门阵列)或GPU异构计算,以提高数据处理速度。【结果】综合来看,以上多方面的优化可以大幅提升基因组数据分析中高通量计算的性能,解决基因组数据处理中的存储墙问题,提高高通量计算资源的使用效率,大大减少全基因组变异解析的计算时间。【结论】高通量计算在基因组数据解析应用中存在的多种问题,可通过软硬件开发和优化得以解决,从而显著改进高通量计算在大规模人群队列变异解析应用中的计算效率,促进今后人群队列基因组研究与应用的广泛开展。
    • 陈晔
    • 摘要: 云计算是一种以互联网为网络平台的新兴计算方式,将传统计算机网络的低通用、高成本、高集中服务配置转变为高通用、低成本、高分布的全新计算模式,基于虚拟化技术和云计算技术构建的数据中心在高校校园网中的应用越来越广泛.
    • 占永红; 王东; 吴丽莎; 王淋漓
    • 摘要: 随着电网规模的日趋复杂以及电网规模的快速增长,电力生产与信息化有了深度的融合,电网监测数据变得日益庞大,电力设备在线监控系统的数据存储面临着巨大的挑战.针对电力设备监测数据存储存在的问题,采用HDFS对电力设备监测数据存储设计进行研究,研究了基于HDFS的电力设备监测数据存储系统构架,系统构架主要由计算层、数据接入和存储层组成;提出了一致性哈希存储算法,该算法优化了HDFS的数据分布策略;分析了HDFS数据块的尺寸优化,得出了负载均衡和数据块的关系;进行了HDFS性能基准测试,分析出监测数据规模与文件大小对集群I/O性能的影响,研究为实现高效、统一、安全的电力设备监控数据的存储提供一定借鉴意义.%With the rapid development of power grid scale and the rapid growth of power grid scale,power production and information technology have deep integration,power grid monitoring data becomes increasingly large,power equipment online monitoring system data storage is facing great challenges.In view of the problems existing in the storage of the monitoring data of the electric power equipment,HDFS was used to study the data storage system of power equipment monitoring data,and the architecture of data storage system based on HDFS was studied.The system architecture was mainly composed of computing layer,data access and storage layer.A consistent hash algorithm was proposed.The HDFS data distribution strategy was analyzed,the size of HDFS data block was analyzed,and the relationship between load balancing and data block was obtained.The HDFS performance benchmark test was carried out to analyze the influence of monitoring data size and file size on cluster I/O performance,research for the realization of efficient,unified,safe monitoring of power equipment to provide some reference data storage.
    • 胡炀; 陶敬; 刘林峰; 李剑锋; 胡文君; 梁肖
    • 摘要: 针对Android平台当前采用的文件加密机制不能兼顾高安全性和高I/O性能的问题,提出了一种新型的基于映射表加密和物理块加密的透明文件加密机制.该机制使用10轮AES-128块加密算法加密文件的逻辑块与物理块的映射关系,使用改进的7轮AES-128块加密算法加密存储文件数据的物理块,从而在安全性和I/O性能之间寻求平衡.通过密码学理论推导证明了该机制的密码强度不低于Android平台当前采用的加密机制,通过I/O性能理论分析得出该机制的I/O性能优于Android平台当前采用的文件加密机制.此外,在Google Nexus 4智能手机上分别对该机制和Android平台当前采用的文件加密机制进行了108种不同测试条件下的I/O性能测试,测试结果验证了I/O性能理论分析得出的结论,并且发现:该机制的I/O写入性能比率比Android平台当前采用的文件加密机制平均高出13.12%,该机制的I/O读取性能比率比Android平台当前采用的文件加密机制平均高出16.16%.
    • 李强; 孙震宇; 雷晓凤; 孙功星
    • 摘要: 最大化利用本地磁盘的I/O 资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为 Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到 Hadoop 的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的 I/O 资源,可使节点的 I/O Wait 平均降低5%,CPU 利用率平均上升15%,作业的执行时间缩短20%。%Maximum use of local disk I/O resources is the key to improve computing cluster performance,but most of the scheduling algorithms in Hadoop system do not consider this factor.Aiming at this problem,a new task selection strategy is proposed,which takes the disk workload as a parameter in the procedure of MAP task selection and refers to each disk workload to choose the appropriate task during task scheduling,so as to achieve balanced disk workload on data nodes.Besides,a new task selection module is designed and integrated into the task scheduler of Hadoop.In order to further improve Hadoop system’s performance,an appropriate fully localized job execution mechanism is implemented. Experimental results prove that the proposed strategy makes full use of disk I/O resources,reduces I/O Wait by 5% on average,increases CPU utilization rate by 15% on average,and reduces the job execution time by 20%.
    • 聂瑞华; 谢文君; 梁军
    • 摘要: The I/O performance is excellent for the large files on Lustre file system, but is poor for the small files. To solve the problem, this paper proposes a small file cache pool mechanism based on MDS node, the frequently accessed small files are put in the pool. In this mechanism, the pool uses a fully associative mapping to correspond with OST file cache, and uses look through style and write through strategy to ensure the file consistency. The cache pool updating strategy considers some factors that include the file access time and number, and uses a modified Least Recently Used algorithm (LRU). Experimental results show that the improved Lustre file system reduces the network transmission overhead and saves access time of small files, and I/O performance has been significantly improved on accessing small files. Although I/O performance has been reduced on accessing large files, the improved Lustre file system still has some practical value within an acceptable range.%Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法(LRU)更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。
  • 查看更多

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号