面向Lustre集群存储的应用日志分析及系统自动优化框架

程稳; 李焱; 曾令仿; 王芳; 唐士程; 杨力平; 冯丹; 曾文君

首页> 中文期刊> 《计算机工程与科学》 >面向Lustre集群存储的应用日志分析及系统自动优化框架

面向Lustre集群存储的应用日志分析及系统自动优化框架

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。

著录项

来源
《计算机工程与科学》 |2022年第4期|594-604|共11页
作者
程稳; 李焱; 曾令仿; 王芳; 唐士程; 杨力平; 冯丹; 曾文君;
展开▼
作者单位

华中科技大学武汉光电国家研究中心;

深圳国家基因库;

之江实验室;

展开▼
原文格式 PDF
正文语种 chi
中图分类理论、方法;
关键词
LUSTRE文件系统; 日志分析; 系统优化; 服务质量; 资源管理;

相似文献

中文文献
外文文献
专利

1. 基于Lustre的BES集群存储系统 [J] . 汪璐 ,石京燕 ,程耀东 . 核电子学与探测技术 . 2010,第012期
2. 面向对象存储的文件系统Lustre [J] . 梁军 ,聂瑞华 . 计算机工程与设计 . 2015,第006期
3. 面向天河二号Lustre文件系统优化实践 [J] . 曾凌波 ,杜云飞 ,万文 . 计算机科学与应用 . 2021,第11期
4. 集群文件系统lustre的介绍及应用 [J] . 马艳军 ,吕爽 ,刘一谦 . 科技信息 . 2012,第005期
5. 计算机控制系统应用软件的自动开发环境(一)——控制系统方框图的存储方法与拓扑图的优化排序 [J] . 韩忠旭 . 电网技术 . 1998,第5期
6. 基于Lustre技术的地震数据集群存储系统 [C] . Li Zhen ,李振 ,Luo Hongming . 第四届全国石油石化行业信息化创新发展论坛 . 2018
7. 面向计算密集型应用的高效可重构存储子系统的设计与优化 [A] . 刘颖骁 . 2011

面向Lustre集群存储的应用日志分析及系统自动优化框架

摘要

著录项

相似文献

相关主题

期刊订阅