登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
高强度I/O的应用对并行存储系统的挑战和解决方法研究
  • 摘要

    具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.

  • 作者

    董文睿  刘光明  刘欣  Dong Wenrui  Liu Guangming  Liu Xin 

  • 作者单位

    国防科学技术大学计算机学院 长沙 410073

  • 刊期

    2012年z1期 ISTIC EI PKU

  • 关键词

    并行文件系统  缓存  输出带宽 

参考文献
  • [1] 谭成辉,杨磊,文建国,李肯立. 基于分级Cache的透明计算系统. 计算机工程, 2011,5
  • [2] Top500 Supercomputer Sites. http://www.top500.org, 2011-06-21
  • [3] Felix E J;Fox K;Regimbal K. Active storage processing in a parallel file system. 2005
  • [4] Wickremesinghe R;Chase J S;Vitter J S. Distributed computing with load-managed active storage. Piscataway,NJ:IEEE, 2002
  • [5] Piernas J;Nieplocha J. Efficient management of complex striped files in active storage. Beilin:Springer-Verlag, 2008
  • [6] Son S W;Lang S;Carns P. Enabling active storage on parallel I/O software stacks. Piscataway,NJ:IEEE, 2010
  • [7] Piernas J;Nieplocha J;Felix E J. Evaluation of active storage strategies for the lustre parallel file system. Piscataway,NJ:IEEE, 2007
  • [8] Leong D. Collaborative object caching for heterogeneous OSD clusters. Piscataway,NJ:IEEE, 2007
  • [9] Dahlin M D;Wang R Y;Anderson T E. Cooperative caching:Using remote client Memory to improve file system performance. OSDI, 1994
查看更多︾
相似文献 查看更多>>
54.91.121.255