登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
轻量级大数据运算系统Helius
  • 摘要

    针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统-Helius.Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程.实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12%~53.14%,运行TPCHQ6的时间仅为Spark的57.37%;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40%和15%,而且200 s的运行过程中,Helius占用的总内存约为Spark的25%.实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点.

  • 作者

    丁梦苏  陈世敏  DING Mengsu  CHEN Shimin 

  • 作者单位

    计算机体系结构国家重点实验室(中国科学院计算技术研究所),北京,100190

  • 刊期

    2017年2期 ISTIC PKU

  • 关键词

    内存计算  大数据运算  分布式计算  有向无环图调度  容错恢复  in-memory computation  big data processing  distributed computation  Directed Acyclic Graph (DAG) scheduling  fault tolerance and recovery 

相似文献 查看更多>>
34.204.171.108