登录 | 注册 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
YARM:基于MapReduce的高效可扩展的语义推理引擎
  • 摘要

    随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.

  • 作者

    顾荣  王芳芳  袁春风  黄宜华  GU Rong  WANG Fang-Fang  YUAN Chun-Feng  HUANG Yi-Hua 

  • 作者单位

    南京大学计算机软件新技术国家重点实验室 南京210046

  • 刊期

    2015年1期 ISTIC EI PKU

  • 关键词

    RDF  RDFS推理  MapReduce  语义推理  分布式推理  RDF  RDFS reasoning  MapReduce  semantic reasoning  distributed reasoning 

相似文献 查看更多>>
34.226.244.70