登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
MapReduce框架下基于超平面投影划分的Skyline计算
  • 摘要

    近年来,Skyline计算在决策应用中起着越来越重要的作用.针对单机处理的研究已较为成熟.现今大数据爆炸,Skyline计算面临着大数据处理的问题.MapReduce是一个并行模型,广泛应用于数据密集型应用处理中.众所周知,MapReduce处理要求任务是可分解的.Skyline计算在MapReduce上执行时,分解任务的方法有网格划分、基于角度的划分等.网格划分仅在数据维度较低时表现良好;基于角度的划分适用于低维和高维数据,但在划分前需要一个复杂并且费时的坐标转换过程.现采用一种与基于角度的划分类似的基于超平面投影的划分来分解数据集,这种划分适用于低维和高维数据,而且其在划分前的坐标转换较为简单.根据超平面投影的划分提出了一种在MapReduce上处理Skyline计算的算法MR-HPP(MapReduce with hyperplane-projections-based partition),并在该算法的过滤阶段提出了一种有效的过滤算法PSF(presorting filter).大量基于Hadoop平台的对比实验表明该算法的准确性、高效性和稳定性.

  • 作者

    王淑艳  杨鑫  李克秋  Wang Shuyan  Yang Xin  Li Keqiu 

  • 作者单位

    大连理工大学软件学院 辽宁大连 116024/大连理工大学计算机科学与技术学院 辽宁大连 116024

  • 刊期

    2014年12期 ISTIC EI PKU

  • 关键词

    Skyline计算  大数据  MapReduce  超平面投影划分  过滤  Skyline computing  big data  MapReduce  hyperplane-projections-based partition  filter 

参考文献
  • [1] 丁琳琳,信俊昌,王国仁,黄山. 基于Map-Reduce的海量数据高效Skyline查询处理. 计算机学报, 2011,10
  • [2] Borzsony S;Kossmann D;Stocker K. The Skyline operator. Piscataway,NJ:IEEE, 2001
  • [3] Vlachou A;Doulkeridis C;Kotidis Y. Angle-based space partitioning for efficient parallel Skyline computation. New York:ACM, 2008
  • [4] K(o)hler H;Yang J;Zhou X. Efficient parallel Skyline processing using hyperplane projections. New York:ACM, 2011
  • [5] Deshmukh A P;Pamu K S. Introduction to hadoop distributed file system. International Journal of Engineering Innovation and Research, 2012,02
  • [6] Chomicki J;Godfrey P;Gryz J. Skyline with presorting. Piscataway,NJ:IEEE, 2003
  • [7] Kossmann D;Ramsak F;Rost S. Shooting stars in the sky:An online algorithm for Skyline queries. San Francisco:Morgan Kaufmann, 2002
  • [8] Papadias D;Tao Y;Fu G. An optimal and progressive algorithm for Skyline queries. New York:ACM, 2003
  • [9] Wu P;Zhang C;Feng Y. Parallelizing Skyline queries for scalable distribution. Berlin:Springer-Verlag, 2006
  • [10] Vlachou A;Doulkeridis C;Kotidis Y. SKYPEER:Efficient subspace Skyline computation over distributed data. Piscataway,NJ:IEEE, 2007
  • [11] Wang S;Ooi B C;Tung A K H. Efficient Skyline query processing on peer-to-peer networks. Piscataway,NJ:IEEE, 2007
  • [12] Zhang B;Zhou S;Guan J. Adapting Skyline computation to the MapReduce framework:Algorithms and experiments. Berlin:Springer-Verlag, 2011
  • [13] Pan L;Chen L;Wu J. Skyline web service selection with MapReduce. Piscataway,NJ:IEEE, 2011
  • [14] Chen L;Hwang K;Wu J. MapReduce Skyline query processing with a new angular partitioning approach. Piscataway,NJ:IEEE, 2012
  • [15] White T. Hadoop:The Definitive Guide. Sebastopol:O'Reilly Media, 2012
  • [16] L(a)mmel R. Google's MapReduce programming model revisited. SCIENCE OF COMPUTER PROGRAMMING, 2008,01
查看更多︾
相似文献 查看更多>>
34.204.0.181