登录 | 注册 | 充值 | 退出 | 公司首页 | 繁体中文 | 满意度调查
综合馆
基于代价估计的Hive多维索引分割策略选择算法
  • 摘要

    在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术(如Hadoop和Hive)应对大数据问题.但是Hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布式网格文件的多维索引技术——DGFIndex,来提升Hive的多维查询处理能力.但是在创建DGFIndex时,需要用户指定各个索引维度的分割粒度,而分割粒度的大小与查询性能息息相关.在用户对数据与查询特征不熟悉时,很难选择较优的分割策略.为了解决这一问题,通过建立新的MapReduce代价模型,并使用两阶段模拟退火算法为DGFIndex搜索较优的分割策略,从而提升查询性能,减少查询集合的总耗时.实验结果表明:DGFIndex可以提升Hive多维查询性能50%~114%,对于固定的查询集合,与人工选定分割策略比较,基于代价估计的分割策略选择算法可以为DGFIndex快速选定较优的分割策略,并可以使整个查询集合的处理时间比人工方法最多减少30%.

  • 作者

    刘越  李锦涛  虎嵩林  Liu Yue  Li Jintao  Hu Songlin 

  • 作者单位

    中国科学院计算技术研究所 北京 100190;中国科学院大学 北京 100049/中国科学院计算技术研究所 北京 100190/中国科学院信息工程研究所 北京 100093

  • 刊期

    2016年4期 ISTIC EI PKU

  • 关键词

    Hive  MapReduce  多维索引  代价模型  模拟退火  Hive  MapReduce  multi-dimensional index  cost model  simulated annealing 

相似文献 查看更多>>
184.72.212.254