主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2020年专刊出版计划 微信服务介绍 最新一期:2019年第12期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
赵彦荣,王伟平,孟丹,张书彬,李均.基于Hadoop 的高效连接查询处理算法CHMJ.软件学报,2012,23(8):2032-2041
基于Hadoop 的高效连接查询处理算法CHMJ
Efficient Join Query Processing Algorithm CHMJ Based on Hadoop
投稿时间:2011-05-12  修订日期:2011-09-01
DOI:10.3724/SP.J.1001.2012.04124
中文关键词:  大数据  Hadoop  连接查询处理  HashMapJoin
英文关键词:big data  Hadoop  join query processing  HashMapJoin
基金项目:国家自然科学基金(60903047)
作者单位E-mail
赵彦荣 中国科学院 计算技术研究所,北京 100190
中国科学院 国家智能计算机研究开发中心,北京 100190
中国科学院 研究生院,北京 100049 
zhaoyanrong@ncic.ac.cn 
王伟平 中国科学院 计算技术研究所,北京 100190
中国科学院 国家智能计算机研究开发中心,北京 100190 
 
孟丹 中国科学院 计算技术研究所,北京 100190
中国科学院 国家智能计算机研究开发中心,北京 100190 
 
张书彬 腾讯公司 数据平台部,广东 深圳 518057  
李均 腾讯公司 数据平台部,广东 深圳 518057  
摘要点击次数: 3539
全文下载次数: 4530
中文摘要:
      提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin 并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ 算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ 连接查询的处理效率比Hive 系统提高了近5 倍.
英文摘要:
      This paper proposes a join query processing algorithm CoLocationHashMapJoin (CHMJ). First the study designs a multi-copy consistency hash algorithm. The algorithm distributes the data of tables over the cluster according to the hash values of the join property, which improves the data locality while ensure data availability. Second, based on the multi-copy consistency hash algorithm, the study proposes a parallel join query processing algorithm called HashMapJoin. HashMapJoin improves the efficiency of join query significantly. CHMJ has been used in Tencent’s data warehouse system, and plays an important role in Tencent’s daily analysis tasks. The results show that CHMJ improves the efficiency of join query processing by five times comparing to Hive.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利