主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第5期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
刘义,景宁,陈荦,熊伟.集群上一种面向空间连接聚集的并行计算模型.软件学报,2013,24(S2):99-109
集群上一种面向空间连接聚集的并行计算模型
Parallel Computing Model for Spatial Join Aggregate on Cluster
投稿时间:2012-08-05  修订日期:2013-07-22
DOI:
中文关键词:  云计算  Map-Reduce  空间连接聚集  空间查询  二次归约
英文关键词:cloud computing  Map-Reduce  spatial join aggregate  spatial query  second reduce
基金项目:国家自然科学基金(61070035, 41271403);国家高技术研究发展计划(863)(2011AA120306, 2007AA120402);教育部高等学校博士学科点专项科研基金(20104307110017)
作者单位E-mail
刘义 国防科学技术大学 电子科学与工程学院, 湖南 长沙 410073 liu.yi.nudt@gmail.com 
景宁 国防科学技术大学 电子科学与工程学院, 湖南 长沙 410073  
陈荦 国防科学技术大学 电子科学与工程学院, 湖南 长沙 410073  
熊伟 国防科学技术大学 电子科学与工程学院, 湖南 长沙 410073  
摘要点击次数: 1635
全文下载次数: 1918
中文摘要:
      单机运行环境难以满足海量空间数据的连接聚集操作对时空开销的需求,集群上的并行计算是高效处理海量空间数据的连接聚集操作的关键. Map-Reduce是云计算中一种应用于大规模集群进行大规模数据处理的分布式并行编程模型,分析发现,Map-Reduce并不直接支持以既高效又自然的方式来处理具有二次归约特征的并行空间连接聚集操作.因此,提出了一种并行计算模型——Map-Reduce-Combine(MRC)来有效地处理大规模空间数据的连接聚集操作.MRC在Map-Reduce 模型上增加一个Combine阶段,有效地合并分散在各个Reducer的部分聚集结果.针对并行任务划分中空间对象的单分配问题,提出了过滤优化算法,提高了MRC下处理空间连接聚集查询的效率.实验验证所提出的并行计算模型在处理空间连接聚集查询时具有良好的效率、有效性、可扩展性和简单性.
英文摘要:
      Since processing large-scale spatial join aggregate (SJA) is usually difficult to be implemented on a single machine, parallel computing on cluster has been the key to process large-scale SJA operation efficiently. Map-Reduce has been the mainstream parallel computing technique for massive data on cluster. However, Map-Reduce does not directly support processing parallel SJA with both high efficiency and straightforward way, for it needs to perform a second reduce operation. This paper proposes a novel parallel computing model, Map-Reduce-Combine (MRC), which is able to process large-scale SJA efficiently with a simple way on cluster. MRC adds to Map-Reduce a Combine phase that can efficiently combine partial aggregate results distributed among different Reducers, which is caused by the multiple assignment of spatial object. For the spatial object assigned only once, a filter optimization method has been proposed to pick up the result of single assignment object obtained in Reduce phase and further enhance the performance of processing SJA. Extensive experiments in large real spatial data have demonstrated the efficiency, effectiveness, scalability and simplicity of the proposed parallel computing model for processing SJA on massive spatial data.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利