主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2019年第10期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
肖文华,包卫东,朱晓敏,邵屹杨,陈超,Jianhong Wu.面向多源大数据云端处理的成本最小化方法.软件学报,2017,28(3):544-562
面向多源大数据云端处理的成本最小化方法
Cost Minimization Method for Multi-Source Big Data Processing in Clouds
投稿时间:2016-07-26  修订日期:2016-09-14
DOI:10.13328/j.cnki.jos.005160
中文关键词:  大数据处理  多数据中心  数据管理  数据迁移  资源供给
英文关键词:big data processing  multi datacenters  data management  data moving  resource provisioning
基金项目:国家自然科学基金(61572511);海外及港澳学者合作研究基金(11428101);国防科学技术大学科研计划(ZK16-03-57,ZK16-03-09);西南电子电信技术研究室公开课题(2015014)
作者单位E-mail
肖文华 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073  
包卫东 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073 wdbao@nudt.edu.cn 
朱晓敏 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073  
邵屹杨 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073  
陈超 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073  
Jianhong Wu 国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073
Department of Mathematics and Statistics, York University, M3J1P3, Canada 
 
摘要点击次数: 896
全文下载次数: 524
中文摘要:
      云计算为大数据处理提供了一种强大而高效的解决方案.在此模式下,数据管理者(data manager,简称DM)可以租用多个数据中心实时处理地理分散的数据.然而,由于数据产生的动态性以及资源价格的波动性,将数据迁移至哪些数据中心并提供合适的计算资源来处理它们,成为DM低成本处理多源数据的一大问题.首先,将以上问题转换成联合随机优化问题;然后,利用李雅普诺夫(Lyapunov)优化框架将原问题分解成两个独立的子问题进行求解;最后,基于求解结果设计在线算法.理论分析结果表明:所提算法可不断趋近线下最优解,并能够保证数据处理时延.在WorldCup98和Youtube数据集上的实验验证了理论分析结果的正确性以及该方法的优越性.
英文摘要:
      Cloud computing has shown to provide a cost-effective and powerful platform for big data processing. Under this paradigm, data manager (DM) usually rents geographically distributed datacenters to process their geographically dispersed data set, concerning its convenience and economy. Usually, the data sets are dynamically generated and the resource pricing varies over time, which make it a critical issue of cost effectiveness to move the data from different geographic locations to different datacenters while providing suitable computation resources for processing. In this paper, a pertinent joint stochastic optimization problem is firstly formulated, and then the problem is decoupled into two independent subproblems with efficient solutions via Lyapunov framework. Next, an online algorithm based on the solutions is developed. Theoretical analysis show that the proposed online algorithm can produce a solution which is arbitrarily close to the offline optimal solution while minimizing the data processing delays. Experiments on WorldCup98 and Youtube dataset validate the proposed algorithms and demonstrate the superiority of the new approach.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利