主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2019年第4期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
徐梓荐,叶盛,张孝.分布式异构数据库数据同步工具.软件学报,2019,30(3):684-699
分布式异构数据库数据同步工具
Data Synchronization Tool for Distributed Heterogeneous Database
投稿时间:2018-07-20  修订日期:2018-09-20
DOI:10.13328/j.cnki.jos.005694
中文关键词:  数据同步  读写分离  SQL还原
英文关键词:data synchronization  read/write separation  SQL reduction
基金项目:国家重点研发计划(2018YFB1004401);国家自然科学基金(61732014);北京市科技计划(Z171100005117002)
作者单位E-mail
徐梓荐 教育部数据工程与知识工程重点实验室(中国人民大学), 北京 100872
中国人民大学 信息学院, 北京 100872 
 
叶盛 教育部数据工程与知识工程重点实验室(中国人民大学), 北京 100872
中国人民大学 信息学院, 北京 100872 
 
张孝 教育部数据工程与知识工程重点实验室(中国人民大学), 北京 100872
中国人民大学 信息学院, 北京 100872 
zhangxiao@ruc.edu.cn 
摘要点击次数: 271
全文下载次数: 232
中文摘要:
      一般而言,读写分离技术可以解决当前大数据环境下的读写速度失配的部分问题,但是现有的读写分离技术主要是针对同构数据库的解决方案.由于存储结构的不一致,由行式存储数据库和列式存储数据库构成的异构分布式数据库系统相较于同构分布式数据库系统在数据同步的过程中就会面临格式转换、同步速度不匹配等诸多难题.提出了基于MySQL二进制日志(Binlog)进行SQL还原的方法TD-Reduction,设计并实现了Binlog解析器BinParser和Binlog还原器BinReducer,它们可以基于Mixed格式的Binlog,针对不同的事件(event)进行日志的解析,并依据相应的规则进行还原,生成可执行的SQL语句.综合以上技术,实现了一款分布式数据库数据同步工具Cynomys.在实验环境中,Cynomys表现出较好的性能.该方法适用于所有具有类似Binlog机制的其他异构数据库之间进行数据同步.
英文摘要:
      In general, the read-write separation technology can solve some of the problems on mismatch between read and write in the current big data environment, but most of the current read-write separation technology are prepared for homogeneous database. Due to the inconsistent storage structure, heterogeneous distributed database systems composed of a row storage database and a columnar storage database will face many difficulties like format conversion and mismatch of synchronization speed in data synchronization compared to a homogeneous distributed database system. This study proposes the use of MySQL binary log to perform the TD-Reduction of SQL. It designs and implements Binlog parser BinParser and Binlog restorer BinReducer, which based on the mixed format. Different events perform log parsing and restoring according to the corresponding rules to generate executable SQL statements. Based on the above techniques, this study has implemented Cynomys, a distributed database data synchronization tool. In the experimental environment, Cynomys has shown sound performance. The method is suitable for data synchronization between all other heterogeneous databases with a similar mechanism like Binlog.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利