面向异构DHT存储的数据与位置解耦算法
作者:
作者单位:

作者简介:

罗超然(1990-),男,博士生,CCF学生会员,主要研究领域为系统软件,大数据互操作,分布式系统,数联网;金鑫(1989-),男,博士,副教授,博士生导师,CCF专业会员,主要研究领域为系统软件,软件定义方法,云计算;张颖(1983-),男,博士,副研究员,CCF专业会员,主要研究领域为大数据互操作,软件构件化开发;蔡华谦(1990-),男,博士,副研究员,CCF专业会员,主要研究领域为系统软件,分布式系统,数联网;柳熠(1993-),男,博士,副研究员,CCF专业会员,主要研究领域为服务计算,移动计算,数字对象架构;景翔(1979-),男,博士,副研究员,CCF专业会员,主要研究领域为操作系统,分布式计算;黄罡(1975-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为系统软件,软件自适应,数联网.

通讯作者:

黄罡,E-mail:hg@pku.edu.cn

中图分类号:

TP303

基金项目:

国家重点研发计划(2020YFB2104100);国家杰出青年科学基金(61725201);北京高等学校卓越青年科学家项目(BJJWZYJH01201910001004)


Algorithm to Decouple Data from Their Location in DHT-based Heterogeneous P2P Storage
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    分布式哈希表(distributed hash table, DHT)由于其高效的数据寻址方式而被广泛应用于分布式存储. 传统DHT必须将数据存放在指定节点中才能实现高效的数据分布式寻址, 极大地限制了DHT技术的应用范围. 例如, 在异构存储网络中, 节点的存储空间、带宽、稳定性等均有较大差异, 结合数据特征和节点性能差异选择合适的数据存放节点可以很大程度上提高数据的访问效率, 而传统DHT数据和存储位置紧耦合的特征导致其难以应用于异构的存储网络中. 针对此问题, 提出了vRoute算法以实现DHT中数据标识与其存储位置的解耦. 通过构建基于Bloom Filter的分布式数据索引, vRoute算法可以在不降低数据寻址效率的基础上允许数据存储在网络中的任意节点. 通过扩展Kademlia算法实现了vRoute, 并从理论上证明了vRoute算法的有有效性. 最后, 模拟实验表明vRoute以较低的存储、网络开销实现了和传统的DHT算法接近的数据寻址效率.

    Abstract:

    Distributed hash table (DHT) is widely used in distributed storage because of its efficient data addressing. Nevertheless, traditional DHT-based storage has to store data in specified nodes to achieve efficient data addressing, which restricts the application scope of the DHT technology severely. Taking heterogeneous storage networks for example, the storage space, bandwidth, and stability of nodes vary greatly. Choosing appropriate data storage nodes according to data features and the performance differences among the nodes can greatly improve the data access efficiency. However, the tight coupling between data and storage location disqualifies the traditional DHT-based storage from being applied to heterogeneous storage networks. Therefore, this study proposes a vRoute algorithm to decouple the data identifier from storage location in DHT-based storage. By building a distributed data index based on Bloom Filter, the vRoute algorithm allows data to be stored in any node of the network without reducing the efficiency of data addressing. It is implemented by extending the Kademlia algorithm, and its validity is verified theoretically. Finally, the simulation experiments show that vRoute achieves a data addressing efficiency close to that of the traditional DHT algorithm with low storage and network overhead.

    参考文献
    相似文献
    引证文献
引用本文

罗超然,金鑫,张颖,蔡华谦,柳熠,景翔,黄罡.面向异构DHT存储的数据与位置解耦算法.软件学报,2023,34(10):4930-4940

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-07-07
  • 最后修改日期:2021-11-25
  • 录用日期:
  • 在线发布日期: 2023-01-18
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号