我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

现代电子技术2024年第06期:改进一致性哈希优化存储邮政数据算法的研究

来源:期刊VIP网 时间:


作者:李泽山;

单位:国家林业和草原局信息中心;

摘要:随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。

关键词:数据存储;;一致性哈希算法;;加权轮询算法;;分布式文件系统;;负载均衡;;异构集群;;分配策略

基金资助:内蒙古自然科学基金项目(2020MS06029);内蒙古自然科学基金项目(2021LHMS06013);内蒙古自然科学基金项目(2020LH06009);; 内蒙古自治区关键技术攻关计划项目(2020GG0165)