来源:期刊VIP网 时间:
作者:李泽山;
单位:国家林业和草原局信息中心;
摘要:随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。
关键词:数据存储;;一致性哈希算法;;加权轮询算法;;分布式文件系统;;负载均衡;;异构集群;;分配策略
基金资助:内蒙古自然科学基金项目(2020MS06029);内蒙古自然科学基金项目(2021LHMS06013);内蒙古自然科学基金项目(2020LH06009);; 内蒙古自治区关键技术攻关计划项目(2020GG0165)