来源：期刊VIP网 时间：
作者：孙晨;王宇昆;万家梅;侯亮;
单位：南昌航空大学软件学院;
摘要：针对无人机自组织网络节点的高度动态性和拓扑稀疏性，现有的结合Q学习的路由协议暴露出Q值更新滞后、难以迅速适应网络拓扑快速变动的问题，文中提出一种基于Q-learning分布式训练的AODV(DQL-AODV)路由协议。该协议中将每个节点视为一个智能体，依据分布式训练的Q值对需转发的数据包进行下一跳选择，每个节点的Q值进行局部更新和全局更新。首先，根据节点间链路的寿命和节点负载能力计算局部奖励值，每次Hello消息接收将更稳定的下一跳链路更新为较高的Q值；其次，路由请求消息到达目标节点后将执行一次全局Q值更新，根据数据包的转发跳数和平均端到端延迟计算全局奖励值；最后，结合Q-learning算法优化Hello消息发送机制，有效地平衡网络拓扑感知程度与路由开销。仿真结果证明，相比于QL-AODV，所提方法在平均端到端时延、数据吞吐量、包到达率和路由开销4个网络性能指标总体上分别优化了19.93%、15.48%、6.24%、11.76%，且收敛能力更强，验证了该协议的有效性。
关键词：无人机自组网;;AODV路由协议;;Q-learning分布式训练;;链路质量;;Hello消息;;路由决策
基金资助：国家自然科学基金项目(61962037)
