来源：期刊VIP网 时间：
作者：郭陈虹;王菁;巩会龙;郭浩浩;张睿轩;
单位：北方工业大学信息学院;大规模流数据集成与分析技术北京市重点实验室(北方工业大学);
摘要：针对实时性要求高和作业量大的流处理作业执行过程中，多个作业之间存在的相同处理片段可能会导致流处理引擎重复计算、资源浪费和处理性能低下的问题，提出了融合深度强化学习与算子优化的流式任务调度方法。首先利用算子优化算法将多个复杂的作业去重、重构，其次将重构得到的作业输入循环神经网络中得到任务的调度策略，最后利用强化学习模型进行调度策略的优化。所提方法利用算子优化减少了每个作业中创建的算子实例，结合深度强化学习自动发现最优的调度策略，有效地避免了因大量实例运行而造成的系统资源不足、数据拥塞等问题。对比实验结果表明，所提方法在吞吐量和延迟方面的表现更优异。
关键词：流处理作业;;任务调度;;算子优化;;深度强化学习
基金资助：国家自然科学基金国际(地区)合作与交流项目(62061136006)
