来源：期刊VIP网 时间：
作者：张军;魏继桢;李钰彬;
单位：东华理工大学信息工程学院;
摘要：文中致力于开发一种基于资源感知的分布式爬虫任务调度方法，以优化分布式环境中各节点的系统资源利用，提升爬虫任务的执行效率。该方法通过引入资源感知调度算法和节点优先级管理，实现对节点中CPU、内存、网络等资源的监测，以便均衡调度爬虫任务，即确保爬虫任务在资源利用率较低的节点上执行，从而有效减轻各个节点之间资源过度占用和不均衡问题。另外，该方法引入的Flask提高了可扩展性，实现了可视化爬虫监控平台。实验结果表明，文中提出的方法在提高爬虫任务执行效率和适应性方面取得了显著效果，为分布式爬虫系统的进一步优化提供了有益指导。
关键词：分布式爬虫;;任务调度;;资源感知;;Flask;;数据采集;;资源利用率
基金资助：国家自然科学基金资助项目（62162002）;国家自然科学基金资助项目（61662002）;; 江西省自然科学基金资助项目（20212BAB202002）
