来源:期刊VIP网 时间:
作者:刘芳;关翔;石祥滨;
单位:沈阳航空航天大学计算机学院;
摘要:回溯性循环生成对抗网络(RCGAN)对抖动或帧率不足的低质量视频中人体运动预测精度较低,训练时也存在复杂度有限导致的欠拟合问题。为减少抖动造成的影响,提出基于目标识别的人体运动信息提取方法,分离抖动视频中的有效人体运动画面。为增加帧率不足视频的信息含量,提出基于帧间相似性的连续性视频插帧策略,根据视频帧间相似性动态调整插帧数量,在减少插帧数量的同时提升了视频的整体连续性。为防止出现欠拟合情况,引入K-Means聚类方法对数据分类,使多个并列网络中的每个网络只负责特征相似的预测任务,降低学习负担,在控制时间复杂度的前提下提升训练效率。由于RCGAN中不同的时间序列在单一生成器上的训练会互相形成干扰,提出双生成器预测网络,进一步提升了预测精度。在UCF-101和HMDB数据集上的结果表明,本文提出的方法较RCGAN有明显提升。
关键词:生成对抗网络;;人体运动预测;;视频插帧
基金资助:国家自然科学基金项目(62171295)