来源：期刊VIP网 时间：
作者：陈文庆;
单位：江苏师范大学计算机科学与技术学院;中国劳动关系学院计算机学院;
摘要：为有效捕捉数据流不同模态之间的关联，提高数据挖掘效果，提出一种异构数字媒体流数据的实时关联挖掘方法。通过滑动窗口处理异构数字媒体流数据，提取具有潜在价值的候选数据，并输入到异构数字媒体流数据关联挖掘双路分支框架中。文本模态分支通过BERT-Large与双向GRU网络学习文本模态数字媒体流数据的特征表示，再构建文本连接图并结合GCN建模文本模态关系，提取文本模态数字媒体流数据特征。视觉模态分支利用Faster-RCNN以及多头注意力的GCN建模视觉模态关系，得到视觉模态数字媒体流数据特征；采用交叉注意力机制捕捉跨模态间的关联性，生成融合后的视觉、文本模态数字媒体流数据特征，数据挖掘模块通过在语义空间中计算二者相似度，实现异构数字媒体流数据关联挖掘。实验结果表明，所提方法可实现不同模态数字媒体流数据关联挖掘，挖掘结果与待查询媒体事件高度匹配，Recall@5、MRR指标分别为0.50、0.40，挖掘时间低于0.2 s。
关键词：数字媒体;;关联挖掘;;媒体流数据;;滑动窗口;;BERT-Large;;双向GRU网络;;文本连接图;;交叉注意力机制
基金资助：中国劳动关系学院科研项目（202101010129）
