来源：期刊VIP网 时间：
作者：曹健威;孙英杰;李凌寒;曾维新;胡艳丽;
单位：国防科技大学信息系统工程全国重点实验室;国防科技大学大数据与决策实验室;
摘要：多模态事件抽取旨在从图文数据中抽取结构化的多模态事件信息，其核心在于克服不同模态数据之间的差异，并建立跨模态的关联。提出一种基于细粒度图文对齐的多模态事件抽取方法，由单模态信息抽取和多模态信息融合两个阶段组成。利用文本事件抽取和视觉实体抽取模型获取细粒度的单模态事件信息；基于多模态预训练模型进行细粒度图文对齐，得到多模态事件信息。在多模态事件抽取数据集上进行实验，验证了方法的有效性。
关键词：多模态事件抽取;;图文对齐;;多模态预训练模型;;信息抽取;;事件抽取
基金资助：国家自然科学基金资助项目(72471237);(72371245)
