来源：期刊VIP网 时间：
作者：张佳琪;张思佳;李政霖;曹佩荣;安宗诗;
单位：大连海洋大学信息工程学院;大连市智慧渔业重点实验室;设施渔业教育部重点实验室(大连海洋大学);
摘要：为研究水产养殖病害诊断中存在的图像与文本跨模态实体关系及症状边界模糊等实体重叠问题，本研究提出一种基于跨层融合的CRCformer模型，该模型采用ALBERT文本编码器与CLIP视觉编码器的双流架构，分别提取文本深层语义特征与图像关键视觉信息，通过设计跨模态交互模块与跨层融合策略，在文本与视觉编码器的不同深度层次之间进行残差交叉融合，即在每一编码层通过跨模态注意力机制，计算模态间交互信息，并将交互结果通过残差连接与原始层特征融合后迭代输入下一层，利用跨层与跨模态的迭代融合机制结合多头注意力，实现了特征在不同抽象层级上的深度交互与语义互补。结果表明，CRCformer在跨模态关系抽取任务中准确率达88.34%、F1值达77.61%,显著优于主流模型。本研究验证了跨层融合策略在缓解实体边界模糊、提升跨模态信息处理效能方面的有效性，为水产病害知识图谱构建及智能诊断系统开发提供了技术支撑。
关键词：CRCformer;;跨模态;;关系抽取;;跨层融合;;水产养殖病害
基金资助：国家自然科学基金(61802046);; 辽宁省重点研发计划项目(2023JH26/10200015);; 辽宁省教育厅高等学校基本科研项目面上项目(LJKMZ20221095)
