来源：期刊VIP网 时间：
作者：赵鹏;马伟斌;王军;张嘉峻;
单位：中国铁道科学研究院集团有限公司铁道建筑研究所;高速铁路轨道系统全国重点实验室;北京交通大学隧道及地下工程教育部工程研究中心;北京交通大学软件学院;
摘要：铁路隧道衬砌和基底病害是影响铁路运营安全的关键因素，传统检测方法依赖人工解译，存在自动化程度低、判别标准不统一、人员经验依赖强等问题，难以满足现代铁路巡检智能化、自动化的发展需求。本文旨在构建一种融合语言与视觉信息的智能识别模型，实现对铁路隧道典型病害的精准定位与分类识别。提出一种基于多模态融合的病害识别模型，结合Vision Transformer(ViT)与语言模型BERT,实现图文信息的深度融合。视觉分支利用ViT结构提取全局图像特征，语言分支采用预训练BERT模型提取病害文本信息特征，并通过语言引导机制增强视觉特征提取过程。模型在构建的铁路隧道表观病害图文数据集上进行训练与测试，并与Faster RCNN、YOLO、DETR等主流方法进行对比分析。结果表明：该模型对6类典型隧道表观病害(裂缝、渗漏水、掉块、蜂窝麻面、轨道板离缝与翻浆冒泥)具有优异识别性能。在测试集上，平均精度均值和平均召回率均值分别达到84.7%和90.5%,优于所比较的单模态视觉模型。尤其在样本不均衡场景下，图文融合策略提升了识别的鲁棒性。所提出的多模态融合模型能有效提升隧道病害的自动识别与定位能力，减少人工干预，增强模型对复杂场景与稀有病害类型的泛化能力，为铁路隧道结构表观病害检测提供技术支撑。
关键词：铁路隧道;;病害识别;;样本不均衡;;图文融合;;多模态学习
基金资助：国家重点研发计划“交通基础设施”重点专项揭榜挂帅项目(2022YFB2603305);; 国家自然科学基金联合基金项目(U2469207)
