来源：期刊VIP网 时间：
作者：陈婷;罗琛;
单位：昆明理工大学机电工程学院;
摘要：由于多头自注意力（MHSA）机制计算复杂度过高，导致许多转换器（Transformer）模型都存在着参数量和计算量大等问题。因此，该研究通过双层路由注意力（BRA）构建了一种轻量级的Transformer模型MobileBiFormer。首先通过BRA构建轻量级Transformer模块MobileBiFormer block，引入卷积神经网络（CNN）模块，以增强网络的空间归纳偏置能力；同时使用轻量级卷积模块MV2进行下采样，以获取图像的多尺度特征并增强网络的局部建模能力；将多层感知机（MLP）中的GELU激活函数替换为SiLU激活函数。为验证方法的有效性，本研究在公开的东北大学钢材表面缺陷检测（NEU-DET）工业缺陷数据集上进行试验，并与多种先进图像识别方法进行比较。试验结果表明：MobileBiFormer对工业缺陷的识别结果最优，同时模型参数量仅为4.8 M，计算量为1.9 G，推理速度为7.97 ms。所提出的方法能够较好地应用在工业缺陷识别场景中。
关键词：计算复杂度;;转换器;;双层路由注意力;;卷积神经网络;;缺陷识别
基金资助：国家自然科学基金资助项目(61761024)
