来源：期刊VIP网 时间：
作者：袁小平;涂齐阳;
单位：中国矿业大学信息与控制工程学院;
摘要：为解决ViT模型在基于CPU侧平台运行效率低、延迟长的问题，该文设计了一款基于FPGA(field-programmable gate array，现场可编程门阵列)+NPU(neural network processing unit，神经网络处理器)的图像采集与处理系统（简称“FPGA系统”）。系统首先利用FPGA时序控制与计算的稳定性，适配图像传感器接口像素传输带宽，将patch-embeding层分解为向量式计算处理，并利用流水线设计对模型叠加项融合后的张量进行累计输出，得到patch-embeding的计算结果后，将输出叠加位置标志拼接为位置标识报文；随后利用UDP(user datagram protocol，用户数据报协议)的协议栈从FPGA输出patch-embeding神经网络结构的计算结果，同时实现并发的图像采集、视频呈现、UDP传输任务；最后，基于RK3588的NPU实现了多线程和线程池设计、UDP接收、线程池处理注意力计算任务。在划分设计流程、验证设计、优化调试后，每帧运行平均时间由最初0.643 9 s提升至0.099 5 s,FPGA系统Block RAM资源用量为56.42%，且未出现时序违例，对行人识别精度的平均值为0.85，对车辆识别平均精度为0.905。
关键词：FPGA;;RK3588;;向量式计算;;叠加项融合;;位置标识报文;;多线程设计
基金资助：中国矿业大学2023年国家级大学生创新训练项目(202310290032Z);; 中国矿业大学智慧课程建设(2024KC19)
