来源：期刊VIP网 时间：
作者：宋子钰;陈捷;姜琳琳;夏兆辰;丁海涛;
单位：吉林大学汽车底盘集成与仿生全国重点实验室;吉林大学汽车工程学院;中国第一汽车股份有限公司研发总院;
摘要：现有的自动驾驶系统在可解释性、奖励设计与泛化性方面面临诸多挑战，系统地梳理了大语言模型与视觉语言模型在自动驾驶决策与规划中的多角色融合机制与工程实现路径。通过构建统一的角色框架，将大模型划分为决策与规划输出、特征与动作生成、奖励函数建模3类功能模块，并在此基础上分析其在强化学习与模仿学习中的典型融合方法，实现从信息处理到行为输出的全链路赋能机制，并对国内外代表性大模型方法在各环节的最新应用进展进行整合。结合大模型在推理延迟优化、奖励信号自动生成、端到端可解释性、协同推理等实际工程难题中的代表性解决方案，扩展了对奖励模型辅助及多模态特征生成等前沿主题的综述。同时，针对模型稳定性、推理延迟、表示鸿沟以及训练与验证等关键挑战，旨在为突破性的理论创新与工程解决方案提供系统性研究方向。
基金资助：国家自然科学联合基金项目（U1864206）;; 吉林省重大科技专项项目（20220301033GX）
