来源:期刊VIP网 时间:
作者:秦一凡;付翔;张智星;贾一帆;孙岩;
单位:太原理工大学矿业工程学院;智能采矿装备技术全国重点实验室;山西焦煤集团有限责任公司博士后工作站;
摘要:目前煤矿行业大模型仅对用户的提问进行知识问答,未与现场实时数据相关联,无法对煤矿生产运行状况进行实时分析与指导。针对这些问题,提出一种基于大语言模型的低阶适应(LoRA)微调和检索增强生成(RAG)融合的煤矿专业大模型。该模型先运用LoRA技术从历史文本语料中抽取出知识实体并定义知识结构输入大模型进行微调,使大模型能够深入理解领域知识,再将实时产生的生产数据、实时更新的作业规程、法规条例等数据经过向量化清洗输入向量数据库,并与RAG的检索机制相结合,确保数据信息的实时性和准确性。实验结果表明:(1)经LoRA微调后,模型回答可以精准契合某煤矿“一通三防”管理制度汇编,不仅详细阐述了控制瓦斯排放的增阻限风、分风限风、逐段排放等具体方法,还对排放时间计算、传感器设置、图纸绘制及断电撤人等操作细则进行说明,实现了从泛泛而谈到精准定位具体煤矿特定文件内容的跨越。(2)选取现场143万条液压支架时序数据,分别存入Milvus向量数据库与MySQL关系型数据库,从写入效率与查询性能2个维度进行对比,结果表明:Milvus向量数据库写入速度为MySQL关系型数据库的2.4倍;在向量检索场景方面,Milvus的向量相似度检索延迟稳定在20 ms,在混合查询场景效率方面,MySQL需全表扫描后排序,143万条数据延迟超100 ms,而Milvus将设备ID过滤后的子集输入分层可导航小世界图(HNSW)层,仅读取查询涉及的向量字段,避免了全表扫描。(3)将本地基于LoRA微调与RAG融合的煤矿专业大模型与本地离线deepseekR1-7b模型进行部署,对多项指标进行测试,结果表明:基于LoRA微调与RAG融合的煤矿专业大模型在煤矿专业领域知识学习性、知识动态化更新时效性、模型泛化与回答精确度方面具有显著优势,为工业级AI落地提供了可行路径。
关键词:人工智能;;煤矿专业大模型;;大语言模型的低阶适应微调;;检索增强生成;;分层可导航小世界图;;LoRA微调;;RAG;;HNSW
基金资助:国家自然科学基金项目(52274157);; 山西省基础研究计划联合资助项目(202403011241002);; “科技兴蒙”行动重点专项项目(2022EEDSKJXM010)