来源:期刊VIP网 时间:
作者:承达瑜;乔介;朱秀丽;张兆江;刘万增;
单位:河北工程大学矿业与测绘工程学院;国家基础地理信息中心;时空信息与智能服务重点实验室;
摘要:针对地表覆盖命名实体识别缺乏足够标注数据的问题,该文通过引入领域关键词增强模型对实体命名规律理解的思路,提出了一种基于预训练模型的小样本命名实体识别方法。该方法采用MacBERT层提取深层语义信息,利用BiLSTM层处理长距离的上下文依赖,同时通过CRF层优化序列标注的整体一致性。在模型训练初期,收集地表覆盖领域关键词和文本数据,通过数据增强技术提升数据的多样性,避免模型过拟合;其次引入领域关键词与文本数据融合的训练策略,提高模型在地表覆盖领域的泛化能力,增强其对于实体边界的判别能力。实验表明,相比BERT模型,本文模型精确率提高2.5%,召回率提高1.62%,F_1值提高2.04%;相较于MacBERT-BiLSTM-CRF基础模型,本文模型精确率提高0.43%,召回率提高1.67%,F_1值提高2.38%。
关键词:地表覆盖;;命名实体识别;;小样本;;领域关键词;;深度学习;;预训练语言模型
基金资助:科技基础资源调查专项(2019FY202503);; 河北省重大科技成果转化专项(22287401Z)