来源：期刊VIP网 时间：
作者：高俊杰;马博翔;闫智超;苏雪峰;李茹;
单位：山西大学计算机与信息技术学院;山西工程科技职业大学现代物流学院;计算智能与中文信息处理教育部重点实验室;
摘要：大语言模型的出现对自然语言处理产生了广泛的影响，已有研究表明大语言模型在各类下游任务中具有出色的Zero-shot及Few-shot能力，而对于大语言模型的语义分析能力的评估仍然比较缺乏。因此，本文基于汉语框架语义分析中的三个子任务：框架识别、论元范围识别和论元角色识别，分别在Zero-shot及Few-shot设定下评估了ChatGPT、Gemini和ChatGLM三个大语言模型在CFN2.0数据集上的语义分析能力，并与目前基于BERT(Bidirectional Encoder Representations from Transformers)的SOTA模型进行了比较。在框架识别任务中，大语言模型的准确率仅比SOTA模型低0.04；但在论元范围识别与论元角色识别任务上，大语言模型表现不佳，与SOTA(State of the Art)模型相比，F1分数分别相差0.13和0.39。以上结果表明，大语言模型虽具备一定的框架语义分析能力，但进一步提升大语言模型的语义分析能力仍然是一个具有挑战性的工作。
关键词：大语言模型;;框架识别;;论元范围识别;;论元角色识别
基金资助：山西省科技合作交流专项项目（202204041101016）;; 山西省基础研究计划项目（202203021211286）;; 国家自然科学基金重点项目（61936012）
