我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

语言文字应用2024年第01期:大语言模型中文语体能力评测研究

来源:期刊VIP网 时间:


作者:周立炜;饶高琦;

单位:北京语言大学国际中文教育研究院;北京语言大学中国语言文字规范标准研究中心;

摘要:语体能力是重要的语用能力,大规模语言模型(下称“大模型”)要在语言生活中落地,需对语体能力进行充分的评价和研究。本文将语体能力定义为在特定语域下使用合适语体进行交际的能力,并基于此设计了语体分类、语体生成、语体转换三个任务,以评测Chat GPT等大模型的中文语体能力。研究发现不同大模型在不同任务和语体上各有其优势与局限。GPT-4的中文语体能力最为全面,Chat GPT和文心一言性能较为出色,Chat GLM-6B和讯飞星火的表现较弱且不稳定。此外,大模型生成的散文、小说等文本过于正式,缺乏文采,一致性错误、规范性错误、事实性错误、不合逻辑、语句不流畅、机器翻译痕迹明显等问题较为突出。本研究为训练和测试人类的语体能力提供了方法参考,对语文教学、国际中文教育等领域的语言能力提升具有借鉴价值。

关键词:大规模语言模型;;语体能力;;语言资源

基金资助:国家社会科学重大基金项目“‘两个一百年’背景下的语言国情调查与语言规划研究”(21&ZD289)阶段性成果