我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

测绘科学2025年第02期:基于隐马尔科夫模型的中文分词优化方法探讨

来源:期刊VIP网 时间:


作者:张富;张璇;

单位:华北水利水电大学测绘与地理信息学院;

摘要:针对目前在自然语言处理中存在中文语义歧义性的问题,该文提出了一种通过优化中文分词来消除语义歧义的研究方法,在正向最大匹配算法基础上,通过Word2Vec模型将分词文本转换为词向量,并与相对应字符输入至隐马尔科夫模型,以此优化中文分词的准确性和稳定性。将Word2Vec词向量融入隐马尔科夫模型中,显著提高了中文分词的准确率,一定程度上能有效消除部分中文语义歧义问题,提升自然语言处理效果。本方法在中文自然语言处理中的应用具有重要意义,能够为复杂文本的分词和歧义消除提供有效支持。

关键词:自然语言处理;;中文分词;;分词组合;;正向最大匹配;;Word2Vec词向量模型;;隐马尔可夫模型

基金资助:智慧中原地理信息技术协同创新中心PI项目(2023C005)