自然语言处理技术综述

龙源期刊网 http://www.qikan.com.cn

自然语言处理技术综述

作者：妮鲁帕尔·艾山江 来源：《商情》2013年第39期

【摘要】自然语言处理技术的发展，最终导致计算机拥有了客观的信息处理功能。本文主要介绍了自然语言处理与中文信息处理发展情况。介绍了自动分词技术的发展概况，一些常用的中文自动分词方法以及目前已经实现的一些分词系统。探讨了自然语言处理技术，特别是自动分词技术，在对外汉语教学的实践中应用的可能性。 【关键词】语言处理；自动分词技术；信息技术 一、自然语言处理

自然语言处理（Natural Language Processing，简称NLP）是主要研究人与计算机交际中的语言问题的一门学科。“自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算机框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”（Manaris， 1999）更简单直观的说法，就是采用计算机技术来研究和处理自然语言。

自然语言是指人们口常使用的语言，如汉语、英语、口语、法语等，它是人类进行学习和互相交流的工具。“在人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。就计算机的应用语言，据统计用于数学计算仅占10%，用于过程控制的不到5%，其余85%左右都是用于语言文字的信息处理。

所谓语言信息处理，是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。采用计算机技术来研究和处理自然语言是20世纪40年代末，50年代初才开始的，经过50多年的发展，这项研究取得了长足的进展，形成了计算机学科中一门重要的新兴学科—自然语言处理。

在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。同时自然语言处理技术作为自然语言理解这一能够开启人机交流的高层次技术的基础，也一直是人工智能界所关注的核心课题之一。显然，如果计算机能够理解自然语言，人机间的信息交流就能够以人们所熟悉的本族语言来进行。这不仅将成为计算技术的一项重大突破，将有助于揭开人类智能的奥秘，深化我们对语言能力和思维本质的认识，对于语言的教学与学习将会有巨大的指导意义。 二、自然语言处理发展概况及其成就