最近收集了一些宝宝们后台问到的问题,那今天就先来解答一下有较多朋友问到的关于NLP的问题吧!
首先NLP的来源N-Neuro神经,L-Liguistic语言,P-Programming程式
简称:神经语言程序学
什么是NLP?
自然语言(NLP,Nature Language Processing)主要是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是典型边缘交叉学科,融语言学、计算机科学、数学于一体。它是以语言为对象,利用计算机技术来分析、理解和处理自然语言的一门学科,即把计算机作为语言研究的强大工具,在计算机的支持下对语言信息进行定量化的研究,并提供可供人与计算机之间能共同使用的语言描写。
二、NLP基础技术&判别标准
(一)NLP基础技术主要有:语法分析、句法分析、语义分析、语用分析、篇章分析。
语法分析:进行词性标注和词义标注,基于规则和统计标注词性。
句法分析:主要任务为判断句子的句法结构和成分,明确各成分的相互关系,分为完全句法分析、浅层句法分析。
语义分析:根据句子的语法结构和句子中每个实词的词义推导能够反映句子意义的某种形式化表示。
语用分析:人类对语言的具体运用,是对自然语言的深层理解。
篇章分析:对段落和整篇文章进行理解和分析。
(二)在进行人工智能或语音信息处理时,学者通常会采用以下的判别标准来判断计算机是否理解了某种自然语言:
1、问答——机器人可以正确回答输入文本中的有关问题。
2、文摘生成——机器有能力生成输入文本的摘要。
3、释义——机器能用不同的语言和句型进行复述所输入的文本。
4、翻译——机器具有把一种语言翻译成另一种语言的能力。
对于只能理解0和1的计算机来说,单词和短语意味着什么?教机器理解我们的交流似乎不是一件容易的事。简而言之,使用自然语言处理算法的机器理解过程如下所示:
1.一个人对机器说些什么。
2.机器记录这些声音。
3.机器将音频转换为文本。
4.NLP系统将文本解析为组件,了解对话的上下文和人的意图。
5.根据NLP的结果,机器确定应执行哪个命令。
简而言之,这是一个创建算法的过程,该算法根据句子中单词的位置和功能将文本转换为标记它们的单词。其中,单词嵌入是解决许多NLP问题的灵丹妙药。它将人类语言有意义地转换为数字形式。这使计算机能够理解隐式编码到我们的语言中的细微差别。
单词嵌入的主要思想是每个单词都可以转换为一组数字-一个N维向量,用于存储有关单词含义的信息。尽管每个单词都分配有唯一的向量/嵌入,但相似的单词最终会获得彼此更接近的值。例如,单词“ Man”和“ Boy”的向量比“ Boy”和“ Lion”的向量具有更高的相似性。所以进行向量距离计算之后,会发现“ Man”和“ Boy”的向量的距离更近。
自然语言处理的十大应用
NLP可以解决哪些任务?范围很大,并且每天的任务数量都在增加。以下是NLP最日常的应用:
1、机器翻译
机器翻译,是指通过特定的计算机程序将一种书写形式或声音形式的自然语言,翻译成另一种书写形式或声音形式的自然语言。狭义上的自然语言可以是中文、英文或某些小语种,广义上的自然语言可以理解为一切沟通方式,包括古文、甲骨文甚至是动物的交流语言。
机器翻译方法一般有三种:基于规则的理性研究方法;基于统计的经验研究方法;与深度学习相结合的方法。机器翻译的目的是开发计算机算法,以允许自动翻译而无需任何人工干预。
目前,计算机主要能够实现语音翻译、图像翻译、VR翻译等。例如:亚马逊的Alexa、苹果的Siri、微软的Cortana以及语音同传技术都体现了语音翻译的方便性和灵活性。
2、情感分析
情感分析,即指通过计算技术对文本的主客观性、观点、情绪、极性的挖掘和分析,对文本的情感倾向做出分类判断。情感分析在评论机制的App中应用较为广泛。在互联网舆情分析中,尤其是在选举预测、股票预测等领域,情感分析起着举足轻重的作用。
3、信息抽取
信息抽取,指从文本中抽取出特定的事实信息。被抽取出来的信息通常以结构化的形式直接存入数据库,可以供用户查询及进一步分析使用,为之后构建知识库、智能问答等提供数据支撑。
其原理是利用自然语言处理的技术,包括命名实体识别、句法分析、篇章分析与推理以及知识库等,对文本进行深入理解和分析完成信息抽取工作。
NLP发展迅速,对社会的影响越来越大。从语言翻译到语音识别,从聊天机器人到识别情感,NLP正在提供有价值的见解,使我们的生活更高效。
现代自然语言处理运用语言学、计算机科学和机器学习。近几年来,NLP取得的成果远远超过过去我们所见。
NLP的基本工作流程包括文本预处理、文本表示和文本分析。现在有各种各样的技术在使用,更多的技术正在不断的研究中发展。
NLP将彻底改变工业和消费者体验的许多领域,并且已经成为我们日常生活中熟悉的一部分。
有了NLP,我们就有了一种利用我们天生就习惯的媒介参与数字未来的有力方式,那就是我们用语言沟通交流的能力。