利用NPL可与人工智能工具进行（háng）交流

现如今，在更多情况下，我（wǒ）们是（shì）以比特和字节（jiē）为生，而不是依靠（kào）交（jiāo）换情感。我们使用（yòng）一种称之为计（jì）算机的超级智能机器在互联网上进（jìn）行（háng）交易和沟通。因此，我们觉得有必（bì）要让机器明白我们在说（shuō）话时是如何对（duì）其进（jìn）行理解的，并且（qiě）试图用（yòng）人工智能，一种称之为NLP——自然语言处（chù）理（lǐ）技术为它们提供语（yǔ）言（yán）。作为（wéi）一种研究结果，聊（liáo）天机器人正在成为一（yī）种可靠（kào）的聊天工（gōng）具，使用这种非人为依赖的（de）智能工具与人类进行（háng）交流。

我强烈的感受到（dào）：

直到我们的（de）机器学会了解行为和情绪，数据科学家和（hé）工程（chéng）师（shī）的（de）工作才完成了一半。与深度学习（ML学科领域）融合的NLP将（jiāng）对这种计算机（jī）语言（yán）的使（shǐ）用起到关键作（zuò）用。

利用自然（rán）语言处理NPL可以使人工智能工具与人类进（jìn）行交流

什么是NLP

这是一种人工智能方法，给定机器一些人类语言从而使得它们能够（gòu）与人（rén）类进行沟通（tōng）交流。它涉及使用NLP技术对书面语言进（jìn）行智能分（fèn）析，以获取对一组（zǔ）文本数据的见（jiàn）解，如：

1.情绪分析

2.信息提取和检索

3.智能搜索（suǒ）等（děng）

它是人（rén）工智（zhì）能（néng）和计（jì）算语（yǔ）言学的交汇点，能够处理（lǐ）机（jī）器和人类自（zì）然语言之间的交（jiāo）互，即（jí）计算机（jī）需（xū）要（yào）对其进行分析、理解、改（gǎi）变或生成自然（rán）语言（yán）。NLP帮助计算机（jī）机器以各种形式使（shǐ）用（yòng）自（zì）然人类语（yǔ）言进行（háng）交流，包括但不（bú）限于语音、印刷（shuā）、写作（zuò）和签名。

NLP机器学习和（hé）深度学习（xí）：它们是如何连接的

利（lì）用自然语言处（chù）理NPL可以使人工智能（néng）工具与人类进行交（jiāo）流

NLP与机器学习和深度学习（xí）密切（qiē）相关，所（suǒ）有这些都是人工智能领域的分支，如下图所（suǒ）示：它是一个致（zhì）力（lì）于（yú）使机器智（zhì）能化的计算机科学领域。深度学（xué）习是一种流行（háng）的（de）机器学（xué）习技（jì）术之一，如回归，K-means等（děng）。

机器学习的类型很多（duō），像无监督机（jī）器学（xué）习这样的经常用于（yú）NLP技术中，如（rú）LDA（潜在狄利（lì）克雷（léi）分布（bù），一种（zhǒng）主题模型算法）。

为了（le）能够（gòu）执行任何一个NLP，我（wǒ）们需要（yào）深入理解人（rén）类使如（rú）何（hé）处理语言的情（qíng）感和分析方面。还（hái）有各种各样像社交媒体这样的语言数据源，人们直接或间接（jiē）地分享他们感受到的内容，而（ér）这必须通过使用（yòng）NLP的机（jī）器（qì）进行（háng）智能分析。NLP机器需要建立一个（gè）人类推（tuī）理系统，借助（zhù）ML技术，它们可（kě）以自动（dòng）执行（háng）NLP过程并对其（qí）进（jìn）行扩展。

简而言之，“深度学习与自然语（yǔ）言处理”是相互（hù）联系（xì）、相互依（yī）存（cún）的，以构建一个能够像人类（lèi）一（yī）样（yàng）思考（kǎo）、说话和行动（dòng）的智能计算机。

Meltwater Group的NLP专家John Rehling在《自然语（yǔ）言处理是如何帮（bāng）助揭示社交媒（méi）体情绪》一文（wén）中说，

“通过分析语言的含（hán）义，NLP系统（tǒng）扮演着非常重要（yào）的角（jiǎo）色，如（rú）纠正语法，将语音转换为文（wén）本，以及在（zài）多（duō）语言（yán）之间自动翻译。”

NLP如何（hé）工作

理解NLP的工（gōng）作原理是非常重要的，因（yīn）为这样（yàng）的话，我（wǒ）们（men）就可以将NLP作为一个整体来理解。NLP一（yī）般有两个主要组成部（bù）分：

1.NLU：自然（rán）语言理解

2.NLG：自然语言（yán）生成（chéng）

让（ràng）我们深（shēn）入理解NLU

自然语（yǔ）言理解：它涉及的是一（yī）种（zhǒng）方法论，试（shì）图了（le）解（jiě）如何（hé）对（duì）馈送给计算（suàn）机的自（zì）然语言赋（fù）予一定的相关意义。

在开始时，计算机获（huò）得自然语（yǔ）言（yán）的输（shū）入（rù）（自然语言可以是任何语言，它们通过使用（yòng）和重复（fù）在（zài）人类中自（zì）然进化，而（ér）不是（shì）有（yǒu）意识的计划（huá）或（huò）预谋，自（zì）然语言可以采用不同的形式，例如（rú）语音（yīn）或签名（míng））。

计算机之后将它们转换（huàn）成（chéng）人工语言，如语音识别和/或语音转（zhuǎn）换文本。在这里我们把（bǎ）数据转换成（chéng）一个文本形式（shì）， NLU过程来（lái）理解其中（zhōng）的含义。

HMM：隐（yǐn）马尔可夫模型（NLU示例）

利用自然语言（yán）处理（lǐ）NPL可以使人工智（zhì）能工具与（yǔ）人类进行交流

它是一种（zhǒng）统计（jì）语（yǔ）音识别模型，它可以在预先构建的（de）数（shù）学技术的帮（bāng）助下（xià），将你的语音转（zhuǎn）换（huàn）成文本，并试图推（tuī）断出你（nǐ）所说的语言。

它试图理解你所说的，通过将语（yǔ）音数据分解成一小段特定的时间段，大多数（shù）情况下时间是20-20 ms。这（zhè）些数据集将进一步（bù）与预馈语音进行比较（jiào），从而（ér）进一步解读你在每个语音单位中所说（shuō）的内容。这里的（de）目的是找（zhǎo）到（dào）音素（一（yī）个最小的语音单位）。然后，机器对一系（xì）列这样的音素进行观察，并统计了最可能说出的单词和句子。

不（bú）仅如此，NLU会深刻理解每个单（dān）词（cí），试图理解它是一个名词还是动词，什么（me）是时（shí）态（过去或未（wèi）来）等（děng）。这个过（guò）程被定义为POS：词性标（biāo）注（zhù）部（bù）分（fèn）（Part Of Speech Tagging）。NLP具（jù）有内置的词典和一套与语法预（yù）编码相关的协议，这些协议被预编码到它们的系统（tǒng）中，并在处理自然语言数据集时使（shǐ）用（yòng）它，从（cóng）而（ér）在NLP系统处理（lǐ）人类语音时，编译所说的内容。

NLP系（xì）统也有一个词典（词汇（huì）表（biǎo））和一套编码到系统中的语法规则。现代（dài）NLP算法使用统计（jì）机器，学习将这些规则应（yīng）用于自然语言，并推断所说话语背后（hòu）最可（kě）能的（de）含义。在考（kǎo）虑诸如具有多个（gè）含（hán）义的词（cí）语（多义词（cí））或具有相似含义的词语（同义（yì）词（cí））时，存（cún）在一些挑（tiāo）战，但软件开发者在（zài）他们的（de）NLU系统中建立了自己的规则，可以通过适当的训练和学（xué）习来处理（lǐ）这类问题（tí）。

自然语言生（shēng）成：

与第一阶段（NLU做了大量的（de）努力以理解人类的话语）相（xiàng）比，NLG可以（yǐ）很容易的进行（háng）翻译工作（zuò），即将计（jì）算机的人工语言翻译为有意（yì）义的文本（běn），并可以通过文字转语音（tex-to-speech）技术将（jiāng）其转（zhuǎn）化（huà）为可听（tīng）语音。文（wén）本转语音（（tex-to-speech））技（jì）术通（tōng）过韵律模（mó）型（prosody model）来分析（xī）文（wén）本，从而确定（dìng）语言（yán）的（de）断句、长短和音调。然后，利用语音数据库，将（jiāng）记录的所有音素汇集在（zài）一起，形成一个连贯（guàn）的语（yǔ）音串。

简而（ér）言之（zhī），NLP采用NLU和NLG来处理人类自然语（yǔ）言（yán），尤（yóu）其是处理语音识别（bié）领域的人类自然语言，并试图将传递（dì）字（zì）符串（chuàn）或可听语言作为输出，来理解（jiě）、编译并推断所（suǒ）说的内容。

NLP在（zài）现代语境中的应（yīng）用（yòng）：

在这个处于数字革命的电脑时代中（zhōng），大部分任务需（xū）要（yào）由人类（lèi）利用链接物联网的机（jī）器来完成。NLP在为媒（méi）体（tǐ）、出版（bǎn）、广告、医疗、银行和（hé）保险等（děng）行业（yè）领域建立强大的软（ruǎn）件工具方面，发挥了（le）重（chóng）要作用，从而帮（bāng）助他们高效快捷地运（yùn）作。

NLP的一些（xiē）现代用法：

1.聊（liáo）天机器人

这是一（yī）个被（bèi）称为机（jī）器人的成熟（shú）软件，它可以（yǐ）处理任何场（chǎng）景的人（rén）物对话。api.ai、微软语音理解智能服务（LUIS）等一（yī）些热（rè）门的NLP和机器学习平（píng）台，可用（yòng）于研发你的商业聊天机器人（rén）。

2.垃圾邮件过滤（lǜ）

你们中的大多（duō）数人一定对垃圾邮（yóu）件并（bìng）不陌生。Google使用基（jī）于NLP的技术来保（bǎo）障你的（de）收件箱清洁、无垃圾邮件。贝叶斯（sī）垃圾邮件过（guò）滤（Bayesian spam filtering）是（shì）一种备（bèi）受（shòu）瞩目（mù）的技术，它是一种统计（jì）技术，基于此，电（diàn）子邮件中词语的审核通过率根据其（qí）在垃圾和非垃圾邮件语料库中的典（diǎn）型事例来确定。

3.机器翻（fān）译

NLP被（bèi）越来越多的应用于机器翻译程（chéng）序当（dāng）中（zhōng），这使（shǐ）得一（yī）种语言被自（zì）动翻译成另一种语（yǔ）言（yán），谷歌是一个将（jiāng）你的文本翻译为所需语言的先（xiān）驱者。

机器翻（fān）译技术（shù）所面临的挑战不（bú）在于翻（fān）译（yì）单词（cí），而在于保留句（jù）子的（de）含义（yì），这是（shì）一个复杂的技术问题，也是NLP的（de）核心（xīn）。

4.命名实体提取（Named entity extraction）

它（tā）用于（yú）从给定的项目集合中分离出具有相（xiàng）似性质（zhì）和属性的项目。例如名字、姓氏（shì）、年龄、地（dì）理位置、地址、电话号码、电（diàn）子邮（yóu）件地址和（hé）公司名称等（děng）等。命名实体（tǐ）提取（亦称命名实体识别（bié））使挖掘（jué）数据（jù）变得更加容易。

5.自动汇总

自（zì）然语言处理可（kě）用（yòng）于从大段文本中提取（qǔ）可读摘要。例如，我们可以自（zì）动总结出一份长篇（piān）学术文（wén）章的简短摘要。

接下（xià）来（lái）我们将深入介（jiè）绍一些NLP的技术细节。

当自然界（jiè）与人工相逢的时候（hòu），机器就像是（shì）一个真正（zhèng）具有生（shēng）命力的人（rén）类一样进入（rù）了（le）生活中。

NLP技（jì）术（shù）术语

NLP术语

•语音体系——关于系（xì）统性地组织语（yǔ）音的研究。

•形态（tài）学——这是一（yī）个从（cóng）基本（běn）意义单位中（zhōng）进行单词构建的研究（jiū）。

•语素——语言（yán）中意义的基本单位。

•语法——它是指单词经过组合排（pái）列构成句子，它还涉（shè）及在句（jù）子和短（duǎn）语中确定单词结构的作用。

•语义——它涉及的是单词的含义，以（yǐ）及该如何将（jiāng）单词组合成有（yǒu）意义的短语和句子。

•语用学——它涉及的是在不同情况下使（shǐ）用和理（lǐ）解句（jù）子（zǐ）以及（jí）对句子（zǐ）的（de）解释是如何受到影（yǐng）响的。

•话语——它指的是前面的句子如何影响（xiǎng）对（duì）于下一（yī）句的解释的。

•常（cháng）识性知识——它涉（shè）及的是（shì）对于世（shì）界的一般性认识。

自然（rán）语（yǔ）言处（chù）理库（对于开发者而（ér）言（yán））

NLP库：

有许多通用的第三方开源（yuán）库（kù），开发人员可以（yǐ）使（shǐ）用它们来构建（jiàn）基于NLP的Projects Viz .。

•自（zì）然语言工具包（NLTK）

•Apache OpenNLP

•斯坦（tǎn）福大学（xué）NLP套（tào）件（jiàn）

•Gate NLP库（kù）

自然（rán）语言工具包（NLTK）是最通用的自然（rán）语言处理（NLP）库。它是用（yòng）Python编写的（de），背后有一个很大的社区。

NLP实施（shī）所（suǒ）涉（shè）及的步骤：

它涵盖了5个主要步骤：

•词法分析——它对给定（dìng）单词的（de）结构（gòu）进行（háng）识别（bié）和分析（xī），其中整个文本数据块在词法分析中被分解（jiě）成段落、句子（zǐ）和词汇。

•解析（xī）（句法分析）——它涉及（jí）以一种显示（shì）单词之间的关系的方式对（duì）分析句子中的单词进行语法和单词排列分析，在这个阶（jiē）段，任（rèn）何（hé）不符（fú）合语法正确的句子都被拒绝（jué），例如（rú），“building lives in sita”将不会被语法分析器所接受

•语义分析——对给定的文本进行分（fèn）析以从中提取意义。它通过对（duì）任务（wù）域中的语法（fǎ）结构和（hé）目标进行分析来完成。语义分析器拒绝不（bú）相关的句（jù）子，如“hot banana”。

•话语整合——正如我（wǒ）们所知（zhī），每个（gè）句子都与（yǔ）前一句话相互（hù）联系，基于倒数第（dì）二（èr）句的意义而言（yán），任何句子都变得（dé）有意义。同样，它也使得后（hòu）一句（jù）话变得有（yǒu）意义。

•语用分析——在此期间，常识性知（zhī）识被重新定义了，解释了它们的真实意义（yì）到（dào）底（dǐ）是什么，它涉及到那（nà）些需要常（cháng）识性知（zhī）识的（de）语言方面。

用图片来解读NLP（点击（jī）图（tú）片放大）：

NLP应（yīng）用程序：

1.光学字符识别

2.语音识（shí）别

3.机器翻译

4.自然语言生成

5.情绪分（fèn）析（xī）

6.语义搜（sōu）索

7.自然语言（yán）编程

8.情感计算

9.开发（fā）聊天机（jī）器人