这个专利告诉你如何训练自然语言理解系统

人工智能的发展，带动了很多人工智能相关应用的发展，于是人工智能产品层出不穷，数字助理应用，语音识别应用，文字处理应用等等。

文｜集微网

校对｜诗诗

图源｜网络

集微网消息，人工智能的发展，带动了很多人工智能相关应用的发展，于是人工智能产品层出不穷，数字助理应用，语音识别应用，文字处理应用等等。

计算机和应用的开发人员一直在试图改进人与计算机之间的交互，而交互中最核心的部分便是自然语言理解系统。自然语言理解系统主要是通过使用一些自然语言处理技术将文本转换为语义表示，其中语义表示是计算机能理解的一种表示形式。

为了能让自然语言理解系统能正常的工作，需要训练出一些自然语言理解模型，而这些模型便是自然语言理解系统中的大脑。

最近小编刚好发现了一个微软公司提出的专利（专利公开号：CN107924393A），该专利提供关于训练和使用自然语言理解系统的系统和方法。

具体地说，专利中的提供的系统和方法是利用其他特征服务器上的特征提取器的分布式网络来训练自然语言理解系统。

专利中提供的训练自然语言理解系统的系统是一个分布式服务器系统如图1所示，各个服务器之间使用分布式网络进行交互通信，如此，让整个分布式服务器系统拥有更强大的功能，和更多的计算资源。

图1训练自然语言理解系统的系统图

整个分布式系统由三大部分构成：客户端设备，不同的特征提取器的服务器，自然语言理解服务器（LU服务器）。

客户端作为使用自然语言理解系统的外部接口，提供输入部分和接收自然语言理解系统处理后的信息。

LU服务器中一个是LU解码器和LU模型，其中LU解码器主要功能是初步的文本数据预处理和将文本数据转换为LU模型的输入数据。

处在分布式网络上的特征提取器，主要是根据特定的数据分布规律提取出数据特征，包括数据分布特征，数据统计特征，数据特有的特征。

我们知道，一个算法模型的预测准确性和特征抽取是息息相关的，提取的特征越能代表数据，训练处理的算法将越准确。

自然语言理解系统的构建的第一步便是需要训练好LU模型，LU模型的训练流程图如图2所示。

图2自然语言理解模型的训练流程

整个分布式服务器系统通过分布式网络向多个特征提取器发生针对特定任务的训练特征的请求，各个特征提取器从数据中抽取出每一个训练特征。

然后LU服务器中的基于提取的训练特征利用训练算法来估计出自然语言理解模型的模型参数，从而得到自然语言理解模型（LU模型）。

在训练好自然语言理解模型后，接下来就是如何使用已经训练好的自然语言理解模型了，具体的使用流程如图3所示。

图3自然语言理解模型使用流程图

整个系统需要借助客户端来接收用户的输入文本，然后再通过LU服务器中的LU解码器来对输入的文本进行预处理，然后再向各个特征提取器发生提取该已经预处理好的输入文本的特征的请求。

待各个特征提取器提取好特征后将提取的潜在特征反馈回LU服务器，紧接着使用LU解码器将各个特征提取器提取到的特征转换为LU模型的输入数据，于是LU模型将根据输入的数据生成响应数据，再反馈回客户端设备。

自然语言理解模型的训练算法是一个耗时耗力的过程，此过程需要大量的计算资源如GPU和加载训练数据的内存。

但随着分布式网络的发展，让集众多计算机算力共同训练算法成为可能。借助分布式网络，可以让算法模型的训练过程并行化，从而减少训练时间。

END