AI真的能了解人类语言吗？

2017年除了虚拟货币以外，科技业最热门的话题应该就是AI。AI就好像是味精一样，是种「谜」一样的白粉末，甚么东西只要撒在一点AI就可以扬味。故此，大家对于AI的想像也催化了Pepper和Sophia这种仿人类的产品。但事实上，光是能重复同样的行为，并不代表机器代表有同样的认知能力。我们来讨论一下目前的聊天机器人和对话式AI（Conversational AI）是否能了解人类的自然语言？

2017年除了虚拟货币以外，科技业最热门的话题应该就是AI。对于一般大众而言，AI就好像是味精一样，是种「谜」一样的白粉末，甚么东西只要撒在一点AI就可以扬味。故此，大家对于AI的想像也催化了Pepper和Sophia这种仿人类的产品。

而这种幻想在某种程度上已经造就过度的异想，甚至恐慌。许多人在看到Sophia这类实体机器人或是Alexa这类语音助理做出「仿人类的行为」，便开始相信这些机器拥有相当于人类的智慧，但事实上，光是能重复同样的行为，并不代表机器代表有同样的认知能力。

今天，先以自然语言为例，让我们来讨论一下目前的聊天机器人和对话式AI（Conversational AI）是否能了解人类的自然语言？

自然语言与对话AI短介

敝人过去曾发表过两篇关于AI的相关文章，一篇是AI产业的部分歷史，另一篇则是针对AI观念上做一些闢谣。在此关于整体AI的观念就不冗述，让我们将重点放在对话型AI上。

由于AI与其说是个产业领域，不如说是社会大众对于系统功能一种非常模煳的期许，因此其实所谓AI产业的相关技术包山包海，从非常简单的规则式系统，到资料搜寻汇整，到机器学习都有。事实上，做AI真的是隔行如隔山。

而自然语言身为AI的分支，其实自己就很复杂了。自然语言技术从词性（Morphology）、句法（Syntax）、语义（Semantics）、主题（Topic）、对话（Dialog）、论述（Discourse）等不同层面，其实涉及的技术层面非常的广。

而对话式AI，严格上来说是自然语言的应用面。要让一台机器能够了解人类的语言并且与其对话，通常至少会牵涉到至少上述三个以上的自然语言领域。

对话AI系统基本架构

大家在学习语言的时候应该都记得学习文法时的痛苦。由于语言还是有相当的规则性，最早的自然语言技术和对话AI几乎都是以规则式系统（Rule-based Systems）或是文法式分析器（Grammar-based Parser）的概念去设计的。

然而，人类在使用语言的时候常常会用一些俚语、缩写，也常常会犯些文法上的错误，因此完全使用规则式的理念去设计出的系统，常常在现实产业环境中会碰上瓶颈。

因此过去二十年来，有越来越多的对话系统在某种部分会採用机器学习的统计学方法去设计系统，这样才能够有效处理更多的杂音和错误。

也因为如此，句法（Syntax）技术在过去十年在对话AI中的使用频率逐渐下降，而新的技术多半将语义（Semantics）跟句法混合，并且结合机器学习和规则式系统来设计。

举例说明，十年以前的对话和自然语言系统，都还相当注重名词、动词等的辨识，其后才是针对句中词汇的语义进行分析（比如说大象有四只脚、阿姨是父亲或母亲的姊妹之类的）。前者仰赖规则式系统，后者除了规则还需要知识库。

但是今天的对话系统，因为大家发现分析句法并没有甚么太明显的帮助，现在都是直接用机器学习去对句子进行分类，然后再用规则去撷取词汇。而用机器学习对句子做分类和辨识，现在都粗略地称为「意向辨识」（Intent Classification）。

举例说明，如果你的对话系统是客服系统，你可能会有很多像是「我的联络资料是09xx-xxx-xxx」之类的资料，而这类意向语句可能会被分类为「提供连络电话」，而这意向语句中的「09xx-xxx-xxx」则可能被标记为知识栏位。而经过机器学习训练出统计模型后，这对话系统每当碰到类似的语句就可以很快地辨别出使用者在提供联络电话，并且从中萃取出电话号码，之后再执行相关的对话模型。

所以，现代很多的对话系统的基本架构就是：

瑟寡人

其实相当简单，接下来让我们讨论一下对话模型是什么？

对话模型（Dialog Model）是什么？

你可以想像如果你今天打客服申诉电话，流程大致上是：

「您好，请问我该如何协助您？」

我买的ＸＸＸ坏掉了。

「请问是碰到甚么样的问题呢？」

ＸＸＸ连不上网路。

「那我请我们工程师跟您联络，方便提供一下您的联络电话吗？」

我的连络电话是09xx-xxx-xxx

「好，那我会请我们下一位工程师打电话帮您除错，真的很抱歉！您有甚么其他问题需要解答的吗？」

而用来管理这整个流程的模型就统称为对话模型。

以上面的对话为例，一开始系统还没有载入任何对话模型，但是发现使用者说「产品有问题」，此意向就开启了类似「问题回报」的对话模型。而以上对话模型很简单，回报问题就是纪录问题，并且索取使用者的联络方式。而当系统问到「您有甚么其他问题需要解答的吗？」时，基本上已经结束了先前的对话模型，并且在寻找新的意向。

其实现在对话系统中所使用的对话模型都没有很复杂，基本上可分为几大类：

查询对话模型（Query Dialog），其实Siri大部分的功能都是查询对话。基本上就是将几个不同的资料来源（如维基百科、Google）的资讯整合成答案，然后提供给使用者。比如说「现在几点？」、「离我最近的日式餐厅在哪里？」都是查询对话。

图形导向对话模型（Graph-based Dialog），图形一词是数学上图论中的图，这种对话模型其实粗略而言就是资讯科学中的ＦＡ（Finite Automata）。这类对话基本上就是一大树状图，而每个路径都只有有限的互动选项。比如说我们电话上常常碰到的那种「国语请选一、For English Please dial 2」那类基本上就是这类对话模型。

表单导向对话模型（Form-based Dialog），顾名思义，就是目的将一表单填完的对话。上面提到的对话模型案例其实可以算是表单对话模型，基本上就是将问卷从头到尾做完、储存资料后就自动退出。

计画导向对话模型（Plan-based Dialog），其实这类对话模型算是表单和图形对话模型的一个改进版。计画导向对话模型中的计画通常都有一些逻辑性的规则，比如说我需要使用者的电话、我需要使用者的姓名、使用者需要完成转帐之类的，而这些规则不一定需要照顺序来，甚至可以将多个意向合一（比如说将「我的名字叫做王大明，电话是09xx-xxx-xxx」自动拆成「提供姓名」、「提供连络电话」两个意向，并满足计画的两个规则）。这种对话模型虽然比较弹性，但是工程上的复杂度却高出许多。

目前来讲不管是Siri、Google Assistant、Alexa还是Cordana，大部分的对话模型还是採用前三者，偶而会碰上最后一种。原因并不是技术上做不出更复杂更有弹性的对话模型，而是因为工程成本太高，不符合商业效益。市面上很多只会报一些最新消息的那种超级阳春聊天机器人就更不用说了。

所以基本上而言，许多语音助理和聊天机器人背后的对话系统基本上就是不断地在寻找意向来开启对话模型。一旦开启对话模型，使用者可以透过特定的语句开关（如很多系统会使用「从头开始」作为开关）终结对话模型，不然就是会继续跟这对话模型互动，直到对话完成为止。

自然语言和对话AI的技术仍卡在几个环节

其实没有技术背景的朋友我相信看懂了以上的解释，应该也可以看出目前自然语言科技和对话系统的诸多限制。这些其实不能光说是工程上的技术限制而已，而是我们对于人类语言、人类心理学乃至脑神经科学的认知仍然相当有限，并不是再丢一些经费做研发马上就能够在几年内突飞勐进。

而整体而言，自然语言和对话AI的技术仍卡在几个环节，这都需要几十年的科学研究和科技发展才能够看到新一代的技术出炉。

最根本的问题就是不同知识领域的歧异性。光是了解金融、医疗领域的术语和对话方式就已经够折腾人的了。目前为止，我们还没有办法去有效地将不同领域的知识和语言模型化、标准化，因此目前任何跨领域的对话系统都是不实用的。

更有趣的是，不管是在认知心理学还是教育心理学，我们都还没有办法去完整地形容人类的分类能力和学习能力。

而另一个很重要的环节就是我们所有的科学和工程上的研究都是将资讯和资料作为模型的基础。

但事实上人类的认知和语言应用深深地受到情感（Affect）影响，而目前对于情感对人类认知能力的影响的研究也不过是最近十几、二十年的事情。连科学都还没走到，工程上当然更不可能有一可靠的解决方案。

短结

身为一位在AI相关产业从业人士，其实很多现在产业新闻中提到甚么「AI读心术可了解人类在想什么」或是「机器人获得沙国公民」从产业人士的角度看来，都是一些很莫名其妙的江湖玩艺。

其实很多很多AI上的技术都只是用统计学和一些规则去将重复性高的工作标准化罢了，事实上根本和取代人类的智慧有一大段距离，甚至八竿子打不着关系。

而敝人以为，AI最后发展会趋缓，因为很多技术的商用价值不够高，在高失业率低薪资的压力下，AI技术和低阶人力工作会达到一个平衡点，AI不可能会无止尽地发展。

而科学上的AI研究，多数都是没有甚么商业价值的，有待过学术界的朋友都知道这部分的进步需要很长很长的一段时间。大家在讲的甚么强AI，基本上在几十年甚至百年内都还是天方夜谭 。

（观点文章呈现多元意见，不代表《数位时代》的立场。）

#Pepper#AI#自然语言处理#sophia#conversational ai#dialog model#语义（semantics）