吴鹤意：NLP机器学习模型安全性及实践

大家上午好！我今天这个议题主要来自于一个聊天机器人在工程实践中遇到的一些问题。我自己是一个安全研究爱好者，平时更多聚焦在AI、在工程方面的落地内容。

现在机器学习的安全问题在国内安全会议上已经讨论得不少了，其中主要集中在三类：一类是对抗性输入，专门设计的输入，往往是主要用来让AI的分类器进行误分类以躲避检测，比如恶意软件的检测和恶意流量的检测。第二类是数据中毒攻击，攻击者主要是用来污染训练数据，因为很多机器学习模型需要在训练数据的基础上进行训练，一旦污染了数据之后，训练出来的模型也会产生很大的影响。

一开始是对于用户的输入做字符分割，然后把分割出来的字符提取关键词，把提取出来的关键词转变成一个向量，然后和问答库当中原来已经存的答案进行匹配，比如4000个问题和4000个答案的关键词进行相似度匹配，把匹配出来的前3个或者前5个问题返给用户，然后让用户自己来选择哪个问题是你想问的问题，点击进去可以看到这个问题的答案。

最近某地政府官方微信引用了智能机器人，因为有一些不恰当的回复，把新华社点名了。大家看看这个截图，很明显这个机器人是一个聊天机器人，并不是问答机器人，把用户的输入变成闲聊对话，匹配度又不是很高，导致它产生了这样的回答。发生这样的问题，国内很多公司都在做智能音箱，这个问题和智能音箱背后的问题是一样的，因为智能音箱从原理技术上也是这样实现的。遇到这样的问题，用户是非常生气的，研发却很痛苦。

我原来是做AI的，现在安全会议上也有关于AI的问题，安全和AI的结合有更大的含义。比如敏感词过滤的功能在国内很多平台根本没有，如果把这个问题提交给安全中心，它不认为这是传统意义上的安全问题。这个觉得这跟安全不是很紧密，但是类似的原理如果利用在人脸识别，可以绕过很多厂商人脸识别。攻击不一定从代码层面，也可以从AI的应用层面，应用逻辑和程序中的问题都可以拿来作为攻击点。