人工智能风险驱动因素及应对原则探究

人工智能：机遇挑战和安全风险并存

在科技发展史上，技术的进步和变革都会带来“双刃剑”效应。从人工智能概念的提出，到人工智能应用的落地，已经影响到社会发展的诸多方面，而人工智能技术本身的安全问题和与此相关的安全威胁，同样不容忽视。在各国出台国家战略、政策法规、制度措施等助力人工智能发展的同时，人工智能的安全、风险、法律与伦理等问题，值得关注。

与所有新技术一样，人工智能就像一把双刃剑，一方面，其在各行业领域的广泛应用，极大地促进了社会进步和发展，方便了人们的生产生活；另一方面，其发展也伴随着隐私侵犯、歧视、安全事故以及操控舆论等足以引起警惕的风险。当前，在鼓励、促进人工智能发展的同时，对于人工智能的风险问题，国际社会也已经予以广泛关注。结合麦肯锡季刊（McKinsey Quarterly）发布的《面对人工智能的风险》（Confronting the Risks of Artificial Intelligence）研究报告和笔者的思考，本文对该报告提出的人工智能风险的驱动因素进行分析，并对报告提出的应对人工智能风险的原则进行阐释。

一、人工智能的构成要素

人工智能是由软硬件设备、大数据、算法及其呈现出的具体技术构成的综合体。当前，人工智能能够被广泛应用，得益于各个构成要素的不断发展。

软硬件基础设备。软硬件设备为整个人工智能的运算提供算力，是支撑人工智能应用的前提，包括图形处理器/现场可编程门阵列（GPU/FPGA）等用于性能加速的硬件、神经网络芯片、传感器与中间件等。

数据。人工智能的发展离不开运用大数据进行训练。随着网络的发展、智能手机的普及以及各种App的应用，在线数据变得异常丰富、多样，同时，可实时、多渠道地获取数据。大数据的发展与积累，为人工智能应用奠定了数据源基础。

算法。算法使人工智能应用具备自我学习能力，其所呈现出的图像识别、语音识别、语义理解、大数据分析等技术，实现了应用的感知分析智能、理解思考智能以及决策交互智能。

二、人工智能各要素可能引发的风险

2019年4月发布的《面对人工智能的风险》研究报告，分析了可能引发人工智能风险的五个驱动因素：

一是数据困难。随着来源于网络、社交媒体、移动设备、传感器和物联网等方面的非结构化数据越来越多，使对数据的摄取、分类、链接和正确使用，变得愈发困难。这很容易引发相关风险，例如，无意中使用或者泄露了隐藏在匿名数据中的敏感信息。

二是技术问题。运营环境中的技术和流程问题，可能会对人工智能系统的性能产生负面影响。例如，当一家重要金融机构的合规软件未能发现交易问题时，可能导致数据反馈不再包含所有客户的交易信息。

三是安全障碍。企业收集的看似非敏感的营销、健康和财务数据，可能会被不法分子用来为人工智能系统提供支撑。如果企业的安全防范措施不到位，这些信息将可能被整合在一起创建虚假身份。对于上述情况，尽管相关的企业（可能在保护个人身份信息方面非常有效）是不知情的，但是，仍然可能遭受消费者的反对和监管机构的监管。

四是模型偏差。当人工智能输出有偏见性的结果、变得不稳定或者得出其他一些明显不合理的结论时，可能是人工智能模型本身存在问题（如用于训练模型时的数据不具有代表性）。此外，当人工智能模型嵌在软件即服务（SaaS）的产品中时，模型方面的问题更难发现。因为，服务提供者在引入新的智能功能时，通常不会大肆宣传还引入了可以与系统中的用户数据进行交互的模型（该模型可能导致意外风险，包括引起黑客可利用的隐藏漏洞等）。

五是互动问题。人与机器之间的交互是一个关键的风险因素。其中，自动化运输、制造业和基础设施系统面临的挑战最为明显。例如，当重型设备、车辆或其他机械的操作员注意力不集中时，便无法准确、及时地接管设备，很容易引发事故和伤害。即便是人为判断，也可能发生错误。因此，如果没有严格的内部管理措施，存在恶意的员工或者不法分子可能破坏算法或者以恶意的方式使用人工智能应用程序。

该报告提出的五个风险驱动因素，本质上是作为人工智能构成要素的软硬件基础设备、数据、算法，以及人工智能在与人的互动中可能引发的风险。

（一）软硬件基础设备可能引发的网络安全风险

人工智能依赖的软硬件基础设备面临传统的网络安全威胁。报告中提到的技术问题、安全障碍涉及由于系统的操作权限、流程不规范、系统本身的性能问题以及防范措施不到位可能引发的网络安全风险。除此之外，硬件设备也面临同样的问题，例如，作为人工智能产品核心部件的芯片目前仍需大量从国外进口，芯片制造厂商有可能通过在芯片面板某一程序植入木马窃取信息，也可以通过病毒、恶意软件实施操控，如果相关的人工智能产品应用在能源、交通等领域的控制系统，甚至可能导致停产停业、发生安全事故等风险；再如，在自动驾驶、智能农业等领域都需适用的传感器设备也可能被干扰、欺骗或入侵。

（二）数据可能引发的隐私、决策及信息安全风险

一是隐私风险。海量数据的支撑使人工智能发展必然隐藏隐私侵犯风险。除报告指出的非结构化数据增多导致隐藏的敏感信息泄露外，人工智能的应用也在越来越多地直接获取人的行为信息并进行整合分析。例如，通过整合个人的网页浏览、购物、出行等相关记录，可以整合出个人的行为轨迹、偏好和习惯，进而预测未来的行为。

二是决策及信息安全风险。如果向人工智能系统输入的数据不完整、不正确、质量不高或者仅仅是数据体量不够，都可能导致其输出的结论不正确，体现在自动驾驶、智能医疗或者智能投资顾问等领域，会造成难以预测的人身财产损失。此外，即使不用于决策，数据源的问题还可能导致输出不良或者歧视性信息，例如，微软公司的人工智能聊天机器人Tay上线后，被网民“教坏”，发布诽谤性的、歧视性的推文。

（三）算法可能引发的伦理道德风险

在当前的弱人工智能发展阶段，伦理问题更多地体现为人类伦理道德观念在机器上的“映射”，人工智能世界的关系仍然是人类社会关系。报告中提到的模型偏差导致输出明显不合理的结论即算法的问题，由此引发的伦理道德风险是一系列的。例如，算法可能仅仅反映社会普遍存在的现象，那么，传统社会的性别、地域、宗教、人种等方面的偏见和歧视，可能通过算法在就业、选举等领域得到固化、扩大；算法可能仅仅根据用户的喜好推荐个性化、定制化信息，这样就破坏了信息的多样性，剥夺了个人自主决定权，容易使个体沉浸在算法营造的信息世界，产生信息茧房效应；同时，一味地推荐用户关注的信息，还可能对目标用户进行片面的定制传播，加剧低俗媚俗、色情暴力等不良信息的传播风险。再如，探讨已久的“电车难题”，在事故发生之际，无人驾驶汽车如何自动做出取舍，最大限度地保证生命财产安全，也使算法面临道德困境。

（四）人机交互可能引发的事故责任风险

人类接管设备是当前解决人工智能某些弱点的常用方法，但是，正如报告中提到，人可能会精力不集中、判断失误，或者由于对系统局限性或系统反馈的认知能力不同而发生事故。此时，需要判定人类是否接管了设备、接管时机是否正确、接管后的操作是否正确，以及人工智能产品本身是否存在缺陷等问题，从而使各方法律责任难以清晰界定。例如，在特斯拉自动驾驶汽车撞毁事故中，特斯拉公司就曾主张没有办法知道发生事故时车辆是否启用了自动驾驶模式而拒绝承担责任。

三、应对人工智能风险的原则

在明晰人工智能风险的驱动因素以及风险的表现形式后，有助于更好地应对风险。《面对人工智能的风险》研究报告提出了应对人工智能风险的三个原则：

（一）清晰原则——使用结构化识别方法确定最紧要的风险

报告以欧洲银行为例，介绍了该银行确定最紧要风险的经验。首先，银行的首席运营官召集了业务部门、IT部门、安全和风险管理等部门的负责人，评估确定银行现有的最大风险。在对现有风险有清晰认识的基础上，再考虑应用人工智能后将如何加剧这些风险，以及人工智能的推动者或者人工智能本身可能带来的新的风险。通过这种结构化风险识别流程，欧洲银行明确了哪些风险是最令人担忧的，从而优先应对这些风险。

（二）全面原则——完善的内部管理制度

从整体层面统筹部署人工智能系统的开发和应用，开展适当的监督，并制定强有力的政策、流程、员工培训计划和应急方案。报告介绍了欧洲银行内部的一系列管理措施，包括对如何使用以及在何处使用机器作出对客户有影响的决定进行详细说明；对人工智能模型实施特定管理（例如在模型开发的整个周期中始终记录模型代码、培训数据和所选参数）；要求所有利益相关者（包括赞助商）进行情景规划并制定应急预案，以应对人工智能模型性能漂移、数据输入移位或突然变化等灾难；加强业务及法规方面的员工培训（全面向员工告知银行为确保公平、准确决策和保护客户数据采取了哪些措施来，以及银行的治理框架、自动化技术和开发工具是如何协同工作的）；监督小组开展定期审查，以掌握由于监管变化、行业发展、法律调整、不断发展的消费者期望以及快速变化的技术所带来的新的风险等。

（三）细节原则——根据风险的性质加强有针对性的管控

整体层面的管控措施非常重要，但是，不足以应对各种可能的风险。因此，还需要考虑因算法复杂性、数据要求以及人工智能嵌入到业务流程的程度等方面存在的差异，有针对性地采取管控措施。例如，企业在为某些特定用户提供服务时，有针对性地不使用太过复杂的机器学习模型，这虽然会在一定程度上降低预测能力而导致成本增加。但是，简单的模型也更容易发现因用户行为或数据变量的变化而引发的数据和模型本身的偏差，从而有效地平衡风险和收益。

（本文刊登于《中国信息安全》杂志2019年第7期）