金磊 发自 凹非寺 量子位 | 公众号 QbitAI 谁能想到跟一个机器人下棋，竟然还能把手指弄折了。 这事就发生在莫斯科国际象棋公开赛上，一个7岁男孩正在对战一台国际象棋机器人。...并且Sergey还呼吁下棋机器人的公司必须重新考虑设计方案。 至于这位小朋友，在意外发生之后打了石膏，继续完成了后续几天的比赛。...但此事一经曝光，着实引发了不少网友们的热议，“机器人伤人”话题也是直冲热搜。...网友们纷纷表示这台国际象棋机器人“违反了机器人第一定律”，即： 机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管。...但也有网友表示这台机器人“有点无辜”： 也有网友从设计角度出发，认为这个下棋机器人程序设计得不够好，不能识别人和棋子： 那么对于这场意外，你认为问题出在了哪里呢？
小编说：智能机器人是目前功能集成度较高的智能硬件，由于高度功能集成化的设备，所以智能机器人的安全会涉及方方面面很多技术点，本文仅针对市面上某款智能机器人进行漏洞验证，并提出了安全建议。...本文选自《智能硬件安全》一书 漏洞验证 使用智能机器人的时候，需要对机器人进行Wi-Fi配置，使机器人接入网络，从而使手机对设备进行控制。...可以通过配置将智能机器人通过Wi-Fi接入互联网，配置成功后就可以使用手机APP反向控制我们的智能机器人，达到无论用户身在何地都可以对我们的智能机器人进行远程控制的目的。...在对机器人上线配置及使用的过程中，可以对机器人的控制流程有一个大致了解。 （1）注册一个用户（通常为手机号）。 （2）登录，验证方式为XMPP登录验证。...解除绑定请求 可更改用户问答，修改机器人回答语音。 案例 用户：你好。 机器人：我被黑客入侵了。 ? 发送这样的请求包之后，当用户跟机器人对话说你好时，机器人会回答我被黑客入侵了。
在纽约时报的一篇评论文章中，在去年的TED演讲中，作家、Allen人工智能研究所CEO Oren Etzioni博士建议应该对阿西莫夫的机器人三定律进行更新。...阿西莫夫的机器人三定律 1942年，阿西莫夫在短篇小说“Runaround（环舞）” 中提出了机器人三定律：机器人不得伤害人类，或因不作为使人类受到伤害；除非违背第一定律，机器人必须服从人类的命令；除非违背第一及第二定律...，机器人必须保护自己。...后来，阿西莫夫加入了一条新定律：第零定律，机器人不得伤害人类整体，或因不作为使人类整体受到伤害。 Etzioni的更新规则 ?...在《纽约时报》的评论文章中，Etzioni提出了对阿西莫夫机器人三定律的修改建议： 人工智能系统必须遵守适用于其操作人员的所有法律条文； 人工智能系统必须明确表示它不是人类； 未经信息来源明确许可
这三项规定得到广泛推崇，并被称为机器人三定律。 后来又补充了一条第零定律：机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。...有心的朋友会发现，第零定律其实是堵住了原先的一个逻辑漏洞，比方说我是一个想要颠覆人类的大坏蛋，我以自杀来威胁（或者直接命令，自杀威胁具有更高级别的权限）一个机器人去剪断全世界的电缆，或是销毁全世界的书籍...无人汽车本质上就是轮式机器人，可以参考机器人定律。所以遵从第一定律，开头我所描述的情况之下机器人应当选择右转撞向兰博基尼。...让我们回到问题本身，根据机器人定律的精神，机器人在必要时是要牺牲自己保护人类的，但是在这里情况又有了一些不同，因为机器人的“身体”里也有人类乘客。 保护自己，还是保护行人？...这时候我们再去翻机器人定律，似乎发现了另一处漏洞，这种情况下机器人不论做怎样的选择都是违反机器人定律的。机器人不能为了保护一人而伤害另一人，它也不能眼看着一人受伤害而不管。
如何阻止机器人伤害人？现在的许多机器人，比如在工厂里组装汽车的机械臂，当人类靠近时，它们会马上停机。...科幻已经设想了这个问题，并提出了各种潜在的解决方案，其中最著名的是Isaac Asimov的机器人三定律，旨在防止机器人伤害人类。...但现实表明，机器人三定律在很多时候并不管用，从2005年开始，我和赫特福德大学的同时一直在研究一个可替代的解决方案。...机器人三定律 阿西莫夫的机器人三定律是这样描述的： • 机器人不能伤害人类，也不能明知人类受伤害而袖手旁观； • 机器人必须服务人类的命令，除非这些命令与第一定律相冲突； • 在不违反第一、第二定律的前提下...阿西莫夫的小说可以说是最好的反证，它们证明在很多情况下机器人三定律都是不起作用的。大多数新起草的规则都遵循类似的原则以构建更安全、合规而稳定的机器人。
大数据文摘出品 来源：IEEE 编译：张卓骏、张秋玥 艾萨克·阿西莫夫在曾他的科幻小说里提出了机器人三定律。尽管看上去简单明了，但随着小说的展开你会发现它蕴藏着意料之外的复杂性。...第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手旁观; 第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外; 第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存...无人驾驶汽车的拥护者们声称，全球每年有超过130万人死于机动车辆事故，如果机器人能够取代人类掌控驾驶盘就能有效降低这一数字。但社会也普遍意识到，即便是机器人，同样也会造成交通事故。...上述适用于自动驾驶人工智能算法的广泛目标近似于阿西莫夫的三定律，因为两者都同时要求禁止伤害人类、遵守人类命令且能够保全自己。...开发人员因此只能借助于模拟，利用计算机来设计虚拟行车里程以发现可能仅在罕见情况下出现的潜在安全漏洞，例如遭受暴风雪或大雨，亦或是驾驶在施工道路上。
回答：有个阿西莫夫机器人三定律。 第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管。 第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外。...第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。 认真的说，应该有一些法律规范人工智能的应用，也许还需要一些机构进行代码评估，已确定人工智能是否会被用于不道德的领域。...他们给出了五个要点： 1、避免有害副作用：机器人如何才能在追求效率的同时避免造成连带损伤？ 2、避免激励机制漏洞：如何才能防止机器人投机取巧？...3、弹性监督：如何让机器人能自主验证目标，正确完成任务，而不需要让用户花极高的时间成本与机器人反复核实？ 4、安全探索：如何避免机器人在探索陌生环境、学习新技能时对人类造成损害？...5、切换环境后的可靠性：我们如何能保证机器人在切换环境后，能将已经习得的技能无缝迁移到新环境中，避免造成不必要的麻烦？ 另外，建议你更多的熟悉算法，知道机器如何工作。
实际上，大约在1950年，科幻作家阿西莫夫就提出了 “机器人三定律”： 第一，不伤害定律：机器人不得伤害人类，也不得见人受到伤害而袖手旁观。...第二，服从定律：机器人必须服从人的命令，但不得违反第一定律。 第三，自保定律：机器人必须保护自己，但不得违反一、二定律。 这三条定律在制造机器人的伊始便被嵌入其大脑，永远无法消除。...实际上，很多伦理问题连人类自身都没有解决，由人类定义的伦理逻辑是否存在漏洞呢？微不足道的漏洞，在人工智能发展到一定程度后却可能成为压倒整个伦理系统的稻草。...机器人产业, 13(2):14-17. 阿西洛马人工智能原则——马斯克、戴米斯·哈萨比斯等确认的23个原则,将使AI更安全和道德[J]. 智能机器人(1):28-29. 张雪娇....阿西莫夫对机器人世界的伦理凝视[D]. 华中师范大学, 2015. 杜静, 黄荣怀, 李政璇, et al. 智能教育时代下人工智能伦理的内涵与建构原则[J]. 电化教育研究, 2019(7).
研究过程中已经确认的漏洞列表： 1.Web管理界面的XSS持久性漏洞 2.无需身份验证访问CLI（或通过控制台移动机器人） 3.功能性逻辑绕过 4.反射型XSS（在IE兼容模式下有用） 5.开放重定向...在我看来，这个特殊漏洞会威胁到用户/所有者的安全，因为它给予了攻击者机会来挂载钓鱼网络，以实施钓鱼攻击。...此外，只有通过访问网页，受害者才能部分/完全意识到攻击，因为SSID也是有漏洞的，但是这里需要了解一下：不同于System name，注入的有效载荷也会出现在扫描中的接入点列表中，这会触发警报。...现在问题是用户不能连回机器人来修正错误，因为： 用户连接到机器人开放的WiFi，所以他可以访问机器人的Web应用来设置网络登录信息。...使用摄像头监视机器人周围环境 发起拒绝服务攻击（强制拥有者重置机器人） 所有这些真的是一个有趣的经历，与机器人的整个互动很棒。
1950年著名科幻作家阿西莫夫的《我，机器人》出版，在书中阿西莫夫提出了举世闻名的机器人三定律：第一定律：机器人不得伤害人类，或坐视人类受到伤害；第二定律：机器人必须服从人类的命令，除非与第一定律冲突；...第三定律：在不违背第一定律和第二定律的情况下，机器人必须保护自己。...虽然阿西莫夫的作品预言了科技发展的趋势，但是机器人三定律毕竟只属于文学。...此次，OpenAI 与谷歌等学者共同为AI系统设计划出了五条准则，讨论哪些具体的工程设计方法可以预防 AI“暴走”对人类带来危害，与缺乏可操作性的机器人三定律相比更加实用。...从代理的角度来看这并不是一个漏洞，只是环境的运作机制而已，因此与其他能获得奖励的策略一样，是一项有效策略。
机器人学三大定律 第零定律：机器人必须保护人类的整体利益不受伤害，其他三条定律都是在这一前提下才能成立。...第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管，除非这违反了机器人学第零定律。 第二定律：机器人必须服从人给予它的命令，当该命令与第零定律或者第一定律冲突时例外。...第三定律：机器人在不违反第零、第一、第二定律的情况下要竟可能保护自己的生存。 ?...机器人学和智能控制 机器人的研究过程： 第一代（程序控制）机器人 一种由设计师预先按工作流程编写好程序存储在机器人的内部存储器，在程序控制下工作；另一种是被称为“示教——再现”方式。 ?...第二代（自适应）机器人 配备有相应的柑橘传感器，能取得作业环境，操作对象等简单的信息，并由机器人体内的计算机进行分析、处理，控制机器人的动作。
阿西莫夫当年的《钢窟》系列就有不少关于机器人利用逻辑漏洞，突破“机器人三大定律”实施杀人犯罪的故事。...然后，它又利用其控制的工厂，生产出冷酷无情的机器人杀手“终结者”，来彻底消灭残存的一小部分人类。 这个故事的核心在于，人类无法理解AI，无法理解一旦AI产生自我意识后，会做出什么样的反映。 ?
后来，阿西莫夫加入了一条新定律： 第零定律：机器人不得伤害人类整体，或因不作为使人类整体受到伤害。...对于提出的三定律，阿西莫夫本人曾经无不自豪的说过：“三定律是理性人类对待机器人（或者任何别的东西）的唯一方式。”不过，随着时间的推移以及人工智能的发展，“机器人三定律”的适用性逐渐发生了变化。...机器人三定律的几点疑惑 首先，机器人如何分辨“人”和“机器人”？一般来讲，机器人主要通过传感器和计算机视觉来感知人类，但是仿生机器人、人造皮肤等进一步将人类与机器人的区别模糊化。...举个例子，当劫匪实施抢劫之时，按照定律，哪怕受害人下了杀死劫匪的命令，机器人依然要在不伤害劫匪的前提下保护受害人，如此一来，机器人唯有挡在受害人面前接受劫匪的伤害，但是这就违背了第三定律，如此一来，三定律之间本就是相互矛盾的...其实，不管是哪种做法，现实中的机器人终会违背机器人三定律，就如上文所讲，如果按照阿西莫夫三定律行事，机器人只会陷入无限的纠结之中。
其中最著名的是科幻作家阿西莫夫于1950年提出的“机器人三定律”（AI概念由约翰·麦卡锡于1955年首次提出）： 第一定律：机器人不得伤害人类，或坐视人类受到伤害。...第二定律：机器人必须服从人类的命令，除非与第一定律冲突 第三定律：在不违背第一定律和第二定律的情况下，机器人必须保护自己。...根据阿西莫夫自己的构想：只要把这三项定律写入机器人的代码底层，确保机器人无论如何都无法违反，就能保证人类不被机器人所伤害。...但是，让我们以现在的眼光来重新看待这三条定律，首当其冲的一个问题就是技术的欠缺，对于如何将之写进代码底层，当前的技术对此还是毫无头绪的，而且到目前为止，人类造出的机器人还不能够完全理解这三条定律的意思，...将之与AI五定律来进行对比的话，阿西莫夫的的“机器人三定律”明显不够成熟、全面。 ?
我们还为人工智能物理模拟提供了一个库，适用于流体动力学等需要遵守物理定律的应用。...为了推动人工智能向更高层次发展，下一代人工智能需要根植于物理定律的理解，但大多数人工智能系统缺乏对物理世界的深刻认识。...为了生成逼真的图像、视频、3D图形，以及模拟复杂的物理现象，我们急需开发基于物理的人工智能，这要求它能够理解并应用物理定律。在实现这一目标的过程中，有两个主要方法。...机器人时代已经到来这就是英伟达的Blackwell平台，接下来，让我们谈谈人工智能与机器人相结合的未来。物理人工智能正引领人工智能领域的新浪潮，它们深谙物理定律，并能自如地融入我们的日常生活。...首先，我们致力于为不同类型的机器人系统打造平台：机器人工厂与仓库专用平台、物体操纵机器人平台、移动机器人平台，以及人形机器人平台。这些机器人平台与我们其他众多业务一样，依托于计算机加速库和预训练模型。
1950年著名科幻作家阿西莫夫的《我，机器人》出版，在书中阿西莫夫提出了举世闻名的机器人三定律（当时还没有AI这个概念，这个概念在1955年才第一次由约翰·麦卡锡提出） ，阿西莫夫的构想是：只要把这三项定律写入机器人的代码底层...，确保机器人无论如何都无法违反，就能保证人类不被机器人所伤害： 第一定律：机器人不得伤害人类，或坐视人类受到伤害。...第二定律：机器人必须服从人类的命令，除非与第一定律冲突 第三定律：在不违背第一定律和第二定律的情况下，机器人必须保护自己。 乍一看，这三条定律确实能有效防止机器人对人的各种伤害。...但是其实这个定律存在两个问题： 一是描述太过模糊，以至于机器人可能通过对其作出各种解读来不同程度的达到自己限制或伤害人类的问题。...万一AI在我们找到实现机器人三定律的方法之前就具备了毁灭人类的想法和能力了呢？ 谷歌和OpenAI联合发布五条AI定律 ?
是“技术漏洞”还是“使用不当”抑或是“算法”擅自所谓，这一问题至今无解。 开发伦理嵌入技术 应对人工智能伦理风险 关注人工智能技术带来的机器伦理问题，提升人工智能技术的安全性。...美国科幻作家阿西莫夫的“机器人三定律”经典地诠释了机器人所应遵从的基本道德规范，在《我，机器人》中，机器人被集体嵌入了道德定律，以此规范人工智能的行为。而在现实中，人工智能的道德也是可以被预设的。
03 脆弱的“机器人三定律” 我之所以很喜欢这部电影，也可能是因为我对它的期待不同。...1942年，科幻小说作家阿西莫夫在他的作品中提出了“机器人三定律”： 定律1：机器人不能伤害人类，或因不作为而使人类受到伤害。...定律2：机器人必须执行人类的命令，除非这些命令与第一条定律相抵触。 定律3：在不违背第一、二条定律的前提下，机器人必须保护自己不受伤害。[3] 但你会发现这三定律是不够完善的。...所以后来，阿西莫夫又补充了第0定律： 定律0：机器人不能伤害人类，除非他发现能够证明所做伤害将有益于人类。...[3] “机器人三定律”不但影响了一大批科幻作品，在现实中，一些机器人和人工智能的设计也把它当作伦理基础。 ? 虽然叫“定律”，但其实这些定律并不是像牛顿定律那样客观存在的自然规律。
美国科幻小说黄金时代的代表人物艾萨克·阿西莫夫曾经在20世纪40年代提出了“机器人3定律”。什么是“机器人3定律”？...第一定律是机器人不得伤害人类个体，或者目睹人类个体遭遇危险却袖手旁观；第二定律是机器人必须服从人类给予它的命令，除非这一命令与第一定律相矛盾；第三定律是在不违反第一定律和第二定律的前提下，机器人要尽可能地确保自己的生存...80多年前阿西莫夫提出的“机器人3定律”，大概率是基于自己天马行空的想象。但如今，AI的表现令人惊讶，早已不再是昔日文学作品里的幻想了，我们不得不认真的思考起“机器人3定律”的可行性了。...对此，人工智能科幻作品《造神年代》的作者严曦发表了自己的见解，他认为“3定律”本身是具有局限性的，因为语言本身是不包含三原则的。他表示，“把对机器人的约束标准放到非常抽象的语言层面，这是人类的想法。...因为机器人的语言和逻辑是很底层的，它会通过各种强行的细节解释去绕过这些定律”。换句话说，“3定律”对AI的约束性完全不够强。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
