AI Agent能否重塑网络安全攻防的未来？

在迅速发展的人工智能（AI）领域，研究人员关注的焦点正由ChatGPT等大语言模型工具转向下一个前沿领域——AI Agent。相比目前的大语言模型应用，AI Agent 更加智能化，可以在基本不需要人工干预的情况下完成复杂任务，以之前难以想象的方式进行主动学习、适应和协作。而在网络安全领域，AI Agent 技术的广泛应用或将彻底改变网络攻防博弈间的游戏规则。

什么是AI Agent ？

随着国内大模型的 “智能体”（stores) （基于大语言模型基础衍生出来的AI助理），陆续上线，可能我们需要明晰一下两者的差异。

智能体

智能体是一个更广泛的概念，指的是可以在环境中自主感知、决策并采取行动去实现特定目标的实体。智能体可是一种软件程序，可以在没有人工干预的情况下自主地执行任务，包括感知环境、理解语言、与其他智能体交流等。智能体也可以是一个独立的实体，也可能是一个机器人，或者是一个其他类型的自动化系统。智能体的核心能力是自主性、适应性和学习能力，需要能够获取环境信息，基于这些信息做出决策，并通过交互不断学习和优化其行为。比如，工业自动化、智能家居、机器人和自动驾驶等。

AI agent

是智能体的一种实现，特指那些应用了人工智能技术，尤其是机器学习和深度学习技术的智能体。这些智能体拥有处理复杂任务的能力，能够进行自然语言理解和生成、推理、规划等高级认知功能。在实现上，AI agent通常依赖于大型的语言模型或其他类型的深度学习模型作为其核心决策和处理单元。比如，聊天机器人、语音助手、推荐系统等。

或者说，所有AI agent都是智能体，但并非所有智能体都是AI agent。智能体强调的是自主行动和环境交互的能力，而AI agent强调的是实现这一能力的先进人工智能技术。随着技术的发展，AI agent在智能体中的角色越来越像人类的代理，能够在没有人类直接指导的情况下，实现更为复杂的任务和目标。智能体是一个更广泛的概念，可以包括各种类型的软件程序，而AI agent则是指利用人工智能技术的特殊类型的智能体，具有更强的感知、学习和推理能力。

简而言之，所有AI agent都属于智能体的范畴，因为它们都体现了智能体的核心特征——自主行动和环境交互。但是，并非所有的智能体都被称为AI agent，除非它们明确地采用了人工智能技术作为其运行的基础。随着AI技术的进步，AI agent日益展现出模拟甚至扩展人类智能的能力，使得它们在诸多领域中能够执行越来越复杂的任务。

AI Agent 的由来？

在最初的大语言模型中，通常是在一次响应中生成对提示的响应。例如，我们可能会请一个LLM（大型语言模型）来帮助撰写一篇文章或报告，它会一次性生成完整的草稿。但这种方法往往缺乏深度和精细度。这种形式也被称为零投提示（Zero Shot Prompting）——因为它试图在第一次投篮就“命中篮筐”，并在不重复的情况下获得一个好的结果。 

事实证明，和人类一样，大语言模型很难通过一次或有限的交互就带来完美的结果。因此，OpenAI公司以聊天的形式创建了GPT3/4模型，这使得我们可以围绕相同主题进行附加提问迭代，包括给出评论，将问题划分为多个子问题，并要求模型执行自我反思等。

相比之下，AI Agent技术旨在形成一种主动式、自动化的任务执行工作流，就像人工分阶段处理一个项目一样。通过生成最优化的代理流程，AI系统可以分多个步骤草拟、审查、修改和改善输出，从而获得更精细和更优质的结果。

在今年初举办的红杉资本AI Ascent大会上，人工智能技术先驱、Google Brain联合创始人Andrew Ng博士发表了一场富有远见的主题分享，探讨了AI Agent技术的深远影响和巨大发展潜力。他表示：通过AI Agent所形成agent工作流，是一种涉及AI模型不断改进输出的迭代流程，这将彻底颠覆传统的静态AI交互方式。

在这种代理工作流中，有四个关键设计模式：

1. 结果反思：AI模型需要对每次输出的结果进行反思，并确定需要改进的方面。比如说，生成代码的AI可以检查代码的正确性和效率，然后根据自我批评改进代码。
2. 规划和多代理协作：多个AI模型需要协同工作，每个模型司职不同的任务。比如说，一个AI生成代码，另一个AI审查和优化代码。
3. 工具使用：AI模型使用外部工具来增强其功能，比如代码生成工具或获取额外信息的web搜索工具。
4. 多对多使用：结合不同的AI模型（每个模型各有所长），以协同完成复杂的任务。

Andrew Ng认为，通过AI Agent所形成的工作流将显著增强现有AI技术（模型）的应用能力，实现更精细的迭代过程。这种方法有望在包括网络安全在内的各种应用领域充分释放大语言模型和AI系统的应用潜力。

AI Agent对网络安全的影响

研究人员认为，通过AI Agent，可以让大模型工具的交互迭代过程更具协作性和适应性，因此非常适合在网络安全等复杂领域中应用。在某种意义上，AI Agent可以被看作是一个自主运行的智能化网络安全系统，能够在无人干预的情况下做出安全决策并采取威胁处置行动。它的能力相当于一个技术娴熟、经验丰富的安全专家团队，而且不需要睡觉和休息，能够不间断地寻找和处置威胁。

不妨设想智能家居系统的工作原理。智能恒温器可以了解你的日常生活，根据你的喜好调整温度，并可以检测到不寻常的活动变化，比如温度突然下降（可能表明窗户开着）。同样，在网络安全防御背景下，AI Agent可以使用类似的流程来开发和优化完善安全防护措施。比如说，AI Agent可以持续监控网络流量、检测异常，并更新安全规程，以实时防御新的威胁。

目前，研究人员Richard Fang、Rohan Bindu、Akui Gupta和Daniel Kang已证明，GPT-4之类的大语言模型（LLM）可以自动利用1-day漏洞。研究小组在研究中针对15个实际的漏洞数据集测试了GPT-4。GPT-4成功利用了其中87%的漏洞，明显胜过其他工具。这项研究强调了我们迫切需要采取积极主动的网络安全措施，因为AI利用漏洞方面的潜力构成了新的重大威胁。定期更新和及时部署安全补丁对于减轻这些风险至关重要。

面对上述挑战，AI Agent可以在没有人干预的情况下建立不断探索、学习和适应的网络安全防护体系。这也正是Project Voyager在游戏《我的世界》中所做的一切。

来自加州理工学院、斯坦福大学、得克萨斯大学和英伟达的研究人员共同开发了Voyager，这是目前第一个为开放式环境中终身学习而设计的AI Agent实验。Voyager由三大部分组成：追求探索的自动课程、存储复杂行为的技能库以及基于反馈改进性能的迭代提示机制。当Voyager负责建造村庄的非玩家控制角色（NPC）用完了附近的树木去砍木头时，一个有趣的场景出现了，那些基于AI的NPC并非寸步难行，而是开始寻找解决办法。他们决定搬到邻近的村庄，赶走原居民，并用他们房子里的木头继续建造村庄。

这个实验展示AI在创造能够终身学习和适应的自主代理方面具有巨大潜力。无论是在游戏、机器人还是网络安全领域，这种代理不断学习和进化的能力为创新和解决问题开辟了新的前景。

总结

AI Agent技术的崛起标志着人工智能领域的又一次飞跃，它不仅代表了技术层面的深刻变革，还预示着AI在社会经济各个层面应用的无限可能。智能体概念的拓展至AI Agent，特别是融入了机器学习和深度学习技术后，使得这些系统能够执行更加复杂且贴近人类智慧的任务，从自动代码生成、网络安全防护到开放世界的自主探索与决策制定。

展望未来，随着伦理、法律框架的逐步完善，以及对AI可解释性和透明度要求的提高，AI Agent将在确保安全可控的前提下，进一步融入并重塑我们的生活和工作方式。研究者、开发者和政策制定者需携手合作，平衡技术创新与社会伦理，引导AI Agent技术健康发展，共创一个人机和谐共进的智能时代。在这个时代里，AI Agent将成为人类的得力助手，共同面对和解决全球性挑战，开启一个充满无限可能的新纪元。

参考链接：

https://www.radware.com/blog/security/threat-intelligence/2024/06/beyond-chatgpt-how-ai-agents-are-shaping-the-future-of-cyber-defense-and-offense/

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！