Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >太牛了!RU | 提出大模型Agent操作系统:AIOS,支持多Agent并行,稳定可靠!

太牛了!RU | 提出大模型Agent操作系统:AIOS,支持多Agent并行,稳定可靠!

作者头像
ShuYini
发布于 2024-03-29 06:22:38
发布于 2024-03-29 06:22:38
1.2K0
举报

引言

随着LLMs在自主Agent领域的应用日益增多,如何高效管理和调度这些Agent成为一项重要挑战。为此,「本文创新性的提出一个基于大模型的操作系统架构:AIOS」,该架构将LLM作为操作系统的“大脑”,优化Agent请求的调度,支持上下文切换,实现并发执行,并提供工具服务和访问控制,结果表明了AIOS在多Agent并行执行时的可靠性,展示了其在改善资源利用和提升Agent性能方面的潜力。

https://arxiv.org/pdf/2403.16971.pdf

背景介绍

对于自主Agent的研究,其终极目标是开发无需人为干预即可独立执行任务的系统,并且在指令理解、信息处理、决策判断等方面都能实现自主状态。大语言模型(LLM)的出现为自主Agent的开发带来了新的可能性。目前的LLMs在理解指令、知识检索、推理问答、人机交互等方面表现出了强大的能力。基于这些强大的LLM,新兴的LLM Agent将能够在多样化的环境中展示惊人的任务执行能力。

上图展示了LLMs Agent在旅行规划上应用案例。首先旅行Agent会根据用户请求,将旅行规划分解为多个可执行的任务;然后,它会根据用户的偏好按顺序执行预订航班、预订酒店、处理付款和更新日历的步骤。在计划执行过程中,Agent展现出了较强的推理决策能力。为了实现这种旅行助理场景,Agent需要将LLMs服务和传统操作系统服务整合到一块。

随着Agent数量和复杂性的急速增长,这对LLMs和操作系统的功能提出了更多的要求。例如,在有限的LLMs服务资源中,Agent需要优先调用LLMs服务就存在一定的挑战。此外,当LLMs面对长篇上下文时,生成速度会变慢,耗时增长,有时会导致生成被调度程序暂停。这就产生了一个机制问题,「即如何快照LLM当前生成结果」,从而即使LLM尚未完成当前请求的响应生成,也不会影响正常流程进行。

此外,一旦Agent获得了可用工具API的列表,确定调用这些工具的最优顺序就构成了另一个挑战,因为「多个Agent可能需要调用相同的工具」。此外,多个Agent的并发操作需要一个强大的内存管理系统,同时还要做好隐私、访问严格控制。

为了解决上述挑战,文章提出了AIOS,这是一个LLM Agent操作系统,将大语言模型嵌入到操作系统中,作为操作系统的“大脑”,使其成为一个“有灵魂”的操作系统——这是迈向人工通用智能(AGI)的重要一步。具体来说,「AIOS旨在优化资源分配,促进Agent之间的上下文切换,实现Agent的并发执行,为Agent提供工具服务,并维护Agent的访问控制」

操作系统与大模型Agent

「操作系统的发展」 包括了从批处理到多任务处理的转变,以及图形用户界面(GUI)的出现,这些都极大地提高了操作系统的交互性和易用性。同时,操作系统生态系统的发展为软件开发提供了丰富的工具和资源,促进了应用程序的高效开发和部署。如今,我们正处于一个变革阶段,即将看到智能操作系统。通过整合大语言模型(LLMs),这些先进的系统有望进一步缩小人机之间的交流差距,开启一个新的用户-计算机交互时代。

「大模型Agent」 关于LLM自主Agent的研究,这些Agent能够根据自然语言指令执行复杂任务。研究分为单Agent系统和多Agent系统两大类:

  • 「单Agent系统」:这些系统使用单个LLM Agent来完成如旅行规划、个性化推荐等任务。Agent能够分解任务并调用外部工具或与环境交互来完成任务。
  • 「多Agent系统」:利用多个Agent之间的交互来解决问题。多个Agent之间的关系可能是合作的、竞争的,或者是合作与竞争的混合。在合作型多Agent系统中,每个Agent获取并评估其他Agent提供的信息,从而共同解决复杂任务,如角色扮演、社会模拟和软件开发。

AIOS架构

如下图所示,「AIOS 架构共分为三个不同的层:应用程序层、内核层和硬件层」。这种分层架构确保了整个系统的职责划分清晰,促进了接口或者特定模块的交互,从而增强模块化并简化不同层之间的系统交互。

「应用层 (Application Layer)」 主要用来开发和部署Agent应用程序,如旅行Agent或数学Agent。AIOS在这一层提供了AIOS软件开发工具包(SDK),它提供了更高级别的系统调用抽象,简化了Agent开发者的开发过程,使开发者能够专注于Agent的核心逻辑和功能,从而提高开发效率。

「内核层 (Kernel Layer)」 该层主要由两个组件组成:OS内核和LLM内核。其中,这两个内核分别服务于非LLM操作和LLM特定操作的独特需求。

  • 「OS内核」:处理传统的操作系统功能,如进程调度、内存管理和文件系统管理。
  • 「LLM内核」:专注于LLM特定任务,如上下文管理和Agent调度。LLM内核配备了几个关键模块,包括LLM系统调用接口、Agent调度器、上下文管理器、内存管理器、存储管理器、工具管理器和访问管理器。这些组件旨在解决Agent应用程序的多样化执行需求,确保在AIOS框架内进行高效的管理和执行。

「硬件层 (Hardware Layer)」 该层包括系统的物理组件,如CPU、GPU、内存、磁盘和外围设备。LLM内核的系统调用不能直接与硬件交互,而是通过OS的系统调用来管理硬件资源。这种间接交互确保了抽象层和安全性,允许LLM内核利用硬件能力而无需要直接管理硬件,从而保持了系统的完整性和效率。

AIOS实现

关于AIOS的实现,作者首先概述了 LLM 内核中每个模块的基本设计和实现;然后介绍了 LLM 系统调用,其中包含每个模块的基本功能;最后讨论了AIOS SDK的探索,旨在方便Agent开发者的开发过程。

AIOS架构中的6个主要模块:

  • 「Agent调度器 (Agent Scheduler)」 优化LLM资源的使用,通过FIFO、RR等调度算法来优先处理和调度Agent请求。如下图所示:
  • 「上下文管理器 (Context Manager)」 支持LLM的上下文快照和恢复,以及管理LLM的上下文窗口。如下图所示:
  • 「内存管理器 (Memory Manager)」 为每个Agent的交互日志提供短期内存,并确保数据仅在Agent活跃时存储和可访问。如下图所示:
  • 「存储管理器 (Storage Manager)」 负责长期存储数据,通过本地文件、数据库或云解决方案来确保数据的完整性和可用性。
  • 「工具管理器 (Tool Manager)」 管理一系列API工具,这些工具增强了LLM的功能,涵盖了网络搜索、科学计算、数据库检索、图像处理等多个类别。
  • 「访问管理器 (Access Manager)」 通过为每个Agent管理专门的权限组来协调不同Agent之间的访问控制操作。

「LLM系统调用」 LLM内核内的LLM系统调用接口被设计为提供基本的LLM调用操作功能。这个接口作为复杂Agent请求和不同内核模块执行之间的桥梁。LLM系统调用提供了一系列基本功能,涵盖内核模块的各个方面,包括Agent管理、上下文处理、内存和存储操作以及访问控制。

「AIOS SDK」 为开发者提供了一个多功能工具包,用于在AIOS内开发复杂的Agent应用程序。SDK包括从初始化Agent和Agent生命周期管理到资源监控和Agent任务生成计划等一系列功能。

实验结果

「一致性分析」 使用BLEU分数和BERT分数作为评估指标来评估多个Agent并行运行与单个Agent依次运行时输出的一致性。结果显示,BLEU和BERT分数都达到了1.0,表明多Agent和单Agent配置下生成的输出之间完全对齐,证实了设计在有效促进并行多Agent操作方面的一致性。

「性能分析」 作者进行了AIOS使用FIFO调度和非调度方法(即顺序执行)的比较分析。结果表明,非调度方法对序列早期的Agent表现良好,但牺牲了序列后期Agent的等待时间和周转时间。相反,AIOS的调度机制有效地调节了等待时间和周转时间,特别是对于后续Agent的请求,当LLM较大时,这种优势尤为明显。这表明调度对于适应多个Agent的并行操作非常重要。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-03-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AINLPer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
重塑记忆架构:LLM正在安装「操作系统」
众所周知,现代大型语言模型(LLM)的上下文窗口普遍有限 —— 大多数模型只能处理数千到数万 token,比如早期的 GPT-3 仅有~2,048 token。虽然近期有些模型已经拓展到了百万级甚至千万级 token 窗口(如 Meta 的 Llama 4 Scout 宣称可达 1,000 万 token)。
机器之心
2025/07/17
770
重塑记忆架构:LLM正在安装「操作系统」
理解什么是AI Agent,看懂这篇就够了
AI Agent越来越为人们熟知,我们熟悉的那种对话式大模型,正在慢慢淡出视野。但这些Agent所包含的复杂功能,往往需要许多组件模块协同工作。
AIGC新知
2025/03/21
1.3K0
理解什么是AI Agent,看懂这篇就够了
读懂 MCP 协议:AI Agent 开发者的必备通信语言
➡️【好看的灵魂千篇一律,有趣的鲲志一百六七!】- 欢迎认识我~~ 作者:鲲志说 (公众号、B站同名,视频号:鲲志说996) 科技博主:极星会 星辉大使 全栈研发:java、go、python、ts,前电商、现web3 主理人:COC杭州开发者社区主理人 、周周黑客松杭州主理人、 博客专家:阿里云专家博主;CSDN博客专家、后端领域新星创作者、内容合伙人 AI爱好者:AI电影共创社杭州核心成员、杭州AI工坊共创人、阿里蚂蚁校友会技术AI分会副秘书长
鲲志说
2025/06/29
7040
读懂 MCP 协议:AI Agent 开发者的必备通信语言
从零到手搓一个Agent:AI Agents新手入门精通(一)
这一天,你的女朋友问你(假设我们有女朋友),宝宝,什么是Agent啊,Agent和LLM有什么区别呀,最近大家都在说的Agent究竟是什么,包括很多文章都在写的Agent,还有之前谷歌发布的Agents白皮书究竟是什么,对我们有什么帮助,对我们有什么影响呢?现在,编者专门做了一个系列,从最简单的讲起,解开这个迷雾,这个系列的教程,会帮助你了解基本概念,并且能够手搓一系列的agent
一个正经的AI
2025/01/16
8.9K0
从零到手搓一个Agent:AI Agents新手入门精通(一)
【译】Linux概念架构的理解摘要一、Linux内核在整个计算机系统中的位置二、内核的作用三、Linux内核的整体架构四、高度模块化设计的系统,利于分工合作。五、系统中的数据结构六、子系统架构七、结论
声明:本文翻译自Conceptual Architecture of the Linux Kernel
阿杜
2018/08/06
1.2K0
【译】Linux概念架构的理解摘要一、Linux内核在整个计算机系统中的位置二、内核的作用三、Linux内核的整体架构四、高度模块化设计的系统,利于分工合作。五、系统中的数据结构六、子系统架构七、结论
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
在计算机系统的底层架构中,操作系统肩负着资源管理与任务调度的重任。当我们启动各类应用程序时,其背后复杂的运作机制便悄然展开。程序,作为静态的指令集合,如何在系统中实现动态执行?
换一颗红豆
2025/02/20
1860
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
大模型应用发展的方向|代理 Agent 的兴起及其未来(上)
“ 介绍了人工智能代理的历史渊源与演进,接着探讨了大型语言模型(LLMs)的发展,以及它们在知识获取、指令理解、泛化、规划和推理等方面所展现出的强大潜力。在此基础上,提出了一个以大型语言模型为核心的智能代理概念框架,该框架包括大脑、感知和行动这三个主要组成部分。”
技术人生黄勇
2024/07/19
7140
大模型应用发展的方向|代理 Agent 的兴起及其未来(上)
【操作系统】00——当你学习OS之前需要了解的
为了使得操作系统达到这些目标,就需要我们从本质原理来理解:WHAT IS OPERATING SYSTEM?以及HOW IT WORKS?
Skrrapper
2025/02/27
1670
【操作系统】00——当你学习OS之前需要了解的
操作系统内核之争
1、内核分类 内核(Kernel)在计算机科学中是操作系统最基本的部分,主要负责管理系统资源。 中文版维基百科上将内核分为四大类: 单内核(宏内核); 微内核; 混合内核; 外内核。 宏内核 宏内核(Monolithic kernel),是个很大的进程。它的内部又能够被分为若干模块(或是层次或其他)。但是在运行的时候,它是个单独的二进制大映象。其模块间的通讯是通过直接调用其他模块中的函数实现的,而不是消息传递。  宏内核结构在硬件之上定义了一个高阶的抽象界面,应用一组原语(或者叫系统调用)来实现操作系统的
大数据和云计算技术
2018/03/08
3K0
操作系统内核之争
操作系统理论|操作系统概论【冲春招】
POSIX 是为了让应用可以同时在不同 UNIX 操作系统上运行而制定的一套标准的操作系统 API。
syy
2021/03/03
7590
操作系统理论|操作系统概论【冲春招】
彻底爆了!一文吃透AIGC、Agent、MCP的概念和关系
近年来,人工智能领域涌现出许多新概念和新技术,其中AIGC、MCP和Agent成为了业界和学术界的热门话题。本文将深入浅出地介绍这三个概念,帮助读者全面理解它们的内涵、区别与联系,以及在实际应用中的价值。
腾讯云开发者
2025/07/12
3060
彻底爆了!一文吃透AIGC、Agent、MCP的概念和关系
[操作系统] 深入理解操作系统的概念及定位
如图所示,操作系统与硬件直接交互,管理所有软硬件资源。它可以屏蔽底层硬件的复杂性,为应用程序提供统一的接口。例如:
DevKevin
2025/01/17
2350
[操作系统] 深入理解操作系统的概念及定位
【Linux系统编程】——Linux操作系统的魔法桥梁:从命令行到内核的奇遇记
Linux 是一种开源的类 UNIX 操作系统。它的内核(kernel)是由 Linus Torvalds 在 1991 年首次发布。内核是操作系统的核心部分,负责管理系统的硬件资源,如 CPU、内存、磁盘 I/O 等。例如,当一个程序需要访问内存时,内核会决定是否允许该程序访问,并分配相应的内存空间。
用户11286421
2025/01/17
2000
【Linux系统编程】——Linux操作系统的魔法桥梁:从命令行到内核的奇遇记
硬件服务器,到底是安装Linux操作系统好?还是Windows操作系统好?
作为网络工程师,但凡你进过机房,肯定见过硬件服务器,现在可能很多工程师没有见过实质的硬件服务器,因为云服务器的兴起,好多人都没有机会见过“幕后”的硬件服务器,但是你要知道,不管是阿里云、腾讯云、华为云,还是国外的谷歌云、亚马逊云等等,所有的云服务器,以及政府、军工、大型企业自建的数据中心,其背后都是硬件服务器在支撑着。
网络技术联盟站
2023/10/06
3.5K0
硬件服务器,到底是安装Linux操作系统好?还是Windows操作系统好?
o3 deep research: LLM 驱动的 Agent 综述
大型语言模型(LLM)的崛起在过去几年引发了人工智能领域的飞跃式发展。尤其是 2022 年底 OpenAI 推出的 ChatGPT,短短两个月内月活用户就突破一亿,成为史上用户增长最快的消费者应用 (ChatGPT sets record for fastest-growing user base - analyst note | Reuters)。ChatGPT 所展现的强大自然语言对话和内容生成能力,如一场“核爆”引发全球对于通用人工智能的极大关注,各行各业开始思考如何将这类大模型应用到实际业务中。紧随其后,OpenAI 发布了更先进的 GPT-4 模型,能够理解更复杂的指令,并支持图像等多模态输入。这场由 ChatGPT 引领的LLM浪潮,不仅催生了大量类似产品和开源模型,也让“ AI 更自主地完成复杂任务”成为下一个技术探索热点。在这种背景下,由 LLM 驱动的 Agent(智能代理)概念逐渐兴起,成为 AI 技术爱好者和产业从业者共同关注的前沿方向。
立委
2025/03/08
4310
AI Agents: 如何构建数字员工
AI Agents是构建智能系统的一种新方式。利用LLMs ,将自动化流程和知识融入到工具中,这些工具不仅仅遵循命令,还可以推理、做出决策、采取行动,甚至随着时间的推移进行学习。
AIGC新知
2024/12/25
4830
AI Agents: 如何构建数字员工
操作系统学习笔记-操作系统概述
操作系统是一组控制应用程序执行的程序,并充当应用程序和计算机硬件之间的接口。(A group of program that controls the execution of application programs. Acts as an interface between applications and hardware)
花猪
2022/02/16
3.2K0
操作系统学习笔记-操作系统概述
一文详尽之LLM-Based Agent
知乎链接:https://zhuanlan.zhihu.com/p/13905150871
Datawhale
2025/02/05
1.2K0
一文详尽之LLM-Based Agent
如何在Agent中设置Memory
LLM代理可以被定义为能够对环境采取行动的大型语言模型。代理的主要组成部分包括:记忆、规划、提示、知识和工具。大型语言模型可以被视为这个架构的大脑,而其他所有组件则是代理正常工作的基础模块。
致Great
2025/04/14
5190
如何在Agent中设置Memory
当AI创业公司遇困境,能借“Agent化”找到新出路吗?
编者按:以变革应对变局,以远见超越未见。适道、大象新闻、大象财富联合腾讯新闻、腾讯科技,推出2024年终策划《变局之下》,回望2024、展望2025,让洞见穿越时间,向未来寻求确定。
小腾资讯君
2025/01/10
5630
推荐阅读
相关推荐
重塑记忆架构:LLM正在安装「操作系统」
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档