明敏 发自 凹非寺 量子位 | 公众号 QbitAI 从AI画画到NLP大模型，AIGC的落地成本被一次性打下来了！ 话不多说，直接看结果： Stable Diffusion 2.0训练/微调/推理，显存消耗最多可节省5.6倍，使硬件成本直降至1/46，一行代码即可启用； 1750亿参数大模型BLOOM单机推理，显存消耗节省4倍，硬件成本直降至十几分之一。 一行代码实现自动搜索最佳并行策略，显著降低分布式训练上手门槛，原生支持Hugging Face、Timm等热门AI模型库。 要知道，在AIGC爆火的另
来源：潞晨科技 本文约4000字，建议阅读8分钟Colossal-AI 快速跟进，首个开源低成本复现 ChatGPT 完整流程。 火爆全网的 ChatGPT，仿佛开启了第四次工业革命，让微软、谷歌等全球科技巨头打得昏天黑地，引得各路玩家纷纷入局，抢占赛道。 然而由于 OpenAI 没有开源 ChatGPT，如何有效复现 ChatGPT 已成为摆在大家面前的头号难题，急需可靠的开源共建方案。 Colossal-AI 快速跟进，首个开源低成本复现 ChatGPT 完整流程。作为当下最火热的开源 AI 大模型解决
开源地址：https://github.com/hpcaitech/ColossalAI
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 首个开源的ChatGPT低成本复现流程来了！ 预训练、奖励模型训练、强化学习训练，一次性打通。 最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。 相比原生PyTorch，单机训练速度最高可提升7.73倍，单卡推理速度提升1.42倍，仅需一行代码即可调用。 对于微调任务，可最多提升单卡的微调模型容量3.7倍，同时保持高速运行，同样仅需一行代码。 要知道，ChatGPT火是真的火，复现也是真的难。 毕
近日，火爆全网的 ChatGPT，仿佛开启了第四次工业革命，将微软、谷歌等全球科技巨头打得昏天黑地，引得各路玩家纷纷入局，抢占赛道。
机器之心发布 机器之心编辑部 最近，AI 大模型连续火爆出圈，人工智能生成模型（AIGC）的热度尚未褪去，聊天机器人 ChatGPT 便引发全网热议，两周吸引百万用户。还有卷趴一半程序员的 AlphaCode，生成全新蛋白质的 ESM2 等，不断探索 AI 大模型落地的新领域。面对大模型带来的技术革命，连谷歌都拉响 “红色警报”，担心 ChatGPT 砸掉自己搜索引擎的饭碗。 作为当下最火热的开源 AI 大模型解决方案，Colossal-AI 已收获 Github Star 七千多颗，此前在 Stable
最近，AI 大模型连续火爆出圈，人工智能生成模型（AIGC）的热度尚未褪去，聊天机器人 ChatGPT 便引发全网热议，两周吸引百万用户。还有卷趴一半程序员的 AlphaCode，生成全新蛋白质的 ESM2 等，不断探索 AI 大模型落地的新领域。
机器之心报道 作者：机器之心编辑部 大模型已成为 AI 圈的一种潮流，不仅横扫各大性能榜单，更产生了诸多有趣应用。 例如，微软和 OpenAI 开发的自动代码建议补全神器 Copilot，化身程序员最佳助手，提升工作效率。 OpenAI 刚刚发布能以假乱真的文本生成图像模型 DALL-E 2，Google 便紧接着发布了 Imagen，在大模型上，大公司也是相当的卷，丝毫不比 CV 刷榜差。 文本到图像生成样例“一个被猫绊倒的希腊人雕像”（左侧两列为 Imagen，右侧两列为 DALL·E 2） 模型增
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token的流式输入，22.2 倍的推理速度提升。
机器之心发布 机器之心编辑部 火爆全网的 ChatGPT，仿佛开启了第四次工业革命，让微软、谷歌等全球科技巨头打得昏天黑地，引得各路玩家纷纷入局，抢占赛道。 然而由于 OpenAI 没有开源 ChatGPT，如何有效复现 ChatGPT 已成为摆在大家面前的头号难题，急需可靠的开源共建方案。 Colossal-AI 快速跟进，首个开源低成本复现 ChatGPT 完整流程。作为当下最火热的开源 AI 大模型解决方案，Colossal-AI 已收获开源社区 GitHub Star 近万颗，此次开源亮点包括： 开
大规模并行AI训练系统Colossal-AI，旨在作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。
以下为尤洋在 WAIC 2023 AI 开发者论坛上的演讲内容，机器之心进行了不改变原意的编辑、整理：
ChatGPT 引发的大模型热潮愈演愈烈，全球科技巨头和明星初创争相入局，打造以 AI 大模型为核心的竞争力和多样化商业使用需求。其中 LLaMA 系列模型，因良好的基础能力和开放生态，已积累了海量的用户和实际应用案例，成为无数开源模型后来者的模仿和竞争的标杆对象。
分享一个大牛同学公司的的 AI System 项目 Colossal-AI：A Unified Deep Learning System for Large-Scale Parallel Training[2]。
提到训练 AI 大模型，总能让人想起动辄几百上千块 GPU、天价训练费用、只有几家大厂才玩得起，普通 AI 玩家看着铺天盖地的大模型新闻只能默默流泪～
「百模大战」 正风起云涌，AIGC 相关企业融资和并购金额也屡创新高，全球科技企业争相入局。然而，AI 大模型风光无限的背后是成本极其高昂，单次预训练成本或高达上千万元。基于 LLaMA 等现有开源大模型的微调，也难以满足企业打造核心竞争力和多样化商业使用等需求。因此，如何低成本量身打造预训练基础大模型，已成为 AI 大模型浪潮的关键瓶颈。
鱼羊 明敏 发自 凹非寺 量子位 | 公众号 QbitAI 当今AI之势，影响纵深发展的矛盾是什么？ 一方面，大模型风头正劲，效果惊艳，人人都想试试。但另一方面，硬件基础上动不动就是上万张GPU的大规模集群在日夜燃烧，钞能力劝退。 所以如果告诉你，现在只用一半数量的GPU，也能完成同样的GPT-3训练呢？ 你会觉得关键钥匙是什么？ 不卖关子了。实现如此提升的，是一个名为Colossal-AI的GitHub开源项目。 而且该项目开源不久，就迅速登上了Python方向的热榜世界第一。 ↑GitHub地址：h
机器之心报道 机器之心编辑部 相比现有方案，Colossal-AI 团队联合百图生科的这项研究，推理速度最高提升约 11 倍！ 近日，Colossal-AI 团队( https://github.com/hpcaitech/ColossalAI )联合百图生科成功加速蛋白质单体与复合物的结构预测，行业内最前沿的同时支持蛋白质单体（Monomer）与复合物（Multimer）结构预测的 xTrimo Multimer 模型已免费开源，相比现有方案，推理速度最高提升约 11 倍！ 本次解决方案背后优化加速技术
如何更好、更快和更便宜地实现训练、微调 AIGC 模型，已成为 AIGC 商业化和应用爆发的最大痛点。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 想体验千亿参数大模型的门槛，真是越来越低了！ 想让大模型回答问题？ 只需在网页端输入问题，运行二三十秒，答案就噌噌生成了。 用的正是今年由Meta开源的Open Pretrained Transformer（OPT），参数量达1750亿。 如果是传统在本地运行，对算力可是个大考验。 这就是由开源项目Colossal-AI支持的云端demo，无需注册即可上手体验，对硬件完全没门槛，普通笔记本电脑甚至手机就能搞定。 也就是说，完全不用懂代码的小白，现在也能
LLaMA-2 相较于 LLaMA-1，引入了更多且高质量的语料，实现了显著的性能提升，全面允许商用，进一步激发了开源社区的繁荣，拓展了大型模型的应用想象空间。然而，从头预训练大模型的成本相当高，被戏称 「5000 万美元才能入局」，这使得许多企业和开发者望而却步。那么，如何以更低的成本构建自己的大型模型呢？
明敏 整理自 MEET2023 量子位 | 公众号 QbitAI AI模型急速增大与硬件算力缓慢增长的矛盾，已愈加尖锐。 尤其在AI落地进入深水区的背景下，如何降本增效成为了行业热点议题。 但具体到实际动作，该怎么做？ 在MEET 2023智能未来大会现场，潞晨科技创始人、新加坡国立大学校长青年教授尤洋指明了一个方向： 未来，我们迫切需要一个可扩展性的高效计算基础设施。 而且，潞晨科技已经用实际行动给出论证，它们推出的Colossal-AI系统，在过去一年里迅速成长为开源加速方案中的明星项目，GitHub上
大规模并行AI训练系统Colossal-AI，旨在作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。 开源地址：https://github.com/hpcaitech/ColossalAI Colossal-AI一经开源便受到广泛关注，连续多日登顶GitHub热榜Python方向世界第一，与众多已有数万star的明星开源项目一起受到海内外关注！ 经过开发者们的不断努力，Colossal-AI在数月的密集测试后迎来正式版！此版本由300多次commits组成。 本次正
要知道，从头预训练大模型此前被戏称“要5000万美元才能入局”，让许多开发者和中小企业都望而却步。
当昨日我们还在讨论从大厂以及个人创业的角度来看，复制一家 OpenAI 和一款强大的 ChatGPT 可行性究竟有几成之际，苦于 OpenAI 并未将 ChatGPT 开源出来，所以这趟水究竟有多深，众人并不知。
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao等人推出的StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共400万个token的流式输入，22.2倍的推理速度提升。
可提供开箱即用的8到512卡LLaMA2训练、微调、推理方案，并提供一站式云平台解决方案。
ChatGPT引发的大模型热潮愈演愈烈，全球科技巨头和明星初创争相入局，打造以AI大模型为核心的竞争力和多样化商业使用需求。
机器之心发布 机器之心编辑部 零代码体验AI大模型，打开网页就能玩。 提起大模型，除了各种惊艳的性能表现，还伴随着高昂的硬件要求和运行成本，将绝大多数 AI社区成员都拒之门外。 得益于开源社区的蓬勃发展，现在情况大有不同： 无需注册，就可以免费白嫖 1750 亿参数的 OPT 模型！ 还不快打开下方链接，自己上手在线体验一下？ 云服务体验地址：https://service.colossalai.org/ 快速体验 基于 1750 亿参数 OPT 大模型，该网站支持多种文本生成任务，包括事实问答、聊天机
StreamingLLM可以在不牺牲生成效果、推理速度的前提下，实现多轮对话共400万个token，22.2倍推理速度提升。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 不得不说，为了让更多人能用上大模型，技术圈真是各出奇招！ 模型不够开放？有人自己上手搞免费开源版。 比如最近风靡全网的DALL·E Mini，Meta开放的OPT-175B（Open Pretrained Transformer）。 都是通过复刻的方式，让原本不够open的大模型，变成人人可用。 还有人觉得模型太大，个人玩家很难承受起天价成本。 所以提出异构内存、并行计算等方法，让大模型训练加速又降本。 比如开源项目Colossal-AI，前不久刚实现
「百模大战」正风起云涌，AIGC相关企业融资和并购金额也屡创新高，全球科技企业争相入局。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 什么？单块GPU也能训练大模型了？ 还是20系就能拿下的那种？？？ 没开玩笑，事实已经摆在眼前： RTX 2060 6GB普通游戏本能训练15亿参数模型； RTX 3090 24GB主机直接单挑180亿参数大模型； Tesla V100 32GB连240亿参数都能拿下。 相比于PyTorch和业界主流的DeepSpeed方法，提升参数容量能达到10多倍。 而且这种方法完全开源，只需要几行代码就能搞定，修改量也非常少。 这波操作真是直接腰斩大模型训
从头开始预训练计算机视觉领域最热门的 AI 模型 Vision Transformer (ViT) 需要多长时间？Colossal-AI系统最新给出的答案是半小时！
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 这边ChatGPT、GPT-4等AI大模型和应用打得火热； 另一边“平替”开源复现方案也加紧更新迭代。 这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！ 现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。 中文对话效果如下： 这就是ColossalChat。 由Colossal-AI推出。一个月前，Colossal-AI乘着ChatGPT热潮火速开源了低成本复现流程。
深度学习模型已经彻底改变了对 AI 的看法。其中一种类型是“转换器模型”，它采用一种注意力机制来区分输入数据的每个部分，并增加对那些被认为最重要的部分的权重——它主要用于 NLP 和计算机视觉 CV (1)。
22分钟推理出长达4K+的超长蛋白质序列，1分15秒搞定将近2K长的序列预测。 这是国产开源项目的最新战绩！ 最近，由Colossal-AI团队(https://github.com/hpcaitech/ColossalAI)联合百图生科的蛋白质预测模型xTrimo Multimer，正式免费开源。 它在支持蛋白质单体（Monomer）和复合物（Multimer）的同时，还能大幅提升蛋白质预测速度。 面对2K到3K序列长度的预测任务，使用多卡推理，最高速度可达AlphaFold 2的11.15倍。 还能挑
作为一家创业公司，潞晨科技这个名字可能还不被大家所熟知，但是其创始人尤洋却凭借“ACM SIGHPC杰出博士论文奖、NUS校长青年教授、亚洲福布斯30岁以下精英榜”等多个头衔，被业界熟知。
深度推荐模型（DLRMs）已经成为深度学习在互联网公司应用的最重要技术场景，如视频推荐、购物搜索、广告推送等流量变现业务，极大改善了用户体验和业务商业价值。但海量的用户和业务数据，频繁地迭代更新需求，以及高昂的训练成本，都对 DLRM 训练提出了严峻挑战。
深度推荐模型（DLRMs）已经成为深度学习在互联网公司应用的最重要技术场景，如各平台的视频推荐、购物搜索、广告推送等流量变现业务，极大改善了用户体验和业务商业价值。但海量的用户和业务数据，频繁地迭代更新需求，以及高昂的训练成本，都对 DLRM 训练提出了严峻挑战。
深度推荐模型（DLRMs）已经成为深度学习在互联网公司应用的最重要技术场景，如视频推荐、购物搜索、广告推送等流量变现业务，极大改善了用户体验和业务商业价值。
2023 年 8 月 14 日，由 GAIR 研究院、雷峰网、世界科技出版社、科特勒咨询集团联合主办的第七届 GAIR 全球人工智能与机器人大会在新加坡乌节大酒店拉开帷幕。
在过去的短短几个月，以 ChatGPT、GPT4 为代表的 AI 应用和大模型火爆全球，被视为开启了新的科技工业革命和 AGI （通用人工智能）的新起点。
机器之心发布 机器之心编辑部 以 ChatGPT、GPT4 为代表的 AI 应用和大模型火爆全球，被视为开启了新的科技工业革命和 AGI （通用人工智能）的新起点。不仅科技巨头间你追我赶，争相推出新品，许多学术界、工业界的 AI 大佬也纷纷投入投身相关创业浪潮。生成式 AI 正以 “天” 为单位，快速迭代，持续狂飙！ 然而，OpenAI 并未将其开源，它们背后的技术细节有哪些？如何快速跟进、追赶并参与到此轮技术浪潮中？如何降低 AI 大模型构建和应用的高昂成本？如何保护核心数据与知识产权不会因使用第三方大模
Meta官方统计显示，模型下载量已突破120万次，在最大开源平台HF上已经有600+微调的Llama 3变体。
自Sora发布以来，由于效果惊艳但技术细节寥寥，揭秘、复现Sora成为了开发社区最热议话题之一。比如Colossal-AI团队推出成本直降46%的Sora训练推理复现流程。
在前沿AI大模型规模呈指数级增长的趋势下，仅凭单卡已经很难满足当下的推理需求。 就拿拥有1750亿参数的GPT-3来说。 仅仅是加载模型参数就需要数百GB的存储空间，远超单个GPU的容纳能力。 因此，多卡并行被视为AI大模型推理的必然选择。 但现有的推理系统仍旧存在不少弊端。 比如需要用户对通信、内存等各部分协作进行手动管理，需要额外编译等……导致用户使用门槛居高不下。 为此，大规模并行AI训练系统Colossal-AI团队提出了大模型推理系统Energon-AI。 以“高性能、高可用、可伸缩”的理念，深
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」，涵盖了整个训练流程，包括数据处理、所有训练细节和模型权重，携手全球 AI 热爱者共同推进视频创作的新纪元。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
