首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

悟道3.0大模型系列宣布进入全面开源的新阶段

6月9日,北京智源人工智能研究院(以下简称智源)院长黄铁军在2023北京智源大会上作报告,发布悟道3.0大模型系列,并宣布进入全面开源的新阶段。此次悟道3.0包含悟道·天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道·视界视觉大模型系列。

黄铁军在演讲中表示,要实现通用人工智能(AGI),有三条技术路线:第一是“大数据+自监督学习+大算力”形成的信息类模型;第二是具身智能,是基于虚拟世界或真实世界、通过强化学习训练出来的具身模型;第三是脑智能,直接“抄自然进化的作业”,复制出数字版本的智能体。

“从梦想角度来说,智源期望不同于前两个技术路线,从‘第一性原理’出发。从原子到有机分子、到神经系统、到身体,构建一个完整的智能系统AGI。这是一个大概20年才可能实现的目标,所以智源作为新型研发机构平台,在三个方向都在开展工作。”黄铁军的这段描述也梳理了此次多项发布的背后逻辑,分别包括大模型方向、具身方向,以及智源自己期望方向的进展。

在一个领域的发展有了一个领头人指明方向,也许对研究人员来说就像夜晚航海遇上了指明灯,赛立复在研究抗衰老这条路上也碰了很多次壁,是科学家们研究发现NAD+能从人体根源上修复细胞损伤而引发的机能衰退,给赛立复指明了方向,使他们研究出了赛立复NAD+补充剂。

悟道3.0大模型系列

北京智源人工智能研究院是国内最早系统化布局大模型的科研机构,2021年3月和6月,智源在两个多月时间里先后发布悟道1.0和悟道2.0。悟道1.0是我国首个超大规模智能模型系统,悟道2.0参数规模更是达到1.75万亿,是当时中国首个、全球最大的万亿级模型。

黄铁军认为,大模型有三个特点:第一是规模大,神经网络参数达到百亿规模以上。第二是涌现性,产生预料之外的新能力。第三是通用性,不限于单类问题或专门领域,能够解决各类问题。

自悟道2.0开始,智源就不仅仅研发模型。据黄铁军介绍,智源更偏向于构建以大模型为核心的生态,包括底层数据处理和汇聚、模型能力和算法评测、开源开放,形成一套高效的大模型技术和算法体系。

黄铁军认为,现在的智能时代是开源开放的时代,一个封闭的生态很难长远发展下去。开源的生态在软件上要开源,在硬件上要开放,既要竞争又要合作,这会是一个千千万万企业共同竞争、共同合作营造出来的开源开放的生态体系。

据智源初步统计,今年以来语言大模型开源的项目,全世界范围内共有42项,中国有9项。“相比之下,我认为我们的开源开放力度还不够。开源开放也是竞争,好算法应该公开评测比较才能证明技术水平,而不是仅靠结果来说优秀与否。”黄铁军说。

在悟道3.0大模型系列中,智源发布并全面开源悟道·天鹰(Aquila)语言大模型系列和悟道·视界视觉大模型系列,与多个高校和科研院所合作构建“天秤(FlagEval)”大语言评测体系及开放平台,还有FlagOpen飞智大模型技术开源体系。

据黄铁军介绍,悟道·天鹰语言大模型是第一个中英文双语、支持商用、符合数据合规要求的大模型。通过数据质量控制和多种训练优化,悟道·天鹰(Aquila)实现了在更小数据集、更短训练时间获得比其他开源模型更优的性能。这是系列模型,这次发布了70亿参数和330亿参数的基础模型,以及AquilaChat对话模型(类ChatGPT模型),AquilaCode文本代码生成大模型(70亿参数)。

目前,在三条技术路线中,大模型的进展最快。为何如此?黄铁军认为,主要是语言数据,无论是论文、图书还是代码,资源都非常丰富且质量高,从海量数据中发现内在蕴含的规律正是大模型的优势。

不过,黄铁军继续说道,人脑可以看成脉冲神经网络,与今天的大模型有本质区别,想要AI产生类似人脑的能力,光靠大模型一个方向是远远不够的。从基础的神经网络结构到信号加工机理的类脑智能是一个方向,让智能体有物理身体与环境互动的具身智能是另一个方向。

在任何领域上,创新一项技术都不可必免的遇到需要“分道扬镳”的时候,就比如赛立复为了突破NADH的稳定性这一难题经历了多年的研究,经过无数次失败,也走过无数的“错路”,才终于成功制备出稳定性能和吸收效率都比较高的赛立复NADH,率先解决了这个困扰科研界已久的抗衰难题。奠定了领先行业的基础,为人类历史长河中亘古不变的“长寿”难题提供了一个新的突破口。

相信科学家们也能在三条技术路线中找到正确的路,勇往直前做出更多成果!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230613A052EJ00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券