首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大模型扩展新维度:Scaling Down、Scaling Out

    近年来, Scaling Up 指导下的 AI 基础模型取得了多项突破。...为了应对这些挑战,来自悉尼大学的研究团队提出了一种新的 AI Scaling 思路,不仅包括 Scaling Up(模型扩容),还引入了 Scaling Down(模型精简)和 Scaling Out(...Scaling Up: 模型扩容,持续扩展基础模型 Scaling Up 通过增加数据规模、模型参数和计算资源,使 AI 系统的能力得到了显著提升。...Scaling Out: 模型外扩,构建 AI 生态系统 在 Scaling Up 和 Scaling Down 之后,文章提出 Scaling Out 作为 AI Scaling 的最后一步,其通过将孤立的基础模型扩展为具备结构化接口的专业化变体...Scaling Up 提供基础知识,Scaling Down 提高适应性,Scaling Out 构建开放、去中心化的 AI 生态系统,该系统中的不同接口相互协同,共同应对复杂挑战。

    39510

    什么是Dennard scaling?

    Dennard Scaling(登纳德缩放定律)是1974年由Robert Dennard提出的,它与摩尔定律共同指导了集成电路行业多年。...Dennard Scaling的核心观点是,随着晶体管尺寸的缩小,其功率密度保持不变,从而使芯片的功率与芯片面积成正比。...Dennard Scaling预测,随着晶体管密度的增加,每个晶体管的能耗将降低,因此硅芯片上每平方毫米的能耗几乎保持恒定。...然而,自2005-2007年前后,Dennard Scaling定律似乎已经失效。集成电路中的晶体管数量仍在增加,但性能提升开始放缓。...因此,Dennard Scaling定律在深亚微米时代不再准确,需要新的技术如多核处理器、3D芯片技术、先进封装技术等来继续推动性能的提升。

    1.5K10

    Scaling时代终结了,Ilya Sutskever刚刚宣布

    机器之心报道 机器之心编辑部 「Scaling 时代已经终结。」 当这句话出自 Ilya Sutskever 之口时,整个 AI 社区都无法忽视。...AI 发展的阶段转变:从「扩展」到「研究」 扩展时代 (Age of Scaling, 2020-2025): 过去几年,「扩展 (Scaling)」是主旋律,只要堆算力和数据(主要是预训练)就能获得提升...扩展定律 (Scaling laws)、GPT-3,突然之间大家都意识到我们应该进行扩展。这是语言如何影响思想的一个例子。...「扩展 (Scaling)」只是一个词,但它是一个非常有力的词,因为它告诉人们该做什么。他们说,「让我们试着扩展东西。」所以你会问,我们在扩展什么?预训练是那个被扩展的东西。它是一个特定的扩展配方。

    36610
    领券