GPT-3的威力，算法平台的阴谋

1

GPT-3的惊人威力

大概一个月之前，史上最巨无霸NLP模型GPT-3问世。

当时它向世界展示的能力是，“不仅会写短文，而且写出来的作文挺逼真的，几乎可以骗过人类，可以说几乎通过了图灵测试。”

可能是因为它的前一代模型GPT-2也因“擅长写作”成名，所以这个和GPT-2几乎完全同构的“哥哥”，并没有让媒体以及领域相关的算法工程师们特别惊讶。

堆叠参数量并增加训练样本，可以让模型在同一个任务上表现的更好，这个结论已经深入人心。

然而一周之前，一些网友用GPT-3模型开发了各种各样的应用，证明了GPT-3不仅能够答题、写文章，做翻译，还能生成代码、做数学推理、数据分析、画图表制作简历，甚至玩游戏都可以，而且效果出奇的好。

从算法效果上看，大力出奇迹，真是越来越香。

2

“饥渴”的模型，“枯竭”的算力

从参数量上看，GPT-3拥有前所未有的规模，达到1750亿个。而且，其训练数据集规模也超过500GB。训练如此一个巨型怪物，必然是相当吃算力。

算力消耗到什么程度？按照量子位给出的数据，训练一个GPT-3模型需要“355个GPU年”（一块GPU运行355年的运算量），光是训练费用就高达460万美元。

显然，一块GPU是不够的。只有使用分布式多机多卡，才能在有效的时间内完成GPT-3的训练。显然，这种训练模式花费只会更高。此前，微软花钱攒了一个包含10000个Nvidia V100 GPU的分布式集群，专门供openai做模型训练。

虽然无法得知训练GPT-3到底使用了多少资源，采用了何种分布式模式，但可以肯定的是，它是个吞金兽。

回到模型结构上，自从2017年Google开源了Transformer之后，基于Attention的Transformer block几乎一统NLP江湖，甚至在图像，Graph等领域上都有所侵入。

因为Transformer block在并行计算方面存在较大的潜力，使得NLP领域的模型创新基本完成了收敛，开始走上了简单粗暴的“堆层”道路。

无论Attention head多大，Transformer block多深，只要你能把模型堆起来，就一定有十分优雅的办法做并行化。在这里，并行化不仅仅是简单的数据并行，也包含各种各样的模型并行策略。

虽然每次冠以新名字的Transformer模型出现时，总是伴随着一些建模的trick（比如预训练Bert时，对数据的随机mask策略），或者模型层面的微调（比如Bert使用Encoder结构堆叠层数，而GPT-2更偏爱Decoder），但这些都不十分重要，因为它还是Transformer，只是层数变多了，参数量多了。

所以，让我们做一个Transformer家族中具有代表性的模型粗略梳理，并把关注度放到模型的参数量增长上。

从2018年BERT-Large的3.4亿模型参数量，到2020年中GPT-3的1750亿参数量，短短两年多的时间里，实现了模型参数近515倍的增长，这是从2012年Deep Learning在业界爆发火热之后，从来没有出现过的。

创造巨大的模型，以更多的算力换取收敛效果，似乎正在成为不可逆转的趋势。

3

算法平台的阴谋

大模型的参数量，是否存在冗余？显然是的。

还记得ALBERT吗？它是在BERT-Large之后出现的模型。在模型参数量上，它比BERT-Large小18倍，但却能达到和BERT-Large相当的效果。

因为BERT-Large对于当时的广大工业界的硬件基础设施来说过于奢侈，才催生了小版本模型ALBERT。在经济成本上，无论是离线训练，还是线上部署，ALBERT确实更加接地气。

小版本模型的出现，也从侧面说明BERT-Large这样的模型，从参数量上确实存在大量的冗余。或者从另一方面解读，如果模型压缩算法足够好，一个巨无霸模型完全可以“无损瘦身”。

而BERT-Large唯一的好处，就是在模型设计上足够“简单粗暴”，能够减轻算法工程师调参压力。以强大的算力换取模型效果，确实是一条路。

可是自从微软release GPT-2之后，巨无霸模型的瘦身版本似乎没有再出现过。

以此为界，Transformer家族模型的创新，则完完全全变成了Google和微软两家公司的对台戏。

微软提出GPT-2之后，Google马上做了T5-11B模型。现在微软的openai又propose了GPT-3。期间，NVIDIA也凑了热闹，提出了参数量达到8B的Megatron。

回过头看，ALBert是Google和丰田联合研发的结果，可是为什么后来不继续做了？GPT-2以及之后的模型难道没有压缩的可能？显然不是。其实对AI巨头来说，对关键模型做瘦身，属于“政治”不正确。

吹捧超大模型，背后是算法平台的阴谋。只有牛逼的算法平台，才有足够强大的算力，才有资格训练大模型。

“当大家都去挖金子时，贩卖铁锹的人总能获得最大的利润”。AI领域也是如此。

目前，虽然AI领域的落地还处于不断探索的阶段，但此方向优质的潜力毋庸置疑。为了很好地支持公司内部的模型训练，也为了能够有朝一日赋能其他应用级企业，AI巨头们纷纷从软件和硬件层面打造了AI算法军火库——算法平台。

到目前为止，经过了几年的沉淀，软件框架层面之争基本收敛。TensorFlow和PyTorch已经在工业界和学术界站稳了脚跟。

接下来，就到了算法平台的后半场，这涉及到深度学习技术栈中更加底层的部分，也是AI巨头们至关重要的护城河——硬件设施及软件优化。

众所周知，NVIDIA的独特地位导致GPU售卖十分昂贵。烧钱买GPU搭建算法平台，只会让NVIDIA吃掉大部分红利。为此，巨头们开始自研AI芯片。

Google为了模型训练发明了TPU，微软也在生产Graph core硬件。如果巨头们纷纷打磨好了各自的芯片产品，那么对于他们自己来说，将会彻底摆脱被NVIDIA掐脖子的束缚。

对内，他们将有机会以较低的成本搭建大规模集群，构建强算力平台，支持所有线上业务。

对外，他们还能将基础设施以SAAS或者PAAS的形式打造成产品，赋能其他企业。

但对于大部分企业，因为没有自己的军火库，如果软件优化层面也没有沉淀，那么最终只有两种选择。

1. 烧钱购置大量NVIDIA计算卡作为重资产，然后不断尝试软件层面的优化。最后发现，总是被GPU体系结构，以及带宽所拖累，逃不出被NVIDIA卡脖子的命运。
2. 买AI巨头们PAAS或SAAS，将自己的身家性命放到巨头的平台上，走上被别人家平台绑架的道路。

但是，如果所有的模型，都能做到仅靠几块GPU并行训练就能满足的程度，那么强算力的平台又有什么吸引力？换句话说，如何体现强算力平台的独特优势？似乎，那些背靠强大算法平台的大模型，确实是最完美的诱饵。

为此，他们的算法工程师们只要做好一件事——证明大模型的碾压式效果。

4

模型创新的阻碍

时至今日，模型创新不仅难倒了普通研究者，也成为了非AI巨头们的无法逾越的技术门槛。

没有强大的算力，就无法进行大模型创新；也正是因为大模型无法被支持，看不到其效果，才导致算力的潜力被低估。这就是非AI巨头企业们如今陷入的恶性循环。

其实能想到，巨无霸模型的参数更多，训练更难，实验需要更多的trick。大力出奇迹，未必是想象那般简单。

其实也能看到，为了证明GPT-3的优势，也为了彰显自己平台的算力，官方在宣传方面确实做了些夸张（比如自动生成代码时的注释）。

但我们已经不能否认，强大的算力，强大的算法平台——是AI领域真正的技术高墙。