当ChatGPT能猜到“神”的下一个词

   前几日看到OpenAI 首席科学家 Ilya Sutskever 的一个访谈，如果模型能够很好地预测下一个词，也就是说大模型有能力预测一个并不存在的、理想中的、全能的“神”的下一个词,那不就意味着新“神”的诞生吗?前些日子他跳出来闹的那出罢免OpenAI CEO的剧应该也是为了人类担心吧.

   Ilya Sutskever 原来还是Word2Vec发明者之一,今年的三大AI顶会之一的NeurIPS将时间检验奖颁给了十年前发布的论文《Distributed Representations of Words and Phrases and their Compositionality》。 Word2Vec开创了万物皆可向量的方法论. 今年的《自然》杂志十大科学人物也选了Ilya Sutskever,而且今年的科技人物还加了一个ChatGPT.

ChatGPT是在构建全部人类知识的概要.

   想起博尔赫斯的《通天塔图书馆》,伟大的博尔赫斯具有天才的想象力，在他1941年发表的短篇小说描述这样一个图书馆：

宇宙（别的人把它叫做图书馆）是由一个数目不明确的，也许是无限数的六面体回廊所构成，每一个六面体的每一边墙，排列着书架......所有书籍不论怎么千变万化，都由同样的因素组成，即空格、句号、逗号和二十二个字母。他还引证了所有旅人已经确认的一个事实：在那庞大的图书馆里没有两本书是完全相同的。根据这些不容置疑的前提，他推断说这个图书馆是完全的，它的书架上收藏着二十多个书写符号的（数目尽管很多，却并不是无限的）全部可能实现的组合，或者全部可能表现的一切，包括所有文字可能表现的一切。

 在某个六面体的某个书架上（人们都这样认为），一定存在着一本书，它是其他所有一切书的完整缩本或概要。有一个图书馆员看见过它，说它是一个神的类似物。

  那本全宇宙知识的概要不正是ChatGPT等大模型的训练想要的结果吗?这些年，Word2Vec不正沿着构建那个无限图书馆的方向前行吗？

   “在这个图书馆里，胡言乱语是正常的，而合情合理（甚至谦虚和纯粹的连贯性）却几乎是神奇的例外。”说的不正是现在的ChatGPT们吗? 当算力、存储一直扩大，从工程角度,构建通天塔成为可能。

Ilya Sutskever在 Word2Vec这道路上走了十年,  他的担心确认让人担心. 这不,OpenAI还发布一个人工智能监督方案.

OpenAI 发布了「人类监督超级人工智能」方案：让小模型监督大模型。

    这看上去怎么和电影里的人工智能三大定律一样不靠谱.‍‍‍

  对于那些一心想在性能上打败ChatGPT的全世界大模型团队来说,这这样的方案很可能被反目的应用.如用更小的模型验证数据价值,再进一步提高大模型性能;或是小模型大模型结合的方案等等.‍‍‍‍‍‍‍‍‍‍‍

    这么看，深度学习创始人之一Hinton说后悔是有是道理。套用《百年孤独》开头第一句话:许多年之后,面对AI的统治，Hinton的孩子将会回想起他父亲带他去见识深度神经网络识别小狗图片的那个遥远的下午。

   好在轮不到我们这些相关从业者担心这些,还是想想怎么在特定领域达到并超越ChatGPT的效果。或是在ChatGPT5出来前准备好相关系统与数据来的正经.

    让该担心的人去担心吧。

作者简介:

袁峻峰，《人工智能为金融投资带来了什么》作者，复旦大学金融学硕士，FRM金融风险管理师，目前就职于国内某大型券商，本文仅代表个人观点，不可作为投资上的建议。