Coze玩转ChatGPT-4，存算解决大模型算力

随着神经网络技术的不断发展，特别是在Transformer架构兴起之后，模型规模呈指数级增长。2023年3月，ChatGPT-4正式发布，ChatGPT-4具有联网搜索、图片生成、自建GPTs等多项重磅功能，在各个方面吊打其他大语言模型，然而ChatGPT-4需要收费和极大的计算需求。ChatGPT-4需要每月充值20美元才能使用，其神经网络参数数量更是达到万亿级别，并且还在不断增长，训练神经网络的计算需求也随之大幅度增长，将AI计算推向了大模型时代[1]。本篇文章将从费用和算力两个方面出发，先介绍一种免费使用ChatGPT-4的工具——Coze，再介绍可有效解决大模型算力需求的存算架构。

一．Coze使用指南[2]

2024年2月1日，字节跳动正式发布国内版Coze。在Coze上，我们可以免费使用ChtaGPT-4的所有功能。从功能上来看，Coze界面简洁，操作也相当简单——支持30秒无代码生成AI聊天机器人（Bot），并且集成了插件工具集，满足了个性化的使用需求，下面将简单介绍Coze的使用指南。

图 1  Coze官网界面[3]

（1）登陆

首先点击如图1中红框标注的“Get，started”按钮进入如图2所示登陆界面，随后使用谷歌账号或者手机号码登陆。

图 2  Coze登陆界面[3]

（2）界面介绍

1.Home界面

成功登陆进入如图3所示的Home界面。

图 3  Coze的Home界面[3]

在Home界面中有一个Coze Assistant的小助手，我们可以在这里询问一些问题，比如如何使用Coze、什么是ChatGPT-4等，如图4所示。

图 4 Coze Assistant使用实例[3]

2.Personal界面

点击左侧的Personal，我们便可以进入Personal界面，即个人界面，如下图5所示，这里会保留用户创建的Bot。

图 5  Personal界面[3]

3.Bot Store界面

点击左侧的Bot Store，我们便可以进入Bot Store界面，在这里可以看到其他用户发布的Bot和主题，我们可以下载使用。

图 6  Bot Store界面[3]

4. Plugin Store界面

点击左侧的Plugin Store，我们便可以进入Plugin Store界面，在这里可以下载使用其他用户发布的Plugin，Plugin即为插件，我们可以在创建自己的Bot时引用插件，来丰富自己Bot的功能。

图 7 Plugin Store界面[3]

（3）创建并调试Bot

首先点击界面左上角的“+Create bot”按钮，进入创建Bot界面，我们可以在这里为自己的Bot命名，这里以“旅行达人”举例。

图 8 创建Bot界面[3]

点击图8中的Confirm之后，我们进入Bot配置界面，如图9红框部分所示，Bot上默认的大语言模型就是ChatGPT-4，我们可以直接在这里免费使用ChatGPT-4的功能，此外还可以换成ChatGPT-3.5等其他语言模型。

图 9  Bot配置界面[3]

在左边的Persona&Prompt部分，我们可以填写所创建Bot的Prompt，如图10所示，此外还可以点击Optimize来自动优化Prompt，该功能会对你所写的Prompt进行优化、补充、格式调整等。优化后的Prompt内容丰富，具有Bot技能与条件约束，并且格式调整为Markdown语法（Markdown语法是对大语言模型较友好的格式），随后我们点击Use，使用优化之后的Prompt。

图 10  Prompt模块及自动优化Prompt[3]

接下来我们开始进行Bot的简单调试，在右边的Preview模块输入“你好”，和旅行达人Bot打个招呼，如图11所示。

图 11  Bot的Preview模块[3]

我们可以在Preview模块提出一些问题，如图12所示，我询问了Bot关于五一烟台旅行的一些问题，包括旅行规划、天气和衣物等，Bot都能相应地进行详细具体的回答。

此外，如何我们想要了解更加详细的天气情况，如图13所示，可以使用界面中的Plugins，即使用插件，点击Plugins右边的“+”之后，即可进入添加插件界面，这里是插件商店所提供的插件，可以进行按需取用，比如我们需要一个天气插件，如图14所示，我们可以在搜索栏搜索“Weather”，得到结果之后点击下拉选项，再点击Add将插件添加到Bot中。

图 14 增加Weather插件实例[3]

添加Weather插件之后，我们回到Preview模块，再次询问Bot五一期间烟台的天气情况，Bot就可以调用Weather来为我们解答，如图15所示。此外，我们还可以直接在Prompt中指定在某些场景下需要使用的插件名称，以确保达到我们想要的效果。

图 15  Bot调用Weather插件进行回答[3]

（4）发布Bot

如图16，点击右上角的Publish按钮，即可将Bot发布到外部平台，方便我们在外部平台（如移动端APP）来使用此Bot。

图 16  Publish按钮[3]

如图17所示，为Coze所支持的一些发布平台，以Discord为例，我们选择Discord进行发布，点击Configure按钮，进入图18所示界面，可以看到我们需要提供一个token，token可以从界面中的链接得到。

图 17  Coze所支持的一些发布平台[3]

图 18  Discord发布需要toke[3]

点击图18中的链接，进入图19中的教程，下面我们根据教程来得到所需token。

图 19 发布到Discord中的教程[3]

如图20所示，首先点击 Discord Developer Portal登陆Discord，注意，如果是首次使用，需要先注册Discord账号并且验证。

图 20 登陆Discord（首次登陆需要注册账号并验证）[4]

然后点击New Application，创建一个新的应用，比如取名为“travel master”，点击Create即可成功创建，进入如图21所示界面。

图 21 创建新应用[4]

接下面根据教程的指引，如图22所示，我们点击左边的Bot，将红框部分打开，保存修改，然后如图23，点击Reset Token，即可生成token，并将token复制下来。

图 22  Bot修改并保存[4]

图 23 生成token并复制[4]

随后返回Publish界面，点击Configure按钮，将生成的token粘贴并保存，成功后可以看到Discord已经处于Configured状态了，接下来就可以正式发布。

图 24 返回Publish并粘贴token[3]

正式发布前，我们需要选择分类，这里我们选择entertainment，再点击Pubilsh，进入成功发布页面。

在成功发布页面，我们点击Discord旁边的open in discord来测试Bot是否成功发布到Discord上，注意，需要先通过Discord创建一个服务器，创建成功后，才可通过以下操作进入服务器中，这里以“z的服务器”举例。

图 26 外部访问进入Discord[4]

图 27 进入z的服务器[4]

随后我们就可以在服务器界面测试旅行达人Bot，如图28，询问五一期间烟台的天气情况，可以看到Bot的回答和前面我们调试的结果相同，一个简单的Bot的创建和发布就完成啦。

图 28 在Discord的服务器中询问天气示例[4]

（5）其他功能

我们回到Bot的配置界面，这里还可以给Bot添加更多的功能。

1. Knowledge

Knowledge即为知识库，Bot可以通过读取知识库里面的内容来回答我们的问题。比如我们可以在这里添加一个文档或者在线网址，让Bot可以实时获取信息来回答用户。

图 29  Knowledge功能[3]

下面我们添加一个知识库，以旅行攻略举例，即将新添加的知识库取名为“旅行攻略”。

图 30 添加知识库[3]

图 31 将新知识库取名为“旅行攻略”[3]

图 32 知识库上传文本或者填写在线网址[3]

如图32所示，在这里我们可以上传文本，也可以填写在线网址，以上传文本举例。首先如图33所示，上传文本，然后如图34,选择系统分割方式，Automatic指的是系统会按照预处理规则，来会对上传的数据进行自动的分段；Custom支持手动设置分段和预处理的规则，这种配置方式便于用户选择更加适合的分段方式，便于大语言模型检索出最相关的内容来回答用户问题。最后如图35，进行处理，一个文本就上传到知识库里面了。

图 33 上传文本[3]

图 34 选择分段和预处理规则[3]

图 35 完成文本上传[3]

创建完成之后，我们点击Add将知识库添加到Bot的知识库中，注意要在Prompt中增加相关信息，使Bot在回答餐厅问题时去查询知识库中的文档。

图 36 添加知识库[3]

图 37 修改Prompt信息[3]

下面我们简单测试以下，比如询问蓬莱春饭店的推荐菜，可以看到Bot的回答符合预期，还对知识库中文档的格式进行了调整。

图 38 知识库中的文档截图和Bot的回答[3]

2. Variable

在Knowledge的下面，有一个Variable的记忆能力，它存储数据的方式是键值对（key-value），每一个键值对记录的是一个信息的名字和对应的值，例如，我们可以让Bot记录自己的名字、口味等信息，这样Bot在和用户聊天时就会参考这里的信息来调整自己的回答。

图 39  Variable功能[3]

3. Database

Database（数据库）为Coze所提供的一个结构化数据的管理能力，作为用户，我们可以通过自然语言的方式去插入和查询数据库里面的数据，可以理解为Bot是一个具有备忘能力的小助手，例如我们希望Bot记录用户想要存储的信息，就可以在Prompt中添加对应的功能，如下图40所示，在Prompt中添加一个记录功能，之后生成一张名为note的表，可以看到表格符合Prompt中的描述。

图 40 添加存储功能[3]

图 41 生成note表格[3]

保存表格之后测试记录功能，我们在Preview中以自然语言的方式输入信息，可以看到note中成功记录信息。

图 42  note记录信息示例[3]

4. 定时任务功能

最后给大家展示一下Bot的定时任务功能，Bot会在指定时间执行任务，自动地向用户发生消息。如图43所示，首先在Triggers中设置一个scheduled trigger，设置每天18：00发布烟台天气信息，并将该Bot发布到Discord上，那么Bot就会在规定时间把信息发送到Discord上，可以看到Discord在18：00时成功为我推送了一条烟台的天气信息。

图 43 定时任务功能[3][4]

5. 其他

Coze上面还有一些其他实用有趣的功能，比如长时间记忆功能（Long-term Memory）、定制Bot开场白（Opening Dialog）、自动生成建议（Auto-Suggestion）、为Bot选择一种声音（Voices）等功能，这里不再一一介绍，大家可以自行探索。

二．大模型算力及存算架构

上一章节介绍了一种免费使用ChatGPT-4的工具，可以解决ChatGPT-4的费用问题，下面我将简单介绍ChatGPT-4引出的大模型算力需求，并介绍一种解决方案——存算架构。

（1）大模型带来的挑战

随着人工智能技术的持续发展，神经网络的参数数量已经从Alexnet的6000万个增长到OpenAI GPT-3的1750亿个，人工智能已进入大模型时代[1]。如图44所示，大模型的算力需求增长速度约为750倍/2年，而芯片算力增长速度则仅为3.1倍/2年大模型算力需求与芯片算力的不匹配已经成为当前主要矛盾。

图 44 大模型训练算力需求与芯片算力增长速度的对比[5]

大模型的训练和推理不仅计算密集，而且极度依赖数据传输效率。如图45所示，在传统的冯•诺依曼架构中，处理器和内存分离，数据在两者之间频繁传输，导致了显著的延迟和能耗。这种架构在处理大规模神经网络模型时效率低下，尤其是在进行复杂的深度学习任务时。另外，随着模型复杂度的增加，传统GPU和TPU等硬件虽然提供了并行处理能力，但在处理超大规模数据时，它们的能效和速度仍有限。因此，科研人员和工程师不断寻求更优的解决方案，以缓解硬件资源的巨大压力。

图 45 传统冯•诺依曼架构示意图

（2）存算架构的兴起

存算一体化架构应运而生，如图46所示，它通过在内存中直接进行数据处理，极大地减少了数据在内存和处理器之间的传输需求。在这种架构下，内存不再仅仅是数据存储的地方，同时也成为数据处理的场所。这种架构能显著提高数据处理速度，降低能耗，是解决大模型算力需求的一种具有极大前景的技术。

图 46 存算一体架构示意图

根据计算范式的不同，存算一体可以主要分为模拟式和数字式两种[6]。

模拟存算一体是指存储单元内部或阵列周边的信号以模拟信号的方式进行操作，具体来说，主要基于物理定律（欧姆定律和基尔霍夫定律），在存算阵列上实现乘累加运算。模拟存算可以搭载任意存储单元来实现，但数字存算主要借助于SRAM来实现。相比于数字存算，模拟存算减少了大量乘法器和加法器的面积开销，因而在面积开销上更优。

数字存算一体是指在实际运算过程中，存储单元内部或阵列周边的信号以数字信号的方式进行操作，通过在存储阵列内部加入逻辑计算电路，如与门和加法器等，使数字存算一体阵列具备存储及计算能力。数字存算精度高、可靠性高，并且保留了传统数字电路的高抗噪性，呈现很强的鲁棒性，因而更适合大规模高计算精度芯片的实现。相较于模拟存算，数字存算更具运算灵活性，可以通过对数字部分的调整适配各种场景，通用性较强，但是功耗更高。

除了计算范式，存储器也是存算架构的关键因素。存内计算方案根据存储器的不同实现方案也不同，传统存储器包括SRAM、DRAM和Flash等，新型存储器包括ReRAM、PCM、FeFET、MRAM等，电路示意图如上图46（c）所示，其中基于NOR Flash和SRAM研发的存内计算芯片更接近产业化，例如知存科技的WTM2101芯片结合了RISC-V指令集与NOR Flash存内计算阵列，可以进行8bit精度的矩阵乘加运算，已经实现量产。

三．未来展望

ChatGPT-4一经发布，其强大的功能就引起了人们的广泛关注，的高使用成本和庞大的模型参数量也带来了一定的挑战。本文介绍的Coze和存算架构仅是众多可行解决方案中的一种，市场上还存在许多其他工具和架构，它们同样能够有效应对这些挑战。随着人工智能大模型技术的飞速进步，我们期待OpenAI将推出更多功能丰富、成本效益更高的ChatGPT产品，未来的ChatGPT产品有望在费用和计算效率方面得到优化，更好地融入人们的日常生活。

参考文献：

[1]B. Liang, “AI Computing in Large-Scale Era: Pre-trillion-scale Neural Network Models and Exa-scale Supercomputing,” in International VLSI Symposium on Technology, Systems and Applications (VLSI-TSA/VLSI-DAT), pp. 1-3, 2023.

[2]从 0 到 1 免费使用GPT-4 的保姆级教程！Coze扣子详细教程使用指南！_哔哩哔哩_bilibili.

[3]Coze官网（coze.com）.

[4]Discord官网（discord.com）.

[5]Amir G, et al.https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b8

[6]存算一体白皮书(2022年)，中国移动通信有限公司研究院.