温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
接下来由我为大家展示如何通过cos进行skill的存储和检索,以减少open cloud对话过程中的系统提示词开销。整体方案的原理是,我们将cloud所有的描述行到中。随后为open cloud配置一个OOK,将在每一次对话构建系统提示词的时候,首先根据本次对话输入去进行相似度索选取出与本次对话最相关的5个skill,将其注入到系统提示词当中。由此避免所有的描述都要注入到系统提示词,最终达成减少的目的。接下来我们进行实践,我们需要准备一台安装好的服务器。首先我们到腾讯云对象存储控制台创建一个向量。我们为其命名为skill。大家好,存储,目前这里还没有任何的向量存储索引,我们回到服务器开始安装部署。
01:04
我们已经为整套方案的实施包装了一个交互式的安装脚本。只需要按照步骤逐步配置即可。这些本完成环境查以后我们进行配置,这里我们使用open AI兼容的A入,接下来我们配置刚刚创建的向量乘储桶。首先先输入我们腾讯云的ID和key。接着填入刚刚创建好的向量存储桶。我们为这个向量索引。创建一个skill index的名字。接下来,我们会扫描获取当前open所拥有的所有。然后就会进入到安装流程,脚本会安装必要的依赖,并且创建一个向量存储索引。
02:01
把刚刚所有的skill embedding向量化以后存储进去,最后配置hook就完成了安装。我们来进行验证一下,尝试查一下天气所匹配到的。可以看到这里精准匹配到了vetasqll。最后我们回到对话窗口进行测试。看得出来,有了skill root关于的系统提示,部分的开销得到了大幅下降。通过进行和可以实现系统提示入从达成目的将会随着更多的s skill的安装而更加明显。
我来说两句