上一篇大型语言模型LLM中,介绍了什么是LLM、LLM的基础内容,并提到LLM将利用词汇的分布生成文档。这一篇是关于提示和提示工程的介绍,主要内容是我们如何影响词汇的分布。
在LLM中影响词汇的分布主要通过两种方式,一种是通过提示(Prompting),另外一种就是通过训练(Training)。提示是影响词汇分布最简单的方法,通过给LLM输入提示文本(有时会包含指令和示例)使得词汇的分布概率发生变化。以上一篇中提到的例子说明,最初的语句是 “我写信给农场,希望他们送我一个宠物,他们送给我一只()“词汇的分布如下:
牛 0.1 羊 0.2 狗 0.3 猫 0.2 马 0.1 猪 0.05 兔子 0.2
如果为该句子增加一个提示词“小”,“我写信给农场,希望他们送我一个宠物,他们送给我一只小()”将会对词汇的分布概率产生变化,可以看到小动物狗和猫的概率会增加,而大一些的牛会降低。
牛 0.05 羊 0.2 狗 0.4 猫 0.4 马 0.1 猪 0.05 兔子 0.2
这就是一个简单的输入的文本提示影响词汇分布,最终生成更为准确的文本示例。
提示工程是指为了引起某种特定的回答方式,进行反复改善提示的过程。提示工程通常不直观,并且不能保证有效,因此非常具有挑战性,但通过有效的提示工程,可以更好地利用人工智能模型的能力,获得更令人满意的结果。
提示包括很多种策略,在这里介绍几种常见的策略。
Translate the following text from English to French:
然后,我们可以要求模型翻译一个新的句子。
K-shot prompting的优点是可以通过提供少量的示例来引导模型的学习和生成,而不需要大量的标注数据。它可以帮助模型更快地适应新的任务和领域,并且在某些情况下可以提高生成的质量和准确性。
题目:小明有5个网球,他又买了2盒网球。每个盒子里有3个网球,小明一共有几个网球?
以下是运用 Chain-of-Thought 来解决这个问题的过程:
首先,小明原本有 5 个网球。
然后,他买了 2 盒网球,每盒有 3 个,那么他新买的网球数量为 2×3=6 个。
最后,将原本有的网球数和新买的网球数相加,得到 5+6=11 个。
所以,小明一共有 11 个网球。
下面是一个使用 Least-to-Most Prompting 解决数学问题的示例:
题目:小明有 5 个网球,他又买了 2 盒网球,每盒有 3 个。小明一共有几个网球?
Least-to-Most Prompting 解决过程:
通过这种分阶段的方式,Least-to-Most Prompting 使得模型能够解决比示例中展示的问题更难的问题。与 Chain-of-Thought(思维链)相比,Least-to-Most Prompting 在长度泛化和困难泛化方面表现更好,能够处理比训练样本更长和更困难的问题。
问题:“谁是美国第 16 任总统?”
抽象化:“美国历任总统有哪些?”
推理:通过回答抽象问题,可以了解到美国历任总统的信息。然后,将这个知识应用到原始问题上,得出美国第 16 任总统是亚伯拉罕·林肯的答案。
提示中存在的问题
以上内容是关于人工智能领域提示工程的简单介绍,在下一篇中,将介绍模型训练。感谢关注“MySQL解决方案工程师”
本文分享自 MySQL解决方案工程师 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!