Top-p采样：解锁语言模型的创意之门

Top - p采样 是什么：核采样：排序，累计到0.7，随机选择

在自然语言生成和大规模语言模型推理中，Top - p采样（又叫核采样，Nucleus Sampling）是一种基于累积概率的采样策略。

Top - p介绍

Top - p中的p是一个概率阈值，取值范围是0到1。它表示在生成文本时，从概率分布中选择累计概率大于或等于p的最小词集，然后从这个词集中随机选择一个词作为输出。 例如，如果p = 0.7，那么模型会从概率分布中选出累计概率达到0.7的那些词，然后从中随机挑选一个作为下一个生成的词。较低的p值会使模型更倾向于选择最可能的词，生成的文本更可预测和重复；较高的p值则会让模型考虑更大的词集，生成的文本更多样和有创意。

原理：排序，累计到0.7，随机选择

• 概率排序与累积：模型在生成每个词时，会先对词汇表中的所有词计算一个概率分布（通常通过Softmax函数得到）。将这些词按照概率从核采样，然后依次累加这些词的概率，直到累加的概率大于或等于设定的p值为止，此时所包含的词就构成了用于采样的候选词集。
• 随机采样：从得到的候选词集中，按照它们各自的概率进行随机采样，选择其中一个词作为生成的结果。