bert中 [CLS] 和 [SEP]

[CLS] 和 [SEP] 是 BERT 中的两个特殊标记符号，在 BERT 的输入文本中起到特殊的作用。

[CLS] 是 "classification" 的缩写，在文本分类任务中，它通常表示句子或文档的开头。在 BERT 中，[CLS] 对应着输入文本中第一个词的词向量，输出层中的第一个神经元通常会被用来预测文本的类别。

[SEP] 是 "separator" 的缩写，它通常表示句子或文档的结尾。在 BERT 中，[SEP] 对应着输入文本中最后一个词的词向量，它的作用是用来分割不同的句子。例如，在 BERT 中处理句子对时，两个句子之间通常会插入一个 [SEP] 来表示它们的分界点。