社区首页 >专栏 >原创｜一文读懂Embeding技术

原创｜一文读懂Embeding技术

数据派THU

发布于 2023-11-17 05:05:21

1.1K00

代码可运行

文章被收录于专栏：数据派THU数据派THU

运行总次数：0

代码可运行

Embedding 技术是一种将高维数据映射到低维空间的方法，通常用于将离散的、非连续的数据转换为连续的向量表示，以便于计算机进行处理。这种技术广泛用于自然语言处理（NLP）、图像处理、推荐系统和其他机器学习应用中，以方便大语言模型处理输入数据。

Embedding 技术将原始数据从高维度空间映射到低维度空间，有助于减少数据的复杂性和计算资源的需求，并提高模型的训练和推理效率；Embedding 向量是连续的，因此可以在数学上进行操作，如向量加法、减法和点积等。这使得模型能够更好地理解数据之间的关系；

Embedding 技术通常会捕获数据的语义信息。在 NLP 中，这意味着相似的单词或短语在嵌入空间中会更接近，而不同的单词或短语会远离彼此。这有助于模型理解语言的含义和语义关系。

嵌入向量通常是可训练的，它们可以通过反向传播算法与模型一起训练。这意味着嵌入可以适应特定任务和数据集，从而提高模型的性能；Embedding 技术通常是上下文感知的，它们可以捕获数据点与其周围数据点的关系。在 NLP 中，单词的嵌入会考虑其周围的单词，以更好地表示语法和语义；Embedding 技术通常将高维数据降维到较低维度，但仍然保留了重要的信息。这有助于减少模型的复杂性，并提高模型的泛化能力。

Embedding 技术不仅在NLP领域有广泛应用，还在计算机视觉、推荐系统、社交网络分析等多个领域中有用途。在NLP中，Word Embedding是一种常见的技术，用于将单词映射到连续向量空间。在计算机视觉中，卷积神经网络（CNN）和循环神经网络（RNN）等模型也使用嵌入来处理图像和文本数据。

Embedding在大语言模型中的主要应用有：

作为 Embedding 层嵌入到大语言模型中，实现将高维稀疏特征到低维稠密特征的转换（如 Wide&Deep、DeepFM 等模型）；
作为预训练的 Embedding 特征向量，与其他特征向量拼接后，一同作为大语言模型输入进行训练（如 FNN）。

作为Embedding 层嵌入到大语言模型中

大语言模型无法直接理解书面文本，需要对模型的输入进行转换。为此，实施了句子嵌入，将文本转换为数字向量。

句子嵌入（来源：网络，作者：Damian Gil）

句子嵌入由专门的转换算法实现，可以选择转换算法数字向量的大小。通过句子嵌入对信息进行编码，并将其统一封装为包含所有特征的文本。为此可以创建一个脚本来完成嵌入，调用embedding_creation.py，该脚本收集训练数据集中的值，并创建一个由嵌入提供的新数据集。这是该脚本的代码：

import pandas as pd # dataframe manipulation
import numpy as np # linear algebra
from sentence_transformers import SentenceTransformer
df = pd.read_csv("data/train.csv", sep = ";")
# -------------------- First Step --------------------
def compile_text(x):
text =f"""Age: {x['age']}, 
housing load:{x['housing']}, 
Job:{x['job']}, 
Marital:{x['marital']}, 
Education:{x['education']}, 
Default:{x['default']}, 
Balance:{x['balance']}, 
Personal loan:{x['loan']}, 
contact:{x['contact']}
"""
return text
sentences = df.apply(lambda x: compile_text(x), axis=1).tolist()
# -------------------- Second Step --------------------
model = SentenceTransformer(r"sentence-transformers/paraphrase-MiniLM-L6-v2")
output = model.encode(sentences=sentences,
show_progress_bar=True,
normalize_embeddings=True)
df_embedding = pd.DataFrame(output)
df_embedding

首先为每一行创建文本，将它存储在一个python列表中，供以后使用；创建Transformer,该模型专门训练在句子层执行嵌入，它在标记和单词层上的编码时只需要给出存储库地址，便可以调用模型。在本例中是“sentence-transformers/paraphrase-MiniLM-L6-v2”。创建的向量的长度为384。利用创建的向量创建一个具有相同列数的数据帧。

作为预训练的Embedding 特征向量

在自然语言处理（NLP）预训练任务中，Embedding 技术能够捕捉数据的语义信息，使得相似的数据在嵌入空间中更接近，有助于模型更好地理解数据之间的关系。典型的Transformer架构中，首先需要构建embedding层，即词嵌入，词嵌入操作将当前序列转化为向量。首先，获取embedding_table，然后到embedding_table里查找每个单词对应的词向量，并将最终结果返回给output，这样一来，输入的单词便成了词向量。但这个操作只是词嵌入的一部分，完整的词嵌入还应在词嵌入中添加其它额外的信息，即：embedding_post_processor。