Gensim Word2Vec或FastText从频率构建词汇

在使用 Gensim 的 Word2Vec 或 FastText 模型时，你可以通过指定词频来构建词汇表。Gensim 提供了灵活的接口来处理词频，并根据这些频率来构建词汇表。

以下是如何使用 Gensim 的 Word2Vec 和 FastText 模型从词频构建词汇表的详细步骤：

安装 Gensim

首先，确保你已经安装了 Gensim。你可以使用 pip 来安装：

pip install gensim

准备数据

假设你有一个包含文本数据的列表，每个文本是一个单词列表。你可以使用这些数据来构建词频。

from collections import Counter

# 示例文本数据
texts = [
    ["hello", "world", "hello"],
    ["machine", "learning", "is", "fun"],
    ["hello", "machine", "learning"]
]

# 计算词频
word_freq = Counter(word for text in texts for word in text)
print(word_freq)

使用 Word2Vec 从词频构建词汇表

你可以使用 Gensim 的 Word2Vec 模型，并通过 min_count 参数来控制词汇表的构建。min_count 参数指定了词频的最小阈值，只有频率大于或等于该阈值的词才会被包含在词汇表中。

from gensim.models import Word2Vec

# 构建 Word2Vec 模型
model = Word2Vec(sentences=texts, vector_size=100, window=5, min_count=1, sg=0)

# 打印词汇表
print(model.wv.key_to_index)

在这个示例中，min_count=1 表示所有出现过的词都会被包含在词汇表中。你可以根据需要调整 min_count 的值。

使用 FastText 从词频构建词汇表

类似地，你可以使用 Gensim 的 FastText 模型，并通过 min_count 参数来控制词汇表的构建。

from gensim.models import FastText

# 构建 FastText 模型
model = FastText(sentences=texts, vector_size=100, window=5, min_count=1, sg=0)

# 打印词汇表
print(model.wv.key_to_index)

手动构建词汇表并训练模型

如果你想要更精细地控制词汇表的构建过程，你可以手动构建词汇表，然后使用这些词汇来训练模型。

from gensim.models import Word2Vec, FastText

# 手动构建词汇表
vocab = {word: freq for word, freq in word_freq.items() if freq >= 1}

# 创建一个包含词汇表的句子列表
filtered_texts = [[word for word in text if word in vocab] for text in texts]

# 构建 Word2Vec 模型
word2vec_model = Word2Vec(sentences=filtered_texts, vector_size=100, window=5, min_count=1, sg=0)

# 构建 FastText 模型
fasttext_model = FastText(sentences=filtered_texts, vector_size=100, window=5, min_count=1, sg=0)

# 打印词汇表
print(word2vec_model.wv.key_to_index)
print(fasttext_model.wv.key_to_index)