有没有预先训练好的Gensim短语模型？
是的，Gensim提供了一些预先训练好的短语模型，可以用于自然语言处理任务。其中最常用的是Word2Vec模型，它可以将单词映射到一个高维向量空间中，使得具有相似语义的单词在向量空间中距离较近。这些预训练好的模型可以用于词义相似度计算、文本分类、命名实体识别等任务。
Gensim官方提供了一些预训练好的Word2Vec模型，如Google News Word2Vec模型、FastText模型等。这些模型在大规模语料库上进行了训练，可以直接加载并在自己的应用中使用。
在使用这些预训练好的模型时，可以通过Gensim的KeyedVectors类加载模型文件，并使用其提供的方法进行相关操作。例如，可以使用most_similar()方法找到与给定单词最相似的单词，或者使用similarity()方法计算两个单词之间的相似度。
对于Gensim短语模型的更多信息和使用方法，可以参考腾讯云的相关产品介绍页面：Gensim短语模型介绍。
相关·内容
2回答
我已经将预先训练好的word2vec嵌入加载到以下形式的python字典中
{word: vector}
例如，这个字典的一个元素是
w2v_dict["house"] = [1.1,2.0, ... , 0.2]
我想将这个模型加载到Gensim (或类似的库)中，这样我就可以找到嵌入之间的欧几里得距离。
据我所知，预先训练好的嵌入通常位于.bin文件中，可以加载到Gensim中。但是如果我只有一个这种形式的字典，我如何将向量加载到模型中？
浏览 2提问于2019-01-19得票数 0
我正在尝试将一些预先训练好的向量加载到gensim Word2Vec模型中，这样它们就可以用新数据重新训练。我的理解是我可以和gensim.Word2Vec.train()一起做再培训。但是，我能找到的加载向量的唯一方法是使用gensim.models.KeyedVectors.load_word2vec_format('path/to/file.bin', binary=True)，它创建一个对象，该对象通常是gensim.Word2Vec模型的wv属性。但是这个对象本身没有train()方法，这是我重新训练向量所需要的。
那么，如何将这些向量转化为实际的gensim.Wor
浏览 3提问于2018-02-09得票数 4
是谷歌预先训练好的word2vec模型CBO或skipgram。
我们通过以下方式加载预训练模型：
from gensim.models.keyedvectors as word2vec
model= word2vec.KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin.gz')
我们如何具体加载预先训练的CBOW或skipgram模型？
浏览 40提问于2019-07-18得票数 0
1回答
我发现我用Gensim和GoogleNews预训练的模型对短语进行聚类是失败的：
编织品
针织织机
织机编织
织机
彩虹织机
家居装饰配件
织机编织/针织织机
..。
我被告知。我的短语有点特定于GoogleNews模型，而我没有语料库来训练一个新的模型。我只有这些短语。现在我正考虑转向伯特。但是伯特能像我预期的那样做吗？谢谢。
浏览 0提问于2019-08-13得票数 1
回答已采纳
我正在尝试下载并加载一个带有gensim下载程序的预先训练好的模型到/从一个特定的位置。看起来我可以使用gensim.downloader.BASE_DIR成功地指定下载位置，但是我不知道如何从该位置加载。
我目前正在使用以下命令下载模型：
import gensim.downloader as api
api.BASE_DIR= 'mnt/project/models'
到目前为止，这是有效的-我可以看到模型被下载到正确的位置-但之后我无法访问模型。这段代码：
model = api.load('glove-twitter-25')
导致错误：
FileNo
浏览 2提问于2021-02-05得票数 0
我需要使用gensim来获取单词的向量表示，我认为最好使用的是在英文维基百科语料库上预先训练好的word2vec模块。有人知道在哪里下载它，如何安装它，以及如何使用gensim创建矢量吗？
浏览 5提问于2017-07-26得票数 16
回答已采纳
我在python中使用gensim word2vec库，并使用预先训练好的GoogleNews-word2vec-negative300.bin模型。但,
我的语料库中有单词，我没有单词向量，我正在获取keyError，我该如何解决这个问题？
这是我到目前为止已经尝试过的方法。
1:加载经过训练的GoogleNews-vectors-negative300.bin模型：
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
print "mode
浏览 159提问于2015-11-29得票数 2
1回答
我正在对语言学论文进行主题建模，并使用Gensim短语来识别频繁的搭配。我希望能够将术语标记为“do-support”和“it-cleft”作为一个单词，因为它们是特定的语言术语。然而，如果我在删除停用词之后创建Gensim模型，将找不到这些搭配(因为它们包含停用词)，如果我在删除停用词(或者不包括' it‘或’do‘的停用词)之后创建模型，它会识别出一大堆不相关的搭配。有没有办法手动添加应该被Gensim短语识别为搭配的短语？谢谢!
浏览 0提问于2017-08-22得票数 2
1回答
我有一个预先训练好的词，其中嵌入了不同范数的向量，我想对模型中的所有向量进行标准化。我用一个for循环来做这件事，它迭代每个单词并标准化它的向量，但是这个模型很庞大，而且花费了太多的时间。gensim有没有什么方法可以更快地做到这一点？我找不到它。 谢谢！！
浏览 22提问于2018-12-30得票数 3
4回答
文本分类分类器
、、、、
有没有人知道好的开源文本分类模型？我知道斯坦福分类器，Weka，Mallet等，但它们都需要培训。
我需要将新闻文章分类为体育/政治/健康/游戏/等等。有没有预先训练好的模型？
炼金术、OpenCalais等都不是选项。我需要开源工具(最好是Java)。
浏览 1提问于2013-03-07得票数 6
回答已采纳
我想使用reticulate包从R运行gensim。我不确定我是否完全理解了reticulate的语法，因为我可以让它与默认函数设置一起工作，但当我尝试传递更多参数时，它会失败。
library(reticulate)
gensim <- import("gensim")
model<-gensim$models$Word2Vec$load("word2vec_gensim")
matrix(unlist(model$wv$most_similar("queen")),ncol=2,byrow=T)
[,1]
浏览 0提问于2018-04-26得票数 1
我真正想要的是把单词和短语聚在一起，例如针织/针织织机/彩虹织机/家用装饰品/织机/针织织机/.我只有语料库，而我只有单词/短语。我能用一个像GoogleNews/Wikipedia/.才意识到这一点？
我现在尝试使用Gensim加载GoogleNews预训练的模型，以获得短语的相似性。有人告诉我，GoogleNews模型包含短语和单词的向量。但我发现，我只能得到词的相似性，而短语相似性失败的错误信息，即短语不在词汇表中。请告诉我。谢谢。
import gensim
from gensim.models import Word2Vec
from gensim.models.keyedvecto
浏览 1提问于2019-08-09得票数 1
回答已采纳
我正在努力学习word2vec。
我正在使用下面的代码在Python3中加载谷歌预先训练好的word2vec模型，但我不确定如何将诸如“i”、"ate“、"apple”之类的列表转换为向量列表(即如何从该模型中获取向量？)
import nltk
import gensim
# Load Google's pre-trained Word2Vec model.
model = gensim.models.KeyedVectors.load_word2vec_format('./model/GoogleNews-vectors-negative300.bin&#
浏览 17提问于2019-07-29得票数 0
回答已采纳
我正在尝试按照这个示例上传一个预先训练好的Gensim模型，用于数据增强
import textaugment
import gensim
from textaugment import Word2vec
model = gensim.models.KeyedVectors.load_word2vec_format(r'\GoogleNews-vectors-negative300.bin', binary=True)
from textaugment import Word2vec
t = Word2vec(model)
浏览 1提问于2021-07-21得票数 0
在gensim的上阅读了教程后，我不明白从训练好的模型生成新嵌入的正确方法是什么。到目前为止，我已经像这样训练了gensim的快速文本嵌入：
from gensim.models.fasttext import FastText as FT_gensim
model_gensim = FT_gensim(size=100)
# build the vocabulary
model_gensim.build_vocab(corpus_file=corpus_file)
# train the model
model_gensim.train(
corpus_file=corpus_
浏览 11提问于2019-07-17得票数 1
回答已采纳
我尝试使用word2vec，但在尝试对任何单词执行任何操作时，它都会给出错误。这似乎是一个编码问题，以下是我所做的：
初始化word2vec：
import gensim, logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
model = gensim.models.Word2Vec.load_word2vec_format('freebase-vectors-skipgram1000/knowledge-vectors
浏览 3提问于2015-07-20得票数 1
1回答
我想为法语创建一个很大的gensim字典，尝试在主题检测、文本之间的相似性和其他类似的事情上获得更好的结果。因此，我计划使用维基百科转储，并按以下方式处理：
从frwiki-YYYYMMDD-pages-articles.xml.bz 2中提取每篇文章(已完成)
标记每一篇文章(基本上将文本转换为小写，删除停止词和非单词字符)(已完成)
在文章上训练短语模型以检测搭配。
在每一篇文章中停止产生的标记。
向字典提供新的语料库(每行一篇词干搭配-标记化文章)
由于语料库非常大，我不会在内存中存储任何东西，也不会通过smart_open访问该语料库，但似乎gensim短语
浏览 0提问于2019-01-23得票数 1
回答已采纳
2回答
我是DL和NLP的新手，最近开始通过gensim使用预先训练好的fastText嵌入模型(cc.en.300.bin)。 我希望自己能够通过将单词拆分为n-gram并查找每个n-gram的向量来计算词汇表外单词的向量。 我找不到一种方法来导出作为模型一部分的n-gram向量。我知道它们是散列的，但也许有一种方法(不一定使用gensim)来获取它们？ 任何有见地的都将不胜感激！
浏览 16提问于2019-03-12得票数 0
我正在使用预先训练好的Google新闻数据集，通过使用python中的Gensim库来获取单词向量。
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
加载模型后，我将训练评论句子转换为向量
#reading all sentences from training file
with open('restaurantSentences', 'r') as infile:
x_train = infile.readline
浏览 2提问于2016-02-01得票数 11
2回答
我正在尝试从这个存储库中重现结果：。我没有Linux，所以不能安装代码使用的word2vec包，但它只用于加载预先训练好的word2vec模型，所以Gensim应该可以完成这项工作。
问题是，scholar使用的预训练模型存储在一个pickle文件(在的“已处理文件”下提供) postagged_wikipedia_for_word2vec_30kn3kv.pkl中。
当我试图打开这个文件时，我得到了ModuleNotFoundError No module named 'word2vec'。我进入了pickle文件(在记事本中)，并将开头的word2vec更改为gensim.
浏览 1提问于2020-12-03得票数 0
我一直在使用sklearn.decomposition.LatentDirichletAllocation模块来探索文档语料库。经过多次训练和调整模型的迭代(即添加停用词和同义词，改变主题的数量)，我对提炼出的主题相当满意和熟悉。作为下一步，我想将训练好的模型应用于新的语料库。
是否可以将拟合的模型应用于一组新的文档，以确定主题分布。
我知道这在gensim库中是可能的，在gensim库中您可以训练模型：
from gensim.test.utils import common_texts
from gensim.corpora.dictionary import Dictionary
#
浏览 14提问于2018-08-02得票数 3
回答已采纳
我可以下载并成功测试包的。然而，这只给了我一个预先训练的网络的最终分割结果，而我也需要访问中间层的输出。
根据这个演示，下面这行代码下载了一个预先训练好的模型和一个测试MR卷：
wget -c https://www.dropbox.com/s/rxhluo9sub7ewlp/parcellation_demo.tar.gz -P ${demopath}
其中${demopath}是演示文件夹的路径。解压下载的文件将创建一个.ckpt文件，该文件似乎包含预训练的tensorflow模型，但是我无法将其加载到tensorflow会话中。
有没有一种方法可以加载预先训练的模型并访问它的所有中间激活
浏览 3提问于2017-10-20得票数 1
1回答
如何从预先训练好的快速文本模型中获取最频繁的上下文单词？
例如:单词'football‘和语料库["I like playing football with my friends"]
获取上下文词列表：['playing', 'with','my','like']
我尝试使用model_wiki = gensim.models.KeyedVectors.load_word2vec_format("wiki.ru.vec") model.most_similar("блок")
浏览 1提问于2018-12-28得票数 1
我最近偶然发现Gensim中添加了doc2vec。如何在doc2vec中使用预先训练好的词向量(例如，在word2vec原始网站中找到的)？
或者，doc2vec是从用于段落向量训练的相同句子中获得单词向量吗？
谢谢。
浏览 1提问于2014-12-14得票数 44
2回答
我正在尝试构建一个Tf-Idf模型，它可以使用对双词和单词进行评分。为此，我构建了一个gensim字典，然后使用该字典创建我用来构建模型的语料库的词袋表示。
构建字典的步骤如下所示：
dict = gensim.corpora.Dictionary(tokens)
其中token是单字和双字的列表，如下所示：
[('restore',),
('diversification',),
('made',),
('transport',),
('The',),
('grass',),
(
浏览 1提问于2018-07-19得票数 7
1回答
我想看看如何从gensim lda主题模型访问字典。当您训练lda模型时，这一点尤其重要，稍后保存并加载它。换句话说，假设lda_model是在一组文档上训练的模型。要获得文档主题矩阵，可以执行类似下面的操作或类似于https://www.kdnuggets.com/2019/09/overview-topics-extraction-python-latent-dirichlet-allocation.html中解释的操作 def regTokenize(text):
# tokenize the text into words
import re
WORD = r
浏览 39提问于2021-01-25得票数 1
回答已采纳
1回答
谁能给我解释一下参数阈值在Gensim的短语模型中是做什么的？当涉及到训练包含大量数据的数据集时，如何选择它？我找了很多教程，但还是想不明白，谢谢
浏览 14提问于2020-12-31得票数 0
我想使用Gensim重新训练Python中预先训练好的单词嵌入。我想使用的预训练嵌入是Google的Word2Vec，它位于GoogleNews-vectors negative300.bin文件中。
根据Gensim的word2vec教程，“不可能使用C工具load_word2vec_format()生成的模型恢复训练。您仍然可以使用它们进行查询/相似性，但训练所需的重要信息(词汇树)在那里缺失。”因此，我不能使用KeyedVectors，为了训练一个模型，本教程建议使用：
model = gensim.models.Word2Vec.load('/tmp/mymodel&#
浏览 0提问于2019-06-13得票数 1
我使用Gensim框架(https://radimrehurek.com/gensim/auto_实例/index.html#文档)生成了一个经过预先培训的C0模型。该数据集包含507种情感(句子)，它们被标记为积极或消极。在执行完所有文本处理之后，我使用Gensim生成了经过预先训练的word2Vec模型。该模型有234个唯一的词，每个向量都有300个维数。不过，我有个问题。
如何使用生成的word2vec嵌入向量作为CNN的输入？
浏览 0提问于2021-11-15得票数 2
回答已采纳
我正在尝试看看哪些预训练模型在新闻中包含了常见短语，我认为GoogleNews-vectors negative300bin应该是一个全面的模型，但事实证明它甚至不包括deep_learning，machine_learning，social_network，social_responsibility。什么预先训练的模型可以包括那些经常出现在新闻，公共报道中的单词？
import gensim
# Load Google's pre-trained Word2Vec model.
model = gensim.models.KeyedVectors.load_word2vec_for
浏览 0提问于2020-04-24得票数 0
我使用python中的Gensim库来使用和训练word2vector模型。最近，我正在考虑用一些预先训练的模型初始化我的模型权重，比如(GoogleNewDataset word2vec模型)。我已经挣扎了几个星期了。现在，我刚刚搜索到在gesim中有一个函数可以帮助我用预先训练好的模型权重来初始化模型的权重。如下所述：
reset_from(other_model)
Borrow shareable pre-built structures (like vocab) from the other_model. Useful if testing multiple models i
浏览 2提问于2016-03-14得票数 1
2回答
因此，我是第一次学习Word2Vec，我的问题是非常基本的:如何知道使用什么方法？比如Tensorflow中的Word2Vec还是用Gensim训练的Word2Vec？
在哪些情况下，通过更手动的第一种方法来实现它相对于第二种方法是有用的呢？如果已经有一种更简单的方法来使用gensim来训练word2vec模型，为什么不总是使用它呢？
此外，使用像谷歌新闻数据集这样的预先训练的模型有什么好处呢？当新闻数据集中没有包含单词时，会发生什么情况？
对不起，如果这个问题是基本的，我只想更清楚地了解整个情况。
浏览 0提问于2018-01-08得票数 3
回答已采纳
我正在使用Gensim的短语模型在一些评论中找到bigram，稍后将在LDA主题建模场景中使用。我的问题是，评论中经常提到“服务”这个词，所以短语找到了许多不同的“服务”作为配对之一(例如"helpful_service“、"good_service”、"service_price")。
然后，在最终结果*中的多个主题中都会出现这些内容。我在想，如果我能告诉短语在制作大写时不要包括“服务”，我就可以防止这种情况发生。这个是可能的吗？
(*)我知道跨多个主题的“服务”-related图标确实是最佳的结果，但我只想尝试将它们排除在外。
样本代码：
# import
浏览 2提问于2021-01-13得票数 1
回答已采纳
我正在尝试从google word2vec站点(freebase-vectors site 1000.bin.gz)加载预先训练好的.bin文件到word2vec的gensim实现中。模型加载正常，
使用..
model = word2vec.Word2Vec.load_word2vec_format('...../free....-en.bin', binary= True)
并创建一个
>>> print model
<gensim.models.word2vec.Word2Vec object at 0x105d87f50>
但当我运行最相似
浏览 0提问于2013-10-11得票数 8
当我试图找出与我的示例文档最相似的文档时，我使用的是预先训练好的doc2vec模型。它给出了不支持的操作数类型错误。
from gensim.models import Doc2Vec
filename = "doc2vec.bin"
doc1 =["This is a sample document."]
model = Doc2Vec.load(filename)
inferred_vector = model.infer_vector(doc1)
sims = model.docvecs.most_similar(positive=[inferre
浏览 0提问于2019-03-22得票数 0
我正在使用一个预先训练好的快速文本模型( )。
我使用Gensim加载快速文本模型。它可以输出任何单词的向量，无论它是可见的还是不可见的(词汇表外)。
from gensim.models.wrappers import FastText
en_model = FastText.load_fasttext_format('../wiki.en/wiki.en')
print(en_model['car'])
print(en_model['carcaryou'])
在tensorflow中，我知道我可以使用以下代码来获得所见单词的可训练嵌入：
#
浏览 1提问于2017-10-31得票数 9
我在带有M1芯片的macOS Big Sur上使用Python3.9.1。而且，gensim是4.0.1
我尝试使用预先训练好的Word2Vec模型，并运行以下代码：
from gensim.models.word2vec import Word2Vec
model_path = '/path/to/word2vec.gensim.model'
model = Word2Vec.load(model_path)
然而，我得到了下面的错误：
AttributeError Traceback (most recent cal
浏览 225提问于2021-06-07得票数 0
回答已采纳
我在本地jupyter notebook和C#后端有预先训练好的python模型，它在Visual Studio上工作。我有输入图片，我必须发送Python模型和评估后，我必须拿回预测结果到C#后端。我如何才能以最简单的方式进行这种交流？我在考虑他们之间的服务通信，有没有可能的解决方案？
浏览 29提问于2021-07-09得票数 0
回答已采纳
1回答
使用哪种图像分类进行训练？ 我们想用我们自己的图片为一个学校项目训练一个模型。我可以使用resnet50或任何其他可训练模型吗？我找不到Resnet50可训练模型，只能找到预先训练好的resnet50模型。我们正在使用Tensorflow 2。 谢谢
浏览 21提问于2020-06-16得票数 0
回答已采纳
我使用了一个带有Gensim自定义词向量的空格模型。然后我训练模型按照各自的顺序得到管道-
entityruler1、ner1、entity ruler2、ner2
训练后，我将其保存在一个文件夹中，通过
nlp.to_disk('path to folder')
然而，如果我尝试使用nlp1 = spacy.load('path to folder')加载相同的模型，它会给我这个错误-
ValueError: [E109] Model for component 'ner' not initialized. Did you forget to
浏览 11提问于2021-06-10得票数 1
回答已采纳
我使用Gensim从Fasttext加载德语.bin文件，以便获得词汇表外单词和短语的矢量表示。到目前为止，它运行良好，我总体上取得了良好的效果。
我对KeyError :'all ngrams for word <word> absent from model'.很熟悉，很明显，该模型没有为每个可能的ngram组合提供向量表示。
但现在我遇到了一个令人困惑的问题(至少对我来说是这样)。
我只举一个简单的例子：
该模型为短语AuM Wert提供了表示。
但是，当我想得到AuM Wert 50 Mio. Eur的表示时，我将得到上面提到的KeyError。因此，该模型
浏览 4提问于2019-03-06得票数 1
回答已采纳
2回答
我一直在从事物体检测的工作。但是这些方法由非常深的神经网络组成，需要大量的内存来存储训练好的模型。例如，我曾经尝试训练一个Mask R-CNN模型，其权重为200MB。
但是，我的关注点只是检测单个对象。所以，我想这些方法是不合适的。有没有什么对象检测方法可以在低内存需求的情况下完成这项工作？
浏览 1提问于2018-08-10得票数 0
当我使用Gensim 3.6.0加载预先训练好的Word2Vec时，它在调用model.wv时显示了以下错误。
/anaconda/envs/python36/lib/python3.6/site-packages/ipykernel_launcher.py:1: DeprecationWarning: Call to deprecated `wv` (Attribute will be removed in 4.0.0, use self instead).
"""Entry point for launching an IPython kernel.
以下是我的
浏览 48提问于2020-05-22得票数 2
1回答
我使用Pickle方法(通过Bert- as -Service和Google的预训练模型)将python字典存储为Vector文件，如下所示：
(关键)短语：(值)Phrase_Vector_from_Bert=女装: 1.3237 -2.6354 1.7458 ....
但我不知道如何像Gensim Word2Vec那样从Bert- as -Service模型中获得短语与向量文件的相似度，因为后者配备了.similarity方法。
你能给我一个建议来获取短语/关键字的相似度，或者将它们与我的python-Pickle-dictionary向量文件进行聚类吗？
或者用Bert-as-Servi
浏览 0提问于2019-09-26得票数 0
我使用gensim创建了一个二元模型，并尝试获取二元句子，但它没有选择所有的二元句子，为什么？
from gensim.models.phrases import Phrases, Phraser
phrases = Phrases(sentences, min_count=1, threshold=1)
bigram_model = Phraser(phrases)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'th
浏览 10提问于2020-02-07得票数 1
回答已采纳
0回答
我正在尝试阅读我预先训练好的doc2vec模型：
from gensim.models import Doc2Vec
model = Doc2Vec.load('/path/to/pretrained/model')
但是，在读取过程中出现错误。有谁能建议一下如何处理这个问题吗？下面是错误：
AttributeErrorTraceback (most recent call last)
<ipython-input-9-819b254ac835> in <module>()
----> 1 model = Doc2Vec.load('/pa
浏览 2提问于2016-12-28得票数 1
我正在从事一项涉及英语和印度尼西亚参与者的跨文化语言研究。
在英语参与者中，我成功地从谷歌新闻语料库(文件:GoogleNews- word2vec -negative300.bin)加载了预先训练好的向量。
我想知道，因为我不能加载印尼语的谷歌新闻语料库。(文件: id.bin，文件来源：)。
以下是工作代码：
import gensim
from gensim import models
from gensim.models import Word2Vec
import math
import sys
import warnings
warnings.filterwarnings(acti
浏览 0提问于2018-11-06得票数 0
我已经使用GuidedLDA ()训练了一个lda模型。是否可以将此lda模型转移到gensim框架中以继续使用它？
浏览 1提问于2020-06-12得票数 0
1回答
我想使用doc2vec中的短语，并且我使用gensim.phrases。在doc2vec中，我们需要标记文档来训练模型，而我不能标记短语。我怎么能做到这一点？
以下是我的代码
text = phrases.Phrases(text)
for i in range(len(text)):
string1 = "SENT_" + str(i)
sentence = doc2vec.LabeledSentence(tags=string1, words=text[i])
text[i]=sentence
print "Training model.
浏览 3提问于2016-08-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
