gensim doc2vec给出了未确定的结果
gensim doc2vec是一种用于文本向量化和语义表示的机器学习算法。它是gensim库中的一个模块，用于将文档转换为固定长度的向量表示。与传统的词袋模型不同，doc2vec考虑了文档的上下文信息，能够更好地捕捉文本的语义信息。
doc2vec算法有两种实现方式：分布式内存模型（Distributed Memory, DM）和分布式词袋模型（Distributed Bag of Words, DBOW）。DM模型在训练过程中将文档的向量和上下文词的向量结合起来，而DBOW模型则只使用文档的向量。这两种模型可以根据具体任务的需求进行选择。
gensim doc2vec的优势在于：
- 语义表示能力强：doc2vec能够将文本转换为连续的向量表示，能够更好地捕捉词语和文档之间的语义关系。
- 上下文信息考虑全面：与传统的词袋模型相比，doc2vec考虑了文档的上下文信息，能够更好地表达文本的语义信息。
- 可扩展性好：gensim库提供了高效的实现，能够处理大规模的文本数据集。
gensim doc2vec的应用场景包括但不限于：
- 文本分类：可以将文本转换为向量表示后，应用于分类任务，如情感分析、垃圾邮件过滤等。
- 文本相似度计算：可以通过计算文本向量之间的相似度，实现文本的相似度计算和检索。
- 推荐系统：可以将用户和物品的文本描述转换为向量表示，用于推荐系统中的用户兴趣建模和物品相似度计算。
腾讯云相关产品中，与gensim doc2vec相对应的产品是腾讯云自然语言处理（NLP）服务。该服务提供了文本分类、文本相似度计算等功能，可以帮助用户快速实现文本处理和语义分析的需求。具体产品介绍和链接地址请参考腾讯云自然语言处理服务官方文档：https://cloud.tencent.com/document/product/271/35494
相关·内容
我试图通过网络在R环境中运行Python的gensim包。更具体地说，我正在尝试构建一个doc2vec模型，为此需要准备一个标记和标记集。
TaggedDocument函数是我遇到问题的地方。下面是我试图在R中复制的python的一个例子：
import pandas as pd
import numpy as np
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
from nltk.tokenize import word_tokenize
data = ["this is the first sentence&#
浏览 8提问于2020-04-30得票数 1
我正在尝试使用下面的代码来实验gensim doc2vec。据我从教程中了解到的，它应该是有效的。然而，它给出了AttributeError：'list‘对象没有属性’word‘.
from gensim.models.doc2vec import LabeledSentence, Doc2Vec
document = LabeledSentence(words=['some', 'words', 'here'], tags=['SENT_1'])
model = Doc2Vec(document, size = 100
浏览 5提问于2016-04-08得票数 10
回答已采纳
我正在使用gensim python库中的Doc2Vec模型。
每次向模型提供相同的句子数据，并将参数: Doc2Vec的seed设置为固定数量时，模型在构建后会给出不同的向量。
出于测试目的，每当我给出一个未改变的输入数据时，我都需要一个确定的结果。我搜索了很多，但没有找到保持gensim结果不变的方法。
我用它的方式有什么问题吗？感谢您提前回复。
下面是我的代码：
from gensim.models.doc2vec import Doc2Vec
model = Doc2Vec(sentences, dm=1, dm_concat=1, size=100, window=5, hs=0,
浏览 7提问于2017-12-20得票数 0
回答已采纳
我已经将gensim从0.12.2升级到0.12.3，我在doc2vec中进行推理时遇到了一个问题。下面是执行推理的代码：
doc = query.lower().split()
inf_vec = formmodel.infer_vector(doc)
similarF = formmodel.docvecs.most_similar([inf_vec])
当使用0.12.3版完成doc2vec模型训练和推理时，此代码给出如下所示的结果：
[(644539, 0.55715829133987427), (647249, 0.55713766813278198),...]
当使用0.12.2版
浏览 1提问于2016-01-20得票数 0
我对gensim还是个新手，现在我正在尝试解决这个问题，这涉及到在keras中使用doc2vec嵌入。我无法在keras中找到现有的doc2vec实现--就我所见的所有示例而言，到目前为止，每个人都只是使用gensim来获取文档嵌入。
一旦我在gensim中训练了我的doc2vec模型，我就需要以某种方式将嵌入权重从genim导出到keras中，这并不是很清楚如何做到这一点。我看到了
model.syn0
假设给出了word2vec嵌入权重(根据)。但目前还不清楚如何对文档嵌入执行相同的导出。有什么建议吗？
我知道通常我只能直接从gensim模型中获得每个文档的嵌入，但我想稍后对keras中的
浏览 15提问于2018-02-27得票数 2
回答已采纳
1回答
在ubuntu上运行gensim Doc2Vec
Doc2Vec用错误拒绝我的输入
AttributeError：'list‘对象没有属性’word‘
import gensim from gensim.models
import doc2vec as dtv
from nltk.corpus import brown
documents = brown.tagged_sents()
d2vmodel = > dtv.Doc2Vec(documents, size=100, window=1, min_count=1, work
浏览 2提问于2018-06-22得票数 0
回答已采纳
1回答
我想实现一个基于Gensim的分布式主题建模管道。不幸的是，Gensim只支持分布式LSA和LDA。我读到Word2Vec和Doc2Vec往往比LSA和LDA有更好的结果。然而，我也读到了一些关于预先训练过的Word2Vec和Doc2Vec模型的文章。是否有一种以分布式方式使用Word2Vec或Doc2Vec的方法？
浏览 8提问于2022-10-31得票数 0
我想优化gensim以在Window7中运行Window7
1C编译器
我按照以下指令安装gensim：
pip install --upgrade gensim
然而，在这个页面()中，它是说在安装gensim之前需要C编译器。
在安装gensim之前，请确保您有一个C编译器，以使用优化(编译) doc2vec培训(70x加速比博客)。
我应该在使用pip之前做些什么吗？
2个BLAS
在本教程中，说
训练时间
如果使用BLAS库，这应该不会超过3秒。如果没有使用BLAS库，这应该不超过2分钟，所以如果您重视时间，请使用BLAS。
因此，为了优化，我似乎不得不安装
浏览 3提问于2017-10-31得票数 0
回答已采纳
2回答
我有一个不同酒店的评论数据集。我正在尝试使用酒店的评论来查找类似的酒店。因此，我使用Doc2vec算法来实现这一点。 有没有办法使用Gensim而不是使用Gensim的most_similar()函数来测量Doc2Vec模型的精度
浏览 44提问于2020-04-04得票数 1
回答已采纳
2回答
对于如何将Doc2Vec(使用Gensim)用于IMDB情感分类数据集，我感到困惑。在对语料库进行训练后，得到了Doc2Vec嵌入，并利用该模型建立了Logistic回归模型。我如何使用它来为新的评论做预测？sklearn -以色列国防军有一种转换方法，可用于训练数据训练后的测试数据，其在Gensim Doc2Vec中的等效性是什么？
浏览 6提问于2019-12-27得票数 0
回答已采纳
当我试图找出与我的示例文档最相似的文档时，我使用的是预先训练好的doc2vec模型。它给出了不支持的操作数类型错误。
from gensim.models import Doc2Vec
filename = "doc2vec.bin"
doc1 =["This is a sample document."]
model = Doc2Vec.load(filename)
inferred_vector = model.infer_vector(doc1)
sims = model.docvecs.most_similar(positive=[inferre
浏览 0提问于2019-03-22得票数 0
尝试使用Gensim的doc2vec时，有一个很大的障碍。
我导入gensim.models.doc2vec.Doc2Vec并在一组tweet上成功地对其进行了培训。我能够很好地提取我的文档向量，使用模型[‘DOC_0123.’“。
我现在的问题是，我试图为一个新的、看不见的文档获取向量表示，这样我就可以将该向量反馈到分类器中。据我所知，使用doc2vec进行此操作的唯一方法是infer_vector()。
然而，当我试图调用这个方法时，我会得到以下内容：
AttributeError: Doc2Vec对象没有属性“infer_vector”
我能够使用doc2vec文档中描述的所有其他方法：
浏览 6提问于2015-08-27得票数 2
我使用doc2vec模型构建文档向量，如下所示。
from gensim.models import doc2vec
from collections import namedtuple
dataset = json.load(open(input_file))
docs = []
analyzedDocument = namedtuple('AnalyzedDocument', 'words tags')
for description in dataset:
tags = [description[0]]
words = descrip
浏览 1提问于2019-07-22得票数 1
回答已采纳
对于gensim(1.0.1) doc2vec，我尝试加载google预先训练过的单词向量，而不是使用Doc2Vec.build_vocab。
wordVec_google = gensim.models.KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model0 = Doc2Vec(size=300, alpha=0.05, min_alpha=0.05, window=8, min_count=5, workers=4, dm=0, hs=1)
浏览 2提问于2017-07-11得票数 1
1回答
我正在用下面的用例研究一个句子相似算法:给定一个新句子，我想从给定的集合中检索它的n个最相似的句子。我正在使用Gensim v.3.7.1，我已经培训了word2vec和doc2vec模型。后者的结果优于word2vec，但我在使用Doc2Vec模型执行高效查询时遇到了困难。该模型使用分布式的单词实现包(dm = 0)。
我过去经常使用内置方法model.most_similar()来推断相似性，但是一旦我开始使用更多的数据进行训练，这是不可能的，而我想要对这些数据进行查询。也就是说，我想在我的训练数据集的子集中找到最相似的句子。我的快速修正是用余弦相似度将新句子的向量与集合上的每个向量进行比
浏览 0提问于2019-05-14得票数 3
回答已采纳
1回答
我试图检查doc2vec模型-- doc2vec_model.accuracy(questions-words)的语义和语法性能，但是它似乎自以来就不再起作用了，他说，自从gensim package.It中的3.3.0版本给出了这个错误消息以来，它就被废弃了。
AttributeError: 'Doc2Vec' object has no attribute 'accuracy'
虽然它能很好地应用于word2vec模型，但除了doc2vec_model.accuracy(questions-words)之外，还有什么方法可以做到吗？还是不可能？
浏览 0提问于2018-04-28得票数 0
回答已采纳
我试图使用doc2vec制作gensim示例的文档向量。我通过了TaggedDocument，它包含9个文档和9个标记。
from gensim.test.utils import common_texts
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
idx = [0,1,2,3,4,5,6,7,100]
documents = [TaggedDocument(doc, [i]) for doc, i in zip(common_texts, idx)]
model = Doc2Vec(documents, vector_
浏览 1提问于2021-07-31得票数 0
回答已采纳
我正在使用gensim的Doc2vec从新闻文章中学习特性。我可以成功地训练我的文件。但是，我很难从模型中检索文档向量以供进一步处理。
示例代码(直接采用)：
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
from gensim.test.utils import common_texts
documents = [TaggedDocument((doc), [i]) for i, doc in enumerate(common_texts)]
model = Doc2Vec(documents, vector_size=
浏览 0提问于2018-12-15得票数 2
1回答
我有大约9000个文档，我正在使用Gensim的doc2vec嵌入我的文档。我的代码如下：
from gensim.models import doc2vec
from collections import namedtuple
dataset = json.load(open(input_file))
docs = []
analyzedDocument = namedtuple('AnalyzedDocument', 'words tags')
for description in dataset:
tags = [description[0]
浏览 15提问于2019-07-20得票数 0
回答已采纳
1回答
Doc2Vec通用情感分析数据集
、、、、
我试图建立doc2vec模型，使用gensim + sklearn对短句子(如评论、推特、评论等)进行情感分析。
我下载了，和。
然后将其归纳为积极、消极和中立三大类。
然后，在上述数据上建立了gensim doc2vec模型，从而得到分类神经网络的输入向量。
并利用sklearn模型对我的测试数据进行了预测，从上述三组数据中分别得到了约10%的数据。
不幸的是，结果并不像我预期的那样好。大部分的教程似乎只专注于一个特定的任务，‘只分类亚马逊评论’或'twitter情绪‘，我无法找到任何更普遍的目的。
有人能分享他/她在这方面的想法吗？
浏览 1提问于2018-10-16得票数 0
回答已采纳
我正在用doc2vec实现一个简单的gensim，而不是a word2vec
我需要删除停止词，而不丢失正确的顺序列表的列表。
每个列表都是一个文档，正如我对doc2vec所理解的，模型将有一个TaggedDocuments列表作为输入。
model = Doc2Vec(lst_tag_documents, vector_size=5, window=2, min_count=1, workers=4)
dataset = [['We should remove the stopwords from this example'],
['Otherwise th
浏览 0提问于2021-04-25得票数 0
回答已采纳
我的任务是将文档向量模型投入生产。我是一个R用户，所以我的原始模型在R中。我们的途径之一是用Python重新创建代码和模型。
我对Doc2vec的Gensim实现感到困惑。
在R中工作的过程如下：
离线
单词向量是使用text2vec包中的函数(即GloVe或GlobalVectors )在大型语料库上训练的，这给了我一个大的Word矢量文本文件。
在ML步骤发生之前，使用来自Doc2Vec库的TextTinyR函数将每个文本从一个更小、更具体的训练语料库中转换成一个向量。这不是机器学习的步骤。没有模特受过训练。Doc2Vec函数有效地聚合了句子中的单词向量，其意义与找到向量
浏览 45提问于2021-06-17得票数 1
回答已采纳
2回答
我已经使用gensim在我自己的语料库上训练了一个doc2vec和相应的word2vec。我想使用带有单词的t-sne来可视化word2vec。如图所示，图中的每个点也带有"word“。
我在这里看到了一个类似的问题：
在它后面，我有这个代码：
导入gensim将gensim.models导入为g
from sklearn.manifold import TSNE
import re
import matplotlib.pyplot as plt
modelPath="/Users/tarun/Desktop/PE/doc2vec/model3_100_newCorpus60
浏览 1提问于2017-05-04得票数 20
回答已采纳
我想比较两个字符串之间的相似性，我可以用word2vec模型或gensim中的doc2vec模型来计算wmd距离。但我不能理解doc2vec模型的wmd是如何工作的。
def preprocess(doc):
return doc.lower().split()
s1 = 'i would like five rooms'
s2 = 'i would like four rooms'
s1 = preprocess(s1)
s2 = preprocess(s2)
model1 = gensim.models.KeyedVectors.load
浏览 17提问于2019-07-18得票数 1
我训练了一个doc2vec (gensim.models.Doc2Vec)模型，现在我使用了这一行：
print(dict([(model.index2word[i], similarity) for i, similarity in enumerate(model.similar_by_word('igdumd32.dll@0x', topn=False))])['igdumd64.dll@0x'])
但是它会产生这样的错误: AttributeError：'Doc2Vec‘对象没有属性'index2word’
我使用gensim 1.0.1
浏览 3提问于2017-03-31得票数 3
回答已采纳
我最近偶然发现Gensim中添加了doc2vec。如何在doc2vec中使用预先训练好的词向量(例如，在word2vec原始网站中找到的)？
或者，doc2vec是从用于段落向量训练的相同句子中获得单词向量吗？
谢谢。
浏览 1提问于2014-12-14得票数 44
3回答
我正在尝试使用doc2vec进行文本分类，但是在导入之后，当我试图在一个函数中使用它时，它显示doc2vec in not defined。请帮助我确定应该安装哪些库才能使用doc2vec。
这里我有两个列，分别叫做Action(文本或句子)和Category(实际标签)。
from gensim.models import Doc2Vec
import gensim
from gensim.models.doc2vec import TaggedDocument
def label_sentences(corpus, label_type):
labeled = []
for
浏览 103提问于2020-05-29得票数 0
我使用Gensim Doc2vec模型来训练文档向量。我打印出了“好”这个词的表示，但我发现每个时代，我发现没有更新！虽然我打印了id为'3‘的文档的表示形式，但每个时代都不同！
我的代码如下，不知道发生了什么。
model = gensim.models.Doc2Vec(dm = 0, alpha=0.1, size= 20, min_alpha=0.025)
model.build_vocab(documents)
print ('Building model....',(time4-time3))
for epoch in range(10):
mod
浏览 2提问于2016-08-04得票数 1
只需阅读gensim页面上的doc2vec命令。
我对命令“intersect_word2vec_format”很好奇。
我对这个命令的理解是，它允许我将经过预先训练的word2vec模型中的向量值注入到我的doc2vec模型中，然后使用预训练的word2vec值来训练我的doc2vec模型，而不是从我的文档语料库生成单词向量值。结果是，我得到了一个更精确的doc2vec模型，因为我使用的是经过预先训练的w2v值，与相对较小的文档语料库相比，该值是从更大的数据集生成的。
我对这个命令的理解是否正确？
浏览 9提问于2017-09-02得票数 2
回答已采纳
我正在尝试建立一个大约有10k个句子的doc2vec模型，然后我将使用这个模型在一些新句子的模型中找到最相似的句子。
我已经使用我拥有的语料库(10k个句子)训练了一个gensim doc2vec模型。这个模型可以在一定程度上告诉我一个新句子是否与语料库中的一些句子相似。但是，有一个问题:新句子中可能存在语料库中不存在的单词，这意味着它们没有单词嵌入。如果发生这种情况，预测结果将不会很好。据我所知，经过训练的doc2vec模型确实有一个文档向量矩阵和一个单词向量矩阵。因此，我的想法是加载一组预先训练的词向量，其中包含大量的单词，然后训练模型以获得文档向量。这有意义吗？是否可以使用gensim？
浏览 1提问于2019-07-12得票数 0
本文利用Doc2Vec对某一段进行了分析，希望得到列车数据的确定性向量表示。基于，我似乎需要设置参数"seed“和"workers"，以及Python3中的PYTHONHASHSEED环境变量。
import os
from gensim.models.doc2vec import TaggedDocument
from gensim.models import Doc2Vec
def main():
# Check whether the environment variable has been set successfully
print(os
浏览 0提问于2019-06-12得票数 0
回答已采纳
在gensim网站()上的doc2vec教程中，创建了一个包含全文的语料库，然后在该语料库上训练模型。它看起来像这样：
[TaggedDocument(words=['hundreds', 'of', 'people', 'have', 'been', 'forced', 'to', 'vacate', 'their', 'homes', 'in', 'the', 'southern',.
浏览 1提问于2020-02-22得票数 1
我将训练后的Doc2Vec模型存储到磁盘中，然后当我尝试从磁盘加载模型时，它显示了一些错误 from gensim.models.doc2vec import Doc2Vec
from gensim.test.utils import get_tmpfile
def save_d2v_to_disk(model,fname):
fn = get_tmpfile(fname)
model.save(fn)
def load_d2v_from_disk(fname):
fn = get_tmpfile(fname)
model = Doc2Vec.load(f
浏览 31提问于2020-04-15得票数 0
我正在尝试使用gensim的doc2vec来创建一个模型，该模型将被训练成一组文档和一组标签。标签是手动创建的，需要将其放入培训程序中。到目前为止，我有两个列表:一个句子列表，以及一个与该句子对应的标签列表。我需要特别使用doc2vec。以下是我迄今所尝试过的。
from gensim import utils
from gensim.models import Doc2Vec
tweets = ["A tweet", "Another tweet", "A third tweet", ... , "A thousandth-somet
浏览 0提问于2018-07-09得票数 0
回答已采纳
我试图在doc2vec和word2vec中使用gensim。
由于PV方法可以同时生成word2vec和doc2vec，所以我认为PV是正确的模型。
因此，我通过指定PV-DM的gensim来创建一个使用dm=1的模型。
我的问题如下：
当我在word2vec对象上调用train时，train模型会和doc2vec一起被训练吗？？
似乎属性wv包含word2vec，甚至在培训之前就可用。这是word2vec的静态版本吗？
我还创建了DBOW模型，并注意到它还包含wv。这也是我在上一个问题中提到的word2vec的静态版本吗？
浏览 0提问于2019-06-06得票数 2
回答已采纳
1回答
使用Gensim提供的Word2vec和Doc2vec方法，他们有一个使用BLAS、ATLAS等来加速的分布式版本(details )。但是，它是否支持GPU模式？如果使用Gensim，可以让GPU正常工作吗？
浏览 131提问于2016-09-18得票数 20
https://radimrehurek.com/gensim/models/doc2vec.html
例如，如果我们训练过doc2vec
"aaaaaAAAAAaaaaaa“-”标签1“
“bbbbbbBBBBBbbbb”-“标签2”
我们可以推断“aaaaAAAAaaaaAA”标签1使用Doc2vec吗？
我知道Doc2vec可以训练单词向量和标签向量。使用这个向量，我们能推断出在哪个标签中没有看到的句子(训练单词的组合)吗？
浏览 0提问于2016-03-09得票数 16
回答已采纳
我目前正在尝试实现一个使用doc2vec向量的神经网络，然后使用它进一步工作。我有一台机器，它只允许我使用tensorflow (这是一个要求！)，所以我需要一个模型来将句子/段落转换为向量。
我知道gensim的doc2vec和实现。我对gensim的实现有经验，但它显然没有在后端使用tensorflow。然而，如果没有几个小时/几天的调试，后一个链接似乎不起作用。
我会帮助任何链接和建议！
浏览 3提问于2018-05-18得票数 1
使用Gensim的Doc2Vec如何找到Doctag和infer_vector()之间的距离
非常感谢
浏览 1提问于2018-09-25得票数 1
回答已采纳
我正在尝试训练一个使用gensim的Doc2Vec模型，它有114百万个独特的文档/标签和大约3M个单词的词汇量。我在Azure上有115 on的Ram linux机器。当我运行build_vocab时，迭代器解析所有文件，然后抛出内存错误，如下所示。
Traceback (most recent call last):
File "doc_2_vec.py", line 63, in <module>
model.build_vocab(sentences.to_array())
File "/home/meghana/.local
浏览 7提问于2017-08-29得票数 1
回答已采纳
我已经构建了一个gensim Doc2vec模型。让我们称它为doc2vec。现在，我想根据我的doc2vec模型找到与给定文档最相关的单词。
例如，我有一个关于"java“的文档，标签为"doc_about_java”。当我请求类似的文档时，我得到的是与java相关的其他编程语言和主题的文档。所以我的文档模型工作得很好。
现在我想找出与"doc_about_java“最相关的单词。
我遵循闭合问题的解决方案，它给出了看似随机的单词，"java“甚至不在前100个相似单词中：
docvec = doc2vec.docvecs['doc_about_jav
浏览 1提问于2018-03-07得票数 0
1回答
什么是doc2vec训练迭代？
、、、、
我是doc2vec的新手。我最初试图理解doc2vec，下面提到的是我使用Gensim的代码。正如我想要的那样，我得到了两个文档的经过训练的模型和文档向量。
然而，我想知道在几个时代再培训这一模式的好处，以及如何在Gensim中做到这一点？我们可以使用iter或alpha参数来完成它，还是必须在一个独立的for loop中进行训练？请让我知道我应该如何修改下面的代码，以训练20个时代的模型。
另外，我想知道word2vec模型也需要多个训练迭代。
# Import libraries
from gensim.models import doc2vec
from collections impo
浏览 3提问于2017-10-18得票数 3
回答已采纳
我正在尝试训练一个嵌入到预处理段落上的Doc2Vec单词。我已经删除了标点符号，并执行了标记化、pos标记和分块。
import nltk
from nltk import word_tokenize, pos_tag, ne_chunk
from gensim.models.doc2vec import Doc2Vec
ne_tree = ne_chunk(pos_tag(word_tokenize(sent_pun)))
model = Doc2Vec(ne_tree)
当我运行Doc2Vec模型时，我得到了错误"AttributeError：‘树’对象没有属性‘单词’“。应该
浏览 6提问于2018-07-20得票数 0
3回答
我有两个目录，我想从其中读取它们的文本文件并标记它们，但我不知道如何通过TaggedDocument来做到这一点。我认为它可以作为TaggedDocument(字符串，标签)工作，但这显然不起作用。
这是我的代码：
from gensim import models
from gensim.models.doc2vec import TaggedDocument
import utilities as util
import os
from sklearn import svm
from nltk.tokenize import sent_tokenize
CogPath = "./F
浏览 36提问于2017-07-16得票数 16
我所拥有的用例是拥有一组“未投票”的文档和“被否决”的文档，并使用这些文档在搜索中重新排序一组结果。
我正在使用gensim ，并且能够运行most_similar查询word和获取匹配的单词。但是，如果向量是由上述doc向量的向量和获取的，那么如何获取匹配的关键字呢？
浏览 1提问于2018-01-15得票数 0
回答已采纳
我正在使用gensim doc2vec。我想知道是否有任何有效的方法来了解doc2vec的词汇表大小。一种粗糙的方法是计算单词总数，但是如果数据是巨大的(1GB或更多)，那么这将不是一种有效的方法。
浏览 5提问于2017-01-12得票数 7
回答已采纳
在我为doc2vec培训找到的所有示例中，文档是唯一标记的。当许多文档共享相同的标签时会发生什么？
gensim的TaggedDocument接受同一文本的列表标签。这意味着我们可以为同一文本设置多个标签。然而，我还不清楚在同一个标签下使用支离破碎的文本是否是一个好做法。你仍然可以训练和获得嵌入。但它们好吗？
例如，我在这里发布的问题有一个标题、一个详细的描述和一个标签列表。我如何为doc2vec建立模型以找到类似的问题？
请注意，有些标记不在标题中，也没有在描述中。将他们纳入doc2vec培训的最佳方法是什么？洗牌然后用标题和描述连接起来？还是把它们作为单独的条目保存在同一个标签下？
浏览 0提问于2017-05-22得票数 4
回答已采纳
我有一个用gensim训练过的超过98892个文档的word2vec模型。对于没有出现在句子数组中的任何给定句子(即，我在其上训练模型的集合)，我需要用该句子更新模型，以便下次查询它时会给出一些结果。我是这样做的：
new_sentence = ['moscow', 'weather', 'cold']
model.train(new_sentence)
并将其打印为日志：
2014-03-01 16:46:58,061 : INFO : training model with 1 workers on 98892 vocabulary and
浏览 1提问于2014-03-02得票数 38
1回答
由于我在中提出的问题，我的代码正在耗尽内存。然后，我编写了第二段代码，使其具有一个可迭代的alldocs，而不是内存中的所有alldocs.我根据的解释修改了我的代码。我不熟悉流的概念，我无法解决我得到的错误。
此代码读取给定path.The上下文的所有文件夹的所有文件，每个文件的文件名及其上下文包含在两个lines.For实例中：
会址09-en0010-07-00000
鸽子，剪贴画，剪贴画，图片，图片，自由鸟，印度，网页图标，剪贴画，偶然发现了
google书签雅虎书签php脚本java脚本jsp脚本许可脚本html教程css教程
第一个代码：
# coding: utf-8
浏览 1提问于2017-02-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
