from gensim.models import word2vec
sentences = word2vec.Text8Corpus('TextFile')
model = word2vec.Word2Vec(sentences, size=200, min_count = 2, workers = 4)
print model['king']
输出向量是“king”的上下文向量还是“king”的单词嵌入向量？怎样才能同时获得“king”的上下文向量和“king”的单词嵌入向量？谢谢!
浏览 3提问于2016-09-09得票数 6
1回答
从单词中创建新单词嵌入所需的单词
、、、、
我已经使用计数向量器为一些文本数据创建了word2vec。现在，我想将生成的单词(表示常见含义/方面)中的某些单词分组到新的单个单词中，从而找到新的word2vec表示。我该如何解决这个问题？ from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
import numpy as np
A = {'some_text': ('cat is red and fat', 'dog is blue hairy thin','horse i
浏览 17提问于2021-10-12得票数 1
我有一个任务要做的模型，寻找同义词和上下文相关的词。例如，如果我输入：
“‘car”它应该生成-> 'vehicle’
“‘sun”和“sea”可以产生“海滩”，或与前两个词相关的词。
因此，到目前为止，我使用了word2vec和nltk来生成示例。但由于我不是NLP方面的专家，我发现很难使用其他算法或构建我的神经网络体系结构。如果有人能给我其他的建议和一些解释，我会很感激，这可能是有用的。
浏览 0提问于2020-03-19得票数 4
不知道为什么 我网站用CDN用户登录有点问题 用户用QQ登录 登录后首页却显示不出该用户的 名称 余额等信息了。我被迫关掉 所有文件加速 把他设置为0 请问这样是不是只加速文件？[图片]j建议腾讯云增加个关键词链接识别 包含该关键词链接 就不缓存
浏览 410提问于2015-06-02
我正在做一个项目，在这个项目中，我必须用文字制作一个图表。我想用一个共同的同义词来代替意思相近的词。例如，如果一个文本中出现了“谋杀”、“杀死”和“屠宰”。我想用一个通用的同义词(可能有一点不同的意思)来代替所有这些，比如“Kill”。我如何在Python中做到这一点？
我尝试过NLTK同义词集，但想不出一种方法来将所有相似的单词替换为同义词。
浏览 2提问于2019-04-04得票数 0
2回答
我正在研究关键词提取，现在我能够创建一些特征，并运行候选短语以及训练机器学习模型使用随机森林进行分类的特征。 出于好奇，我想尝试深度学习，因为我想手动删除特征提取层，我想让它自己找出特征，并通过传递一些文本文档和每个文档的相关关键短语(1/0是否正确)来生成模型。我想知道，是否有任何训练模型接受纯文本而不是浮点值，如果不是，我如何通过将句子和关键短语转换为浮点值并传递给训练模型来实现同样的目标 甚至尝试使用Keras Sequential模型创建模型(给出了示例) model = Sequential()
model.add(Dense(18, input_dim=14, init='
浏览 18提问于2019-05-03得票数 3
我使用Python中的gensim包加载训练有素的Google word2vec数据集。然后，我想使用k-方法在我的单词向量上找到有意义的集群，并为每个集群找到有代表性的单词。我正在考虑用它对应的向量最接近一个星系团的质心来表示这个星系团，但不知道这是否是个好主意，因为我的实验并没有给我带来好的结果。
我的示例代码如下：
import gensim
import numpy as np
import pandas as pd
from sklearn.cluster import MiniBatchKMeans
from sklearn.metrics import pairwise_dist
浏览 2提问于2017-07-02得票数 4
在本研究中，作者发现，Word2Vec产生了两种类型的嵌入(输入和输出)。
那么，您可以很容易地在gensim word2vec中使用syn1属性。但是在gensim fastText的情况下，syn1确实存在，但是由于fastText的概念是基于子字的，所以不可能通过匹配索引从输出矩阵中得到单词的向量。你知道用输出矩阵计算向量的其他方法吗？？
浏览 0提问于2018-12-04得票数 0
1回答
在跳频图中，我们预测上下文词。这是应用softmax函数之前的输出层，它是一个单词数V，其中V是字典大小。但是每个单词都表示为一个向量。所以我们在输出层有V矢量。现在，我们要将softmax应用到这些向量中，得到维数V的向量，其中每个分量代表一个输入词出现的概率。但是，我们如何将softmax函数应用于向量呢？根据定义，软件极大函数只输入一个向量，但每个V向量都是选择的维数N。
📷
浏览 0提问于2023-04-26得票数 0
2回答
我在计算fastText产生的嵌入上的余弦相似度时遇到了以下错误： /home/kgarg8/anaconda3/envs/CiteKP/lib/python3.6/site-packages/scipy/spatial/distance.py:721: RuntimeWarn
ing: invalid value encountered in float_scalars
dist = 1.0 - uv / np.sqrt(uu * vv) 相关代码片段： # fa
浏览 54提问于2021-11-06得票数 0
回答已采纳
2回答
使用LDA的相似单词
、、、
我希望将LDA算法应用于语料库，以便在给出一个单词或短语作为输入时找出相似的单词。如何做到这一点？
另外，LDA会忽略文档中单词的顺序吗？它是否也忽略了文档在语料库中的顺序？
也可以使用一些其他策略来搜索相似的单词。文档中单词的顺序并不重要，因为我使用的是文档的语言，也就是说，我的文档是一个单词的袋子，单词的顺序并不重要。
浏览 1提问于2017-06-27得票数 0
我正在寻找一个简单的"hack“来实现以下想法:我想让一个特定的单词人为地出现在每个单词的上下文中(潜在目标是尝试使用word2vec进行有监督的句子分类)。
最好的例子是：
假设我有这样一句话："The dog is in the garden"，a window of 1。
因此，我们将获得以下pais (target，context)：
(dog, The), (dog, is), (is, dog), (is, in), etc.
但我想提供给word2vec算法的是：
(dog, The), (dog, is), **(dog, W)**, (is, dog)
浏览 18提问于2017-06-28得票数 1
回答已采纳
我正在使用Word2Vec模型来根据我的数据制作一个向量器。我的数据有自定义/业务定义的同义词单词列表，我希望我的NLP模型应该考虑这个列表。例如，如果"A“是"B”的同义词，那么如果我试图用Word2Vec找到"A“的同义词，那么它应该给出"B”的100%匹配。
我可以尝试不同的NLP模式，以及如果我能够达到上述要求。
浏览 3提问于2021-02-11得票数 0
回答已采纳
我需要连接条件满足词的前一个词和后一个词。具体地说，就是那些符合逗号条件的人。
vector <- c("Paulsen", "Kehr,", "Diego", "Schalper", "Sepúlveda,", "Diego")
#I know how to get which elements meet my condition:
grepl(",", vector)
#[1] FALSE TRUE FALSE FALSE TRUE FALSE
所需输出：
浏览 13提问于2019-10-25得票数 3
回答已采纳
我是个新手，不是以英语为母语的人，所以理解Gensim的word2vec和doc2vec有些困难。
我认为这两个都给了我一些与我要求的查询词最相似的词，由most_similar()(经过训练)。
如何区分必须使用word2vec或doc2vec的情况
有没有人能用简短的词解释一下不同之处？
谢谢。
浏览 7提问于2017-03-16得票数 19
我使用如下的most_similar()方法来获取与给定单词相似的所有单词：
word,score= model.most_similar('apple',topn=sizeofdict)
AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？
另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。
浏览 2提问于2016-01-19得票数 5
5回答
矢量与矢量图形
、、
编程语言中使用的向量(例如数组)与矢量图形之间的关系(如果有的话)是什么？
他们为什么要分享向量这个词呢？它是否代表了它们本质上的一些相似的方面，还是巧合？
当考虑到这一点时，位图图像会更适合向量图形这个词，因为它是由像素数组表示的。
浏览 18提问于2009-12-09得票数 1
我使用了SpaCy的预训练模型“en_core_web_lg”来寻找一组值和属性之间的余弦距离。我想形象化一个词和另一个词之间的关系，非常类似于聚类。
在这里，列是我试图找出相似性评分的属性，而行是我试图找出它最有可能被分类的属性的值。
浏览 0提问于2019-10-17得票数 3
1回答
我正在尝试查找两个文档(包含大约15000条记录)之间的相似度分数。 我在python中使用了两种方法: 1. TFIDF (Scikit learn) 2. Word2Vec (gensim，谷歌预训练向量) Example1 Doc1-单击"Bills“选项卡 Doc2-单击"CHAPS“选项卡 第一种方法给出0.9分。第二种方法给出1分 Example2 文档1-请参阅以下要求： Doc2-请参阅以下要求 第一种方法给出1分。第二种方法得到0.98分 有人能告诉我： 为什么在Example1中，Word2Vec会给出1，尽管它们非常不同 而在Example2中，Word
浏览 41提问于2019-08-23得票数 0
1回答
你好，我正在构建一个用于文本旋转的python程序。我读过关于GloVe，word2vec，doc2vec或text2vec的文章。我知道他们所做的就是把每个词表示成一个语义向量。
所以我想，如果我训练一个GloVe，我可以用它来寻找同义词，或者更多的东西？
编辑:我想出了一个策略：
首先，我训练一个doc2vec模型。目标是建立词组的语义向量。
然后我使用我原来的段落输入。逐字逐句地用同义词(由nltk或其他同义词db提供)随机更改它。最后，在旋转一个单词之前，我计算更改段落的doc2vec，并计算原始段落矢量化的距离。只有当距离很小时，我才会改变同义词。
你觉得怎么样？
浏览 0提问于2016-07-04得票数 3
1回答
对于数据集中的每一个产品，我都有很多“搜索关键字”。我试着根据产品的“搜索关键词”对产品进行聚类。
我想要做的是将这些关键字集群到“相似意义”的集群中，并创建集群的层次结构(按照每个集群的搜索总数之和排列)。
一个例子-“女装”-最好包含以下关键词:女装、1000名女装、300件女装、50件女装、6件女装、2件。
我是NLP的初学者。你对NLP技术有什么建议吗？如有任何帮助，我们将不胜感激：)
浏览 2提问于2020-01-27得票数 3
回答已采纳
1回答
我有一个数据集。此数据集仅由单词组成。我必须对这些单词进行矢量化。我已经搜索了单词矢量化算法。词袋，word2wec，tf-idf词袋，word2wec，tf-idf是对句子中的单词进行向量化的过程。但是我没有句子。我只想说几句话。那么我该如何实现向量化单词的过程呢？
浏览 1提问于2019-03-20得票数 0
1回答
假设我有一个由评论列组成的数据集，每个评论恰好有100个单词，那么训练我的模型可能很容易，因为我可以简单地对每个评论的100个单词中的每个单词进行标记化，然后将其转换为数字数组，然后使用input_shape=(1,100)将其提供给序列模型。但在现实世界中，评论的大小从来都不一样。如果我使用像CountVectorizer这样的函数，那么句子的结构是不保留的，一个热编码可能不够有效。
那么，怎样才能正确地预处理这个特定的数据集，以便将其输入到可训练的NN中呢
浏览 1提问于2020-05-07得票数 1
2回答
我目前正在开发一个基于Twitter内容的推荐系统，并对4亿条推文进行了预先培训的word2vec模型。
我将如何使用这些词嵌入来创建一个文档/tweet级嵌入，然后根据他们发布的tweet获得用户的嵌入呢？
我最初打算将这些词平均在具有字向量表示的tweet中，然后将文档/tweet向量平均以获得用户向量，但我不确定这是否是最优的，甚至是正确的。任何帮助都是非常感谢的。
浏览 0提问于2018-11-30得票数 1
回答已采纳
嗨，我是NLP领域的新手，最近对lda2vec感兴趣。
在阅读了之后，我尝试使用他发布的代码，但自定义了单词矢量生成部分。
我喜欢使用预训练的嵌入，但不知道应该在哪里修复，因为我也不擅长编码。
有什么建议吗？
浏览 0提问于2018-08-29得票数 0
Word2vec和GloVe是两种最著名的词嵌入方法。许多工作指出，这两个模型实际上彼此非常接近，并且在某些假设下，它们对语料库中的词的共现的ppmi进行了矩阵分解。
尽管如此，我还是不明白为什么这些模型需要两个矩阵(而不是一个)。我们不能用同样的U和V吗？这是梯度下降的问题，还是有其他原因？
有人告诉我，这可能是因为一个词的嵌入u和v应该足以代表一个词很少出现在它自己的上下文中的事实。但我不太清楚。
浏览 0提问于2018-03-13得票数 13
1回答
我有一些关于Word2Vec的问题：
是什么决定了结果模型向量的维数？
这些向量的元素是什么？
如果我已经对每个词的意思都有文本，我可以使用Word2Vec来解决多义问题(state =管理单元与state =条件)吗？
浏览 0提问于2018-07-13得票数 1
回答已采纳
我下载了一个"glove.txt“格式的单词嵌入训练，并将其作为gensim.models.keyedvectors.Word2VecKeyedVectors类型的模型导入，这要归功于下面的文档：
但是我想要一个gensim.models.word2vec.Word2Vec类型的模型
有没有办法将其转换或直接导入为所需的格式？
浏览 18提问于2021-03-10得票数 0
回答已采纳
1回答
我在玩弄Spacy中的相似函数，并观察到一些我不理解的东西：
import spacy
nlp = spacy.load('en_core_web_sm')
doc1 = nlp("Honda Civic Toyota")
doc2 = nlp("Honda Civic Toyota car Christian God")
for token in doc1:
print (token.text, doc1[0].similarity(token))
for token in doc2:
print (token.text,
浏览 0提问于2018-04-28得票数 3
1回答
Word在TSNE图中多次出现
、、、、
绘制嵌入TSNE结果的单词时，单词会多次出现。
我正在降低Word2Vec单词嵌入的维度，但是当我绘制最相似单词的子集的结果时(手动输入几个我想要的最相似的单词)，相同的单词会多次出现：
from sklearn.manifold import TSNE
words = sum([[k] + v for k, v in similar_words.items()], [])
wvs = model.wv[words]
tsne = TSNE(n_components=3, random_state=0, n_iter=10000, perplexity=29)
np.set_printop
浏览 13提问于2019-08-05得票数 0
回答已采纳
2回答
我想根据用户在搜索框中输入的单词来确定用户的个性特征。下面是一个例子：
搜索术语：“计算机”
人格/描述符检测到：分析性、逻辑性、系统性、条理性
据我所知，这项任务是极其重要的.我以前使用过WordNet，但我不确定它是否包括每个名词节点的形容词云。词性标注本身是一种野兽，所以我不确定建立自己的语料库和寻找与关键字共存的形容词词频率是最好的主意，但我将在下面解释。
我目前正在处理维基百科的转储，在删除了停止词(或者，of，to，a，等等)之后，处理每一篇文章的频率。我的想法可能是寻找形容词(使用WordNet表示词性标注)和名词在整个语料库中的共存(例如。形容词逻辑常与名词computer共
浏览 5提问于2012-07-16得票数 5
回答已采纳
1回答
我了解word2vec的技术细节。
我不明白的是，为什么语义上相似的词应该有很高的余弦相似度。
据我所知，一个特定嵌入的好处是在浅薄的任务中看到的，比如单词类比。我无法理解最大程度的余弦相似度与好的词嵌入之间的关系。
浏览 0提问于2018-01-25得票数 4
2回答
我注意到AI社区将各种张量称为512-d，意思是512维张量，其中“维度”一词似乎意味着单个数据点的表示中有512个不同的浮点值。例如，在512-d字嵌入中，表示用于表示一个英文单词的浮点数的512个长度向量，例如。
但它不是512个不同的维度，它只是一维向量？为什么dimension一词的使用方式与往常不同？
当我们使用术语conv1d或conv2d，它们是一维和二维上的卷积时，一个维度被用在数学/科学中的典型用法中，但是在词嵌入上下文中，一维向量被认为是512个d向量，还是我遗漏了什么？
为什么过度使用术语dimension？在机器学习中，什么上下文决定了dimension在机器学习中的意
浏览 3提问于2020-06-15得票数 3
回答已采纳
我没有大量的数据来训练词语的相似性，例如，“热”比“冷”更类似于“温暖”。然而，我喜欢在一个相对较小的语料库~100个文档上对doc2vec进行培训，这样它就可以对我的领域特定文档进行分类。
让我以这个玩具为例来详细说明一下。假设我只有4个训练医生，分别是“我喜欢热巧克力”、“我讨厌热巧克力”、“我喜欢热茶”和“我喜欢热蛋糕”。如果有一份测试文件“我喜欢热巧克力”，我想，doc2vec总是会返回“我喜欢热巧克力”。最接近的文件。如果word2vec已经提供了“崇拜”与“爱”非常相似的知识，那么这种期望将是真实的。然而，我得到的最相似的文件是“我讨厌热巧克力”--这太奇怪了！
任何关于如何避免这
浏览 1提问于2020-02-18得票数 2
回答已采纳
假设我正在使用Word2Vec训练(Gensim) min_count=5模型。文档了解了min_count的功能：
忽略总频率低于此的所有单词。
min_count对上下文的影响是什么？让我们说，我有一个经常使用的句子(min_count > 5)和很少出现的单词(min_count < 5)，并加上f和i：
这(f)是(f) a (f)测试(i)句(i)，(f)在这里(i)显示(f)。
我只是编出了哪个词是经常使用的，哪个词不是用来演示的。
如果我删除了所有不常用的单词，我们就会得到一个完全不同的上下文，从这个上下文中可以训练word2vec。在这个例子中，您的
浏览 0提问于2018-06-06得票数 3
回答已采纳
2回答
我阅读了这篇论文，并在谷歌上搜索了学习方法的任何好例子(或者更有可能是学习过程)。
对于word2vec，假设有语料库语句
我每天早上带着妈妈包好的饭盒上学。
然后，在窗口大小为2的情况下，它将尝试使用周围的单词来获得“学校”的矢量。
'to'，‘to’，'with'，‘午餐’
现在，FastText说它使用子字来获得向量，所以它肯定是使用n克子词，例如n=3，
‘c’，'sch'，'cho'，‘呼’，'ool'，‘学校’
到现在为止我明白了。但目前还不清楚其他单词是否被用于“学校”的学习。
浏览 0提问于2018-04-13得票数 6
回答已采纳
1回答
欧几里德距离是否衡量语义相似性？
、、、、
我想衡量句子之间的相似度。我可以使用sklearn和欧几里得距离来衡量句子之间的语义相似度吗？我还读到了关于余弦相似性的文章。有人能解释一下它们与度量的区别吗?使用的最佳方法是什么？
浏览 0提问于2018-11-11得票数 2
2回答
SpaCy的相似性是如何计算的？
、、、、
初学者NLP问题在这里：
.similiarity方法是如何工作的？
哇spaCy太棒了！它的tfidf模型可以更容易地进行预处理，但是w2v只有一行代码(token.vector)？-太棒了！
在他的和andrazhribernik的“我们”中，可以运行在令牌、sents、单词块和文档上的.similarity方法。
在nlp = spacy.load('en')和doc = nlp(raw_text)之后，我们可以在令牌和块之间执行.similarity查询。但是，在这个.similarity方法的幕后正在计算什么呢？
SpaCy已经有了非常简单的.vector，它根据Gl
浏览 29提问于2017-09-21得票数 3
回答已采纳
神经科学仍在试图“找到”心智(和语言)如何“工作”。是否有任何理论将(低维)嵌入空间(如word2Vec)与心智(语言)模型联系起来？有认知语言学理论吗？
浏览 0提问于2021-04-27得票数 0
回答已采纳
2回答
我随身带着各种各样的餐馆标签，我也有一些与餐馆无关的词。如下所示：
vegan vegetarian pizza burger transportation coffee Bookstores Oil and Lube
我有大约500个标签。我想知道是否有办法选择与食品选择相关的类似标签，而省略诸如石油和润滑油、运输之类的词语。
我试过使用word2vec，但是其中一些单词不止一个，无法找到正确的方法。
蛮力的方法是手动标记它们。但是，我想知道是否有一种使用NLP或Word2Vec将所有相关标签聚在一起的方法。
浏览 1提问于2019-08-17得票数 0
回答已采纳
1回答
word2vec、glove和elmo之间的区别是什么？根据我的理解，它们都是用来训练单词嵌入的，对吗？
浏览 42提问于2019-06-18得票数 1
大多数单词嵌入并不是“查看”反义词。例如，在许多单词中，它们将“独立”和“独立”(例如)的向量放置得相当接近--实际上与“独立”和“自主”等同义词一样接近。因此，很容易将同义词识别为近距向量，但是如何识别反义词，或者通常与反义词一起工作？有一些罕见的论文试图开发嵌入算法“意识到”反义词(只是网络搜索词嵌入反义词)。但是我正在使用非常强大的标准，并且已经接受了大规模数据嵌入库的培训。有没有解决办法，以某种方式处理标准嵌入，但使他们不“盲目”反义词？谢谢!
浏览 0提问于2019-09-22得票数 2
1回答
NLP提取关联词
、、
我是NLP算法的新手。我正在使用法语的python 3。我想从属于一起的文本中提取一组单词。例如“左脚”“瓶装水”。如何找到从文本/句子中提取一组单词的规则。
(附言:我是法国人，如果我不能很好地表达自己，很抱歉)
谢谢
浏览 1提问于2018-02-22得票数 0
1回答
我知道在Word2Vec中，字向量的长度可以编码像词频这样的属性。在这种情况下，我们可以看到两个词向量，例如同义词，具有相似的含义，但在我们的语料库中使用的长度不同。
然而，如果我们规范了单词向量，我们就保留了它们的“意义方向”，并且我们可以将它们聚在一起:意义。
按照这一思路，同样适用于Doc2Vec中的文档向量。
但我的问题是，如果我们想对文档向量进行聚类，那么是否有理由而不是对文档向量进行规范化？在Word2Vec中，我们可以说我们想要保持单词的频率属性，对于文档是否有类似的东西？
浏览 4提问于2019-09-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
