1回答
Keras的词袋嵌入层？
、、、、
我有一个非常简单的Keras模型，如下所示：
model = Sequential()
model.add(Dense(hidden_size, input_dim=n_inputs, activation='relu'))
model.add(Dense(n_outputs, activation='softmax'))
我使用的嵌入是词袋。
我希望将嵌入步骤作为模型的一部分。我想把它当做一个嵌入层...但我不知道是否有可能实现一个词袋模型作为Keras嵌入层？我知道你可以将预先训练好的BOW和GloVe嵌入模型传递给嵌入层，所以我想知道这样的事情是否可以用B
浏览 1提问于2021-02-08得票数 0
1回答
当使用Tokenizer类在keras中标记文本序列时，我们可以指定一个param 'num_words‘来只考虑数据集中的前n个单词。我对此表示怀疑
，，最高值意味着什么？它是否意味着单词的频率或任何其他值，如tf-idf？是在每个文档级别上或通过考虑整个数据集计算的最高值？。
指导任何好的资源或解释的例子将是非常有用的。
浏览 2提问于2020-03-28得票数 0
我不知道这是怎么可能的，但我想计算一个句子中单词嵌入的加权平均值，比如tfidf分数。 它确实是这样的吗，但只有权重： averaging a sentence’s word vectors in Keras- Pre-trained Word Embedding import keras
from keras.layers import Embedding
from keras.models import Sequential
import numpy as np
# Set parameters
vocab_size=1000
max_length=10
# Generate rando
浏览 37提问于2020-09-21得票数 1
最近，我开始阅读更多关于NLP和以下Python教程的内容，以便了解更多关于这个主题的知识。在学习其中一个教程时，我观察到他们使用每个tweet中的稀疏字数矩阵(使用CountVectorizer创建)作为TfidfTransformer的输入，后者处理数据并将其提供给分类器进行训练和预测。 pipeline = Pipeline([
('vect', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', LogisticRegression())
]
浏览 14提问于2019-02-19得票数 2
回答已采纳
给定一个主题，如何计算文档“属于”该主题(即体育)的概率。
这就是我要做的事：
1)我知道与该主题相关的文件中常见的单词(删除所有停止词)，以及包含该词的文档的百分比--例如，如果该主题是体育，我知道：
75% of sports documents have the word "play"
70% have the word "stadium"
40% have the word "contract"
30% have the word "baseball"
( 2)考虑到这一点，以及一个包含大量文字的文档，我如何计算出该文档属
浏览 8提问于2013-07-28得票数 0
回答已采纳
2回答
我正在做我的期末学习项目。
我正在尝试创建Twitter消息的情感分析。
我用的是贝叶斯算法和词袋。
你有一个用PHP编写的词袋算法的例子吗？
我什么也找不到，可能是正面和负面的单词列表或者别的什么
浏览 1提问于2012-01-28得票数 0
回答已采纳
1回答
tokenizer = Tokenizer(num_words=my_max)
我正在使用keras预处理标记器来处理机器学习模型的文本语料库。托卡器的参数之一是定义字典中单词数的num_words参数。如何选择这个参数？我可以选择一个巨大的数字，并保证每个单词都会被包括在内，但是某些只出现一次的单词如果作为一个简单的“词汇表外”标记组合在一起，可能会更有用。设置这个参数的策略是什么？
我的特殊用例是一个处理tweet的模型，所以每个条目都小于140个字符，并且在使用的单词类型上有一些重叠。这种模式是针对kaggle竞争的，目的是提取能体现一种情绪的文本(即“我的老板在欺负我”，还“欺负我”)
浏览 3提问于2020-05-12得票数 2
回答已采纳
我正在寻找某种类型的模块(最好是python)，它允许我为该模块提供一个大约200个字符的字符串。然后，该模块应返回该字符串有多少个正单词或负单词。(例如，爱，喜欢，享受vs.恨，讨厌，坏)
我真的很想避免在自然语言处理中重新发明轮子，所以如果你们知道什么可以让我做我上面描述的事情，如果你们可以分享的话，这将是一个巨大的节省时间的方法。
谢谢你的帮助！
浏览 1提问于2011-01-13得票数 1
回答已采纳
1回答
感兴趣领域:信息提取
这对我来说是非常新的，我正在尝试理解如何设计特征(无论是词汇还是语义)，以便在信息提取中学习关系。
从论文中可以看出，在两个命名实体之间的关系中采用监督学习功能的简单步骤之一是
* The sequence of words between the two entities
* the part of speech tags of these words
* bag of words between the two words
两个实体之间的单词数量不应该根据您正在查看的训练句子而变化吗？那么，如何构建大小不一致的特征向量呢？
例如，请参阅以下两个句子，用于学习具有关系的
浏览 0提问于2016-05-10得票数 2
我最近才开始对机器学习产生兴趣，我有一个特别的问题，我想开始探索。
我想训练一个系统来根据字符串中的内容自动分类一个项目的各种属性。
假设我有一长串各种各样的共同基金，比如：
Ticker Fund Name
------ ---------
ABNAX ABC Bond Fund, Inc: Bond Inflation Strategy
ALYSX ABC Bond Fund, Inc: Credit Long/Short Portfolio; Advisor Class
AGRXX DEF Bond Fund, Inc: Government Reserves Portf
浏览 0提问于2016-07-09得票数 4
回答已采纳
1回答
我需要基于文档的意图对一组文档进行聚类，我计划使用LDA(潜在Dirichlet分配-主题建模)。
我可以从主题建模中获取意图来对文档进行分组吗？有没有其他算法可以根据文档的意图对文档进行聚类。这种使用主题建模进行意图聚类的方法是好的吗？
我一直在尝试LDA算法进行主题建模，能够获得主题列表，但不确定我是否可以将主题视为意图本身。
期望一种根据文档的意图对文档组进行聚类的方法。
浏览 0提问于2019-08-20得票数 0
1回答
我正在研究在处理存储为文本文件的电子邮件时实现词袋方法。我想使用可以指示电子邮件需要回复的关键字，使用二进制分析电子邮件(例如1|0|1|0|0等，取决于是否使用了该单词)，然后获得可以用于不同ML算法的特征向量。
我正在考虑使用PHP来获取特征向量，但我找不到任何现有的实现。有没有可能在PHP中做这样的事情？
浏览 0提问于2013-01-16得票数 0
我希望能得到一个简短的解释，说明TF-国防军是如何产生可用于机器学习的特性的。单词袋和TF-以色列国防军有什么区别？我理解TF-以色列国防军是如何工作的，但不了解如何使用它制作特性，以及如何在分类/回归中使用这些特性。
我正在使用scikit-学习；下面的代码在理论上和实践中实际做了什么？我以我的理解和一些问题来评论它，任何帮助都将是非常感谢的：
traindata = list(np.array(p.read_table('data/train.tsv'))[:,2]) #taking in data for TF-IDF, I get this
testdata =
浏览 2提问于2014-03-03得票数 0
回答已采纳
1回答
我需要解决的问题是将一组较小的图像与一组较大的图像进行“匹配”。更重要的是，我想对它们的相似性进行排名。
我想到的第一个想法是使用sift特性，并发现vl_sift函数做得非常好。在同一个库中，我能够使用vl_ubcmatch来获取两个图像之间的匹配关键点。我现在的问题是获得一个标准来对图像之间的相似性进行排名，以及一个好的策略来将这些方法应用于整个数据库。
你能帮帮我吗？
Note1:我要应用的图像是从车内的摄像头拍摄的，它在城市中进行了一些旅行，并以1帧/秒的帧率采集了图像。我想使用的“相似度”的定义是指相同位置的图像具有较高的相似度。如果我将城镇周围的一些已知位置定义为A、B、C和D，我
浏览 3提问于2013-10-20得票数 0
1回答
下面的代码分析了twitter的情绪:它是积极的、消极的还是中立的。然而，对于许多推文来说，这是相当不准确的，比如如果它包括“有人给了他一个中指索尔特”，我想训练程序认识到中指意味着不尊重，即使它在句子中包括敬礼这个词。
如有任何建议，我们将不胜感激。
导入重新导入tweepy从tweepy导入tweepy从textblob导入TextBlob
class TwitterClient(object):
'''
Generic Twitter Class for sentiment analysis.
'''
def
浏览 2提问于2017-10-30得票数 1
我尝试使用现有的估计器建立一个分类，以预测一件商品是否会售出。 我尝试使用linearClassifier，因为我是Tensorflow和Pyhton的初学者。 我有一个包含价格、类别和大小的数据集，它非常适合数字或类别特征列。但我也有一篇文章的描述，每篇文章只有3-6个单词，根据我的分析，大约有6500个不同的单词。我尝试使用共享嵌入，每个单词有一个类别列，但这不起作用。当我将所有6500列直接添加到模型中时，速度非常慢。 处理描述的最佳方法和最简单的方法是什么？最多使用代码示例。单词顺序并不重要，但例如，如果它来自一个品牌，它会比noname卖得更好。 非常感谢您的回答 编辑:我试着用这
浏览 26提问于2020-04-18得票数 2
1回答
使用机器学习解码回溯
、、、、
我正在尝试解决这样一个问题:每当(在Linux世界中)发生崩溃时，我的文件都包含已解码的回溯( Stack call trace)，并且我有一个唯一的ID来跟踪每次发生的崩溃。
我想构建一个分类器，它将从之前解码的回溯中学习，并预测是否存在当前回溯所见的现有ID。
这是我的第一个机器学习项目。我使用了机器学习，并在python中使用CountVectorizer和TF-IDF方法进行了试验。
我想知道在分类时需要考虑哪些特征，以及适合文本分类的算法来解决这个问题。
浏览 3提问于2017-07-17得票数 4
1回答
我正在检查gensim LDA实现，它说它需要一个语料库和一个语料库字典？
这是什么原因呢？
浏览 36提问于2020-03-08得票数 0
1回答
我是那个领域的新手。最近在twitter数据上做了一个情绪分析。并且遇到了两种方法:1)用于处理文本数据的TextBlob- python库2) BOW (词袋) 它们之间的区别是什么？这两种方法是不同的，还是有相似之处？
浏览 15提问于2020-03-25得票数 0
1回答
VADER NLTK中的词袋
、、、、
我一直在研究VADER，将其作为朴素贝叶斯的情感分析替代品。我知道如何使用NB模型检索一包单词；
from nltk import FreqDist
f = FreqDist(movie_reviews.words())
f.most_common()[:X]
有没有办法可以用VADER实现同样的输出呢？
浏览 14提问于2018-02-26得票数 0
我正在写一些ruby通过wn命令行工具访问wordnet的实验，因为我放弃了让wordnet gem工作。
我希望能够查找词义的频率，最终能够计算出给定单词是名词/形容词/动词/副词的概率。
我尝试过文档，但它并不总是那么明确。
如果不使用wn工具，这是可能的吗？我是不是认为wordnet包含了这些信息？
浏览 0提问于2011-06-17得票数 1
回答已采纳
我有一个包含两列的csv文件：
category, description
文件中有1030个类别，只有大约12,600行
我需要得到一个文本分类模型，在这些数据上进行训练。我使用带有LSTM模型的keras。
我找到了一篇描述如何进行二进制分类的文章，并对其进行了略微修改，以使用几个类别。
我的代码：
import pandas as pd
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Embedding, LSTM
from numpy import array
浏览 0提问于2018-12-29得票数 1
5回答
我正在使用一个大型文本数据集解决预测问题。我正在实现
获得词袋的最好方法是什么？现在，我有各种单词的，但单词的数量太大，无法用于进一步的作业。如果我使用tf-idf标准，那么获取词袋的tf-idf阈值应该是多少？或者我应该使用一些其他的算法。我使用的是python。
浏览 1提问于2013-03-20得票数 20
我最近读了一篇名为“使用深度神经网络进行政治图像分析”的论文，其中作者对图像进行了目标检测。在检测到对象之后，发现对象的字符串(如果它满足一定的概率阈值)被用作训练和测试图像类的随机森林分类器的特征。从论文中，他们试图根据在图像中发现的物体将图像分类为来自共和党或民主党参议院议员。
我正在尝试重新创建类似的东西，但我在寻找实现随机森林的第二个组件时遇到了麻烦。我能够成功地使用两个对象检测组件在图像上运行对象检测，但我在如何将这些组件提供给随机森林的计划中遇到了麻烦。
以下是我的数据框中的特征，为了简单起见，我只是将其分解为一些变量，其中-1,0,1的标签是我想要的标签。
labels_res
浏览 1提问于2019-04-08得票数 1
1回答
我目前正在做一个项目，通过Matlab识别人类的行为/活动，用于老年人的监视。
我正在阅读不同的论文，以了解如何识别这些动作，我有跨运动历史图像和运动能量图像进行模板匹配。我已经看到了MHI和MEI的结果，但在获得这些结果之后，您如何实际使用它们来识别监控视频中的图像？感谢您提前提供帮助！！
浏览 4提问于2015-09-23得票数 0
嗨，我想用机器学习模式使用点击率来提取英语文本中的单词。现在我知道了文本的点击率，我知道如何提取每个文本的单词(词)，例如，大约有10000个文本，并且提供了每个文本的点击率。如何为点击率提取单词特征。如何提取关键词，计算每个单词的重要性，以计算点击率。
浏览 0提问于2018-04-09得票数 0
我感兴趣的是为正文做自动标记。我是NLP的新手，所以我想听听你们在这方面所熟悉的一些方法。
任何建议都将不胜感激。
浏览 1提问于2010-06-18得票数 0
1回答
我正在尝试查找两个文档(包含大约15000条记录)之间的相似度分数。 我在python中使用了两种方法: 1. TFIDF (Scikit learn) 2. Word2Vec (gensim，谷歌预训练向量) Example1 Doc1-单击"Bills“选项卡 Doc2-单击"CHAPS“选项卡 第一种方法给出0.9分。第二种方法给出1分 Example2 文档1-请参阅以下要求： Doc2-请参阅以下要求 第一种方法给出1分。第二种方法得到0.98分 有人能告诉我： 为什么在Example1中，Word2Vec会给出1，尽管它们非常不同 而在Example2中，Word
浏览 41提问于2019-08-23得票数 0
1回答
我试图找出适合不同概率模型的最佳方法(如潜隐Dirichlet分配、非负矩阵分解等)。
查看sklearn文档中的示例，我想知道为什么LDA模型适合TF数组，而NMF模型适合TF-国防军数组。这一选择有确切的原因吗？
下面是示例：
另外，关于如何找到最佳参数的任何技巧(迭代次数、主题数量.)适合我的模特是很受欢迎的。
提前谢谢你。
浏览 1提问于2016-10-21得票数 3
好的，我正在构建一个搜索引擎。以及能够提取相关词的搜索模块。现在我在原始源text.is中有了一个单词及其偏移量的列表，使用levenshtein距离来计算查询字符串和源文本部分之间的差异(从给定的单词偏移量开始，直到查询字符串的长度)，这不是一个好主意。我在想，这会帮助我更快地生成摘录。
它不需要接近搜索等，只需要普通的“任何”和“所有”模式。顺便说一句，结果已经排序了，所以我现在只看摘录一代。谢谢。
浏览 1提问于2009-07-17得票数 0
我使用SQuaD数据集来选择答案范围。在使用BertTokenizer对段落进行标记化之后，对于某些样本，答案的开始和结束索引不再与段落标记中的实际答案跨度位置匹配。如何解决这个问题？一种方法是相应地修改答案索引(以及训练目标)？但是该怎么做呢？
浏览 137提问于2021-03-17得票数 1
2回答
我在学NLP。我试图找出词嵌入和词向量化之间的确切区别。然而，似乎有些文章交替使用这些词。但我认为一定有不同之处。
在矢量化中，我偶然发现了这些矢量器：
CountVectorizer，HashingVectorizer，TFIDFVectorizer
而且，当我试图理解嵌入这个词的时候。我找到了这些工具。
单词袋，Word2Vec
请你简要地总结一下词嵌入和词向量化的区别和算法。非常感谢。
浏览 0提问于2022-03-13得票数 4
回答已采纳
我尝试根据文档的词袋表示对文档进行分类(特征: 1000)。对于分类，我使用支持向量机，似乎有时支持向量机不会终止并无休止地运行。(运行sci-kit: SVC(C=1.0，内核=‘线性’，cache_size=5000，verbose=True))现在我正在寻找一个解决方案，我在考虑应用MinMax-Scaler来获得计算效率高的文档表示。但是，我是否搞砸了我的单词表示与特征规范化的袋子？
提前感谢！
浏览 1提问于2016-05-03得票数 0
1回答
我必须将用py手电筒编写的代码转换为keras (带有tensorflow后端)。但是有一个叫做CrossMapLRN2d的层，它在Keras中没有直接的对应。所以想知道这个层是做什么的，以及如何在keras中实现它。确切的代码行是
nn.CrossMapLRN2d(size=5, alpha=0.0001, beta=0.75, k=1.0)
浏览 0提问于2019-12-19得票数 0
回答已采纳
我仍然是机器学习的新手，刚遇到强大的深度学习库，Keras。
我已经阅读过Keras文档，并且在Github 这里上尝试了很少的Keras示例。我还从几个来源学习了一些深入学习的基本知识和概念，但在CNN和RNN中还没有得到真正的理解，这两个网络看起来非常强大。
因此，为了证明我的假设，我从Keras下载了reuters_mlp.py示例，该示例最初使用简单的MLP网络作为模型。我结合了从imdb_cnn.py例子到reuters_mlp.py例子的CNN思想，并观察了结果。
令人惊讶的是，结果并没有像我预期的那样出来。CNN的表现比简单的MLP网络最差。有人能解释一下为什么CNN的准确性低于
浏览 0提问于2017-05-17得票数 3
回答已采纳
3回答
条件随机场
、、、、
是否有适合于图像分类的二维(二维)条件随机场(CRF)的训练和优化算法？
有没有人用过R ()中的CRF包进行图像分类？我想有一个工作的例子代码的看法。谢谢。
浏览 0提问于2011-10-18得票数 5
1回答
在wordnet或任何其他方式中，是否有可能知道一个单词的哪个含义使用最多。例如，“商品”一词可能更多地用于表示善意，而不是“产品”。或者“键”这个词更多地用于引用真正的键而不是“解决方案”。这个问题的关键是……
有这样的东西吗？？
浏览 4提问于2013-04-01得票数 0
2回答
我是机器学习的新手。我正在尝试使用MLlib的决策树。
谁可以帮助我如何准备多类别分类的mllib决策树输入文件。
我的csv文件的格式为
标签，文本
label_1, text of label 1
label_2, text of label 2
label_3, text of label 3
mllib要求的输入格式为libsvm或labeledpoint。
文件格式中不允许有文本。问题是如何将文本映射到mllib所需的基于数字数据的文件格式，并在以后解释结果。我正在使用java来实现。
问候
浏览 1提问于2014-10-08得票数 2
2回答
我在学分类。我读过关于使用向量的文章。但我找不到一种算法来将包含单词的文本转换为向量。它是关于生成单词的散列并在向量中的散列位置添加1吗？
浏览 0提问于2013-06-12得票数 7
回答已采纳
我想知道在带有GIN/GiST索引的PostgreSQL 9.3中的全文搜索是否使用tf-idf (词频-逆文档频率)。
特别是，在我的词组专栏中，我有一些更受欢迎的词，而有些词则非常独特(即名称)。我想对这些列建立索引，以便匹配的唯一单词的权重将高于普通单词。
浏览 10提问于2013-08-18得票数 7
1回答
我正在使用视觉单词包来对图像的特征进行聚类。到目前为止，我遇到的所有工作都使用BOW对使用SIFT、SURF等计算的特征进行聚类。可能我遗漏了这一点，但是否可以将颜色直方图特征表示为BOW，也可以将面向边缘的直方图特征表示为BOW。
我正在做图像分类器，我想在Opencv中使用带有RGB颜色直方图的SIFT作为特征描述符。所以我想知道将两个特征向量连接成一个并添加到弓是正确的，还是将SIFT特征添加到弓并将直方图特征连接到弓是正确的(我现在使用这个模型，但我想知道哪一个是正确的)。
浏览 1提问于2013-12-10得票数 1
1回答
根据相似度将文本分类为不同的类别
、、、、
我正在处理非常大的文档{新闻+文章}，使用将自然语句建模为类，请看以下示例：
1- The System enables a user to shut down the server remotely ==> class 1
2- The Application allows a customer to to close the machine online ==> (must be also) class 1 , why ?
因为这两个句子有许多相似的同义词{System ~Application，enable~allow，user ~ customer，shut ~ clos
浏览 0提问于2015-08-28得票数 1
1回答
生成等距多维向量作为嵌入矩阵
、、、、
我需要生成一个嵌入矩阵来代替图层。我先验地知道这10个特征之间的相似性(都是等距的)，而且我无法通过训练生成矩阵，因为我没有足够的数据。
要做到这一点，我必须生成10个任意大小的向量(即10)，但它们都具有相同的大小，它们都是等距的，其中一维的值在-1和1之间，所有这些都在python中。
有人知道怎么做吗？
浏览 10提问于2020-08-16得票数 2
回答已采纳
2回答
SQLAlchemy子串滤波
、、、、
我在我的PostgreSQL数据库中存储了几种类型的包：“离合器袋”、“肩包”、“托特袋”。我正在编写一个基于python烧瓶的API端点，用户可以使用它提供一个搜索词，比如“红肩包”或“灰色离合器包”。现在，我想使用SQLAlchemy编写一个查询，以便对于给定的搜索条件，我能够在袋子表中查找该值。我写了这篇文章，但只有当用户输入搜索字符串是复数时，它才能工作，如果用户输入“灰色离合器包”，则不起作用。
categories = db.session.query(Bags.id) \
.filter(literal(search_string).ilike(func.conc
浏览 3提问于2016-06-21得票数 4
回答已采纳
1回答
我有一个代码，关于深入学习的文本预处理：
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
tokenizer = Tokenizer(num_words = 10000)
tokenizer.fit_on_texts(X)
tokenizer.word_index
但是，当我检查tokenizer.word_index的长度时，安全的是得到10000，得到的是13233。X的长度等于11541 (但是，如果需要知道的话，包含11541的数
浏览 9提问于2022-03-06得票数 1
回答已采纳
1回答
我有一个熊猫系列的词频率为一个特定的词跨多个文本摘录，例如10，5，10，5，3，3，2，1.我想要产生一个2列的表格，我想把频率这个词作为键，以及这个频率对它发生的次数。
然后我想把这个画成条形图。
我如何在iPython中使用蟒蛇/熊猫来完成这个任务？
提前谢谢。
浏览 1提问于2013-08-05得票数 2
回答已采纳
1回答
我已经下载了手套训练矩阵，并使用它在Keras层。但是，我需要将句子嵌入到另一个任务中。
我想要计算这个句子中所有嵌入词的平均值。
最有效的方法是什么，因为大约有25000句话？
另外，我不想使用Keras中的Lambda层来获取它们的平均值。
浏览 2提问于2020-06-09得票数 0
回答已采纳
1回答
预测短语而不是下一个单词
、、、
对于我们构建的应用程序，我们使用一个简单的单词预测统计模型(如)来指导搜索。
它使用从大量相关文本文档中收集的一系列ngram。通过考虑前面的N-1词，它提出了5个最有可能的“下一个词”，按概率的降序，使用。
我们希望将其扩展到预测短语(多个单词)，而不是单个单词。然而，当我们预测一个短语时，我们宁愿不显示它的前缀。
例如，考虑输入the cat。
在这种情况下，我们希望做出类似于the cat in the hat的预测，而不是the cat in &而不是the cat in the。
假设：
我们无法访问过去的搜索统计数据。
我们没有标记的文本数据(例如，我们不
浏览 4提问于2017-03-22得票数 10
是否可以将elasticsearch的同义词存储在索引中？或者可以从couchdb这样的数据库中获取同义词列表？我想通过REST-API将同义词动态添加到elasticsearch中。
浏览 1提问于2011-09-01得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
