2回答
我正在尝试用python实现多类感知器。当涉及到多分类时，我已经完全理解了感知器算法的概念，但仍然对我们应该从训练数据中提供的特征向量感到困惑。
这个问题只是一个文本(文档)分类问题。我正在尝试在文本预处理阶段使用单字词频作为感知器的特征。当我基于每个训练文档中的词频为每个文档构建特征时，构建的特征恰好是非常稀疏的(文档中出现的每个标记的词频为0，没有出现的词频为0)。
我的问题是关于这方面的替代方案。有没有更好的构造特征向量的解决方案？
谢谢!
浏览 7提问于2020-02-13得票数 0
1回答
使用nltk实现idf
、、、
假设有这样一句话：“敏捷的棕色狐狸跳过懒狗”，我想从nltk语料库(哪个语料库最通用/最全面)中获得每个单词出现频率的分数。
编辑：
这个问题与这个问题有关： @adi92建议使用idf技术来计算单词的“稀有度”。我想看看这在实践中会是什么样子。这里更广泛的问题是，如何计算一个单词在英语中使用的稀缺性。我知道这是一个很难解决的问题，但尽管如此，nltk idf (使用brown或reuters语料库？？)可能会让我们走上这条路的一部分？
浏览 0提问于2012-07-18得票数 1
回答已采纳
我正在使用快速文本预训练模型进行研究，我需要词频来做进一步的分析。fasttext网站上提供的.vec或.bin文件是否包含词频信息？如果是，我如何获得？
我正在使用load_word2vec_format加载使用model.wv.vocabword.count尝试的模型，它只给你词频排名，而不是原始词频。
浏览 25提问于2019-11-07得票数 2
回答已采纳
有没有人可以给我推荐一些关于PageRank和词频比较的学术论文--反向文档频率。我一直在到处寻找，我只是找到了关于将两者结合起来的论文。
我需要找出Page Rank相对于TF-IDF的优势
浏览 2提问于2012-05-22得票数 1
回答已采纳
我的数据是通过StringToWordVector过滤器传递的。StringToWordVector可以输出二进制存在/不存在指示符、词频或TF-IDF分数。在weka下，这个过滤器的默认输出是什么？
浏览 1提问于2012-06-22得票数 0
回答已采纳
根据我对文档的理解，elasticsearch是如何工作的，它计算词频*不同的词频。它将文本转换为某种术语频率字典，该字典还包括这些术语最频繁的位置的索引。 我要做的不是存储文本，而是存储每行数据的词频。当我简单地上传全文时，搜索效果很好，但在包含文本的10+mil页面的完整解决方案中，搜索效果就不会很好。如果文本内容不相关，那么只存储词频不是更有效吗？ 编辑:数据的匿名性也是相关的，因此我不希望完整的句子和段落存储在外部。
浏览 12提问于2019-03-04得票数 1
System.out.println("Please enter the required word :");
Scanner scan = new Scanner(System.in);
String word = scan.nextLine();
String [] array = word.split(" ");
int filename = 500;
String[] fileName = new String [filename];
int a = 0;
try
{
for(a=0; a&
浏览 1提问于2011-03-08得票数 0
回答已采纳
我正在寻找一个简单的脚本，可以找到给定文档的单词频率(可能通过使用便携式词干分析器)。
有没有什么库或者简单的脚本来完成这个过程呢？
浏览 0提问于2011-09-20得票数 0
回答已采纳
2回答
现在我有了dtm，所以我将dtm转换为频率表
freqs <- as.data.frame(inspect(dtm1))
下面是freqs的外观，它包含一行显示这些单词在文档中的出现频率
I really hate school how can are you hi
4 5 3 2 3 1 4 5 1
我有一个清单
list <- c("hi", "how", "are", "you")
如何根据列表找出词频列表中的词频，
浏览 2提问于2016-01-17得票数 0
我正在尝试使用Google App Engine的搜索API来获取基于关键字的文档。我的文档有两部分:标题和描述。
我读过RescoringMatchScorer的文档，它说它可以根据不同文档部分的加权词频返回分数。但是我不知道如何指定文档各部分的权重。有人能告诉我怎么做吗？
浏览 1提问于2014-08-17得票数 0
1回答
我需要在elasticsearch中检索文档，而不是使用默认的评分函数(如tfidf等)，而只是按词频或词频(而不是idf等)。有没有办法修改它？我能用python做吗？
浏览 0提问于2017-04-12得票数 2
我有一个近两百万份文档的语料库。我想要计算术语在整个语料库中的词频，而不考虑文档边界。 一种天真的方法是将所有文档合并到一个非常大的文档中，并对其进行矢量化。 一种精心设计的方法是使用tm或任何工具构建一个完整的TDM，其中每个术语在每个文档中都有词频，因此在整个语料库中也是如此。我是这样做的： # Build a TDM from the 'corpus' tibble using a filtered 'texts' column:
htgs = VCorpus(VectorSource(subset(x = corpus,
浏览 33提问于2020-12-18得票数 0
回答已采纳
如何使用tensorflow创建预测/计算单词频率的N元语法模型？
假设模型将返回一个与单词频率相对应的值。
frequency = model("word")
print("Frequency of a word: ",frequency)
>>> Frequency of a word: 0.567
浏览 0提问于2019-01-22得票数 0
3回答
有没有一种快速而简单的方法可以从Lucene索引中获取词频，而不是通过TermVectorFrequencies类，因为这需要大量的时间进行大型收集？
我的意思是，有没有像TermEnum这样的东西，它不仅有文档频率，而且还有词频？
更新:使用TermDocs太慢了。
浏览 2提问于2009-03-20得票数 6
回答已采纳
2回答
如何消除主题建模噪声？
、、、
我正在做主题建模，在删除停用词之后，给定的文本语料库在支持词的形式下有很多噪音。这些词具有很高的词频，但通过使用LDA以及其他有用的高频词，无助于形成主题词。怎样才能消除这种噪音？
浏览 1提问于2015-04-20得票数 0
2回答
我有一个单词频率的字典，需要首先按频率排序，然后按字母顺序(如果多个单词具有相同的单词计数，它们将按字母顺序排序，而不是2个单独的排序)字典将单词作为关键字，频率作为值。
我怎么才能做到这一点呢？
提前感谢
浏览 1提问于2017-11-27得票数 0
1回答
你能告诉我如何在weka中表示文本分类的属性或类吗？通过使用什么属性可以进行分类？词频还是仅仅是词频？ARFF格式的可能结构是什么？你能给我举几行这种结构的例子吗？
非常提前感谢您。
浏览 0提问于2011-11-29得票数 8
我想在java中将单词频率数到多个文件/文档。
例如：
a1 = {aaa,aaa,aaa,bbb}
a2 = {aaa, aaa, hhh}
a3 = {aaa, hhh, bbb, bbb}
因此，我想计算每个文件的单词频率：
for a1 file {aaa = 3, bbb = 1}
for a2 file {aaa = 2, hhh = 1}
for a3 file {aaa = 1, hhh = 1, bbb =2}
我有一种方法可以读取file中的单词，然后将<wordname, worcount>存储在LinkedHashMap中。尽管如此，它将计算所有文件的特定单
浏览 2提问于2012-11-21得票数 3
1回答
我对使用Solr分析文档并获取符合特定条件的所有文档的词频很感兴趣。
我尝试过termVectorComponent，但我只能获得单个文档的词频，而不能获得文档组的总词频。
例如，给定以下数据：
{
"id": "1",
"category": "cat1",
"includes": "The green car.",
},
{
"id": "2",
"category": "cat1"
浏览 0提问于2013-05-15得票数 1
我已经在Spark中使用HashingTF创建了词频。我已经为每个单词使用tf.transform获得了词频。
但是结果是以这种格式显示的。
[<hashIndexofHashBucketofWord1>,<hashIndexofHashBucketofWord2> ...]
,[termFrequencyofWord1, termFrequencyOfWord2 ....]
例如：
(1048576,[105,3116],[1.0,2.0])
我可以使用tf.indexOf("word")获取散列存储桶中的索引。
但是，如何使用索引获取单词呢？
浏览 0提问于2015-08-29得票数 17
回答已采纳
1回答
如何计算余弦相似度以使用jdbc完成我的搜索引擎项目。我有表词频查询来存储用户的输入，表词频文档来存储文档的所有信息，我做了计算查询和文档加权。计算余弦相似度后的输出是用户输入的与查询相关的文档的显示。我没有任何想法，也不知道如何计算它，因为它涉及到数据库中的表。
浏览 4提问于2011-04-13得票数 1
1回答
我正在用Python进行LDA分析。我使用了以下代码来创建文档项矩阵
corpus = [dictionary.doc2bow(text) for text in texts].
有没有任何简单的方法来计算整个语料库中的单词频率。既然我有字典，那就是词表，我想我可以把词频和词性匹配起来。
浏览 1提问于2016-06-16得票数 0
回答已采纳
我是第一次学习python，我知道如何使用词频来计算列表中每个唯一变量的个数，如下所示
sentence = ['hello', 'people', 'are', 'the', 'most', 'common', 'word', 'people', 'use', 'for', 'language ', 'learning']
words_freq ={} #dictionary for the coun
浏览 2提问于2020-02-18得票数 0
1回答
文本东京化后的单月不同词频
、、、、
我在NLP上做了一些工作，我做了一些标记化和文本预处理的任务，同时发现：
用于绘制词频的功能：
def len_distribution(X):
x = [len(n) for n in X]
plt.hist(x, bins=len(x))
plt.xlabel('Number of words')
plt.ylabel('Number of texts')
plt.title('Distribution of text length on dataset')
plt.show()
单词频率在标
浏览 4提问于2020-11-17得票数 1
回答已采纳
3回答
我试着用字典来统计给定字符串上的单词频率。可以这样说：
s = 'I ate an apple a big apple'
我知道计算单词频率的最好方法可能是使用collections.Counter。但是我想知道我是否能用字典理解来解决这个问题。
我最初的方法(不懂字典)是
dict = {}
for token in s.split(" "):
dict[token] = dict.get(token, 0) + 1
它工作得很好：
dict
{'I': 1, 'a': 1, 'an': 1, '
浏览 7提问于2016-11-15得票数 2
回答已采纳
2回答
我想要计算存储在HBase中的文档的TF (词频)和IDF (逆文档频率)。
我还想将计算的TF保存在一个HBase表中，也将计算的IDF保存在另一个HBase表中。
你能引导我通过吗？
我已经看过Mahout 0.4上的BayesTfIdfDriver了，但我并没有领先一步。
浏览 3提问于2012-06-09得票数 1
在“文本挖掘与R Silge & Robinson的文本挖掘”的第一章中，R Silge&Robinson提出了以下代码来生成中显示的情节，并将奥斯汀的书中的单词频率(比例)与威尔斯和勃朗特·西斯特的词频进行了比较。
library(gutenbergr)
library(janeaustenr)
library(dplyr)
library(stringr)
library(tidytext)
library(tidyr)
library(scales)
original_books <- austen_books() %>%
group_by(book)
浏览 6提问于2022-09-08得票数 0
回答已采纳
我一直在为Word2vec算法编写经过训练的数据。因为我们需要单词保持原样，所以在预处理阶段我们不会让它们变成小写。因此，有不同变化的单词(如“地球”和“地球”)。
我唯一能想到的方法就是取“地球”和“地球”的平均向量来表示这个词。(因为特征向量的维数相似)
这是个“好”的方法吗？如果不是，有什么好办法来处理这个问题呢？
注意:降低预处理中的所有单词暂时不是一个选项。
编辑:关于特征尺寸是否真的是线性的信息也是有帮助的。
编辑2:将patapouf_ai和yazhi的两个答案结合在一起，结果最好。这些是如何结合起来的？加权平均法改善了结果，但通过缩放的乙状结肠函数将词频进行量化得到了最好的结果
浏览 0提问于2016-05-11得票数 8
回答已采纳
我正在使用Matlab来使用Rocchio分类方法。我有160个txt文档。我已经计算了每个文档中每个单词的词频，因此现在有一个1x160单元格阵列"Set“，它由160个单元格组成，每个单元格中有许多整数(文档中每个单词的词频)。我尝试取每个整数i，并应用下一个公式1+log10(i)来计算词频权重。我想出了下一个代码：
function [tfw]=TFWeighting(Set)
size(Set);
TFW=cell(0);
for i=1:size(Set)
for j=1:size(Set{1,i})
TFW{1,i}(j,1) = 1+log10(S
浏览 0提问于2012-12-03得票数 0
回答已采纳
2回答
基于词频的文本约简算法
、、、、
如何减少PHP中基于单词频率的文本？
例如，如果我有这个文本：
house house house house book book book
它应该简化为这样的东西(或任何类似的形式)：
house house book
因此，这样，最常用的词仍然是房子2，书1。
浏览 4提问于2018-05-07得票数 0
回答已采纳
1回答
我有一篇小文章(文档)，我得到了这个文档中所有标记的单词频率。现在，我希望把文档分解成句子，并得到每个句子的分数。“‘Score”被定义为句子中每个单词的词频之和。
例如，有一篇简短的文章如下：
article = 'We encourage you to take time to read and understand the below information. The first section will help make sure that your investment objectives are still aligned with your current strat
浏览 0提问于2021-04-30得票数 1
回答已采纳
2回答
我有一个简单的程序来计算词频：
#include <iostream>
#include <map>
#include <cctype>
#include <string>
using namespace std;
int main(void) {
map<string, int> words;
map<string, int>::iterator i;
string s;
while (cin >> s) {
transform(s.begin(), s.end(), s.begin(), :
浏览 0提问于2011-11-30得票数 0
回答已采纳
我使用StandardAnalyzer索引我的文本。然而，在查询时，我正在进行术语查询和短语查询。对于术语查询和短语查询，我相信lucene在计算词频和词频方面没有问题.然而，对于像Dirichlet相似这样的模型来说，这是很好的。对于BM25Similarity或TFIDFSimilarity模型，它需要以色列国防军(术语)和以色列国防军(短语)。lucene是如何处理这个问题的？
浏览 2提问于2014-11-21得票数 0
回答已采纳
3回答
在处理文本分类、问答等任务时，从语料库生成的原始词汇量通常太大，包含许多“不重要”的单词。我见过的最流行的减少词汇量的方法是丢弃停用词和低频词。
例如，在gensim中
gensim.utils.prune_vocab(vocab, min_reduce, trim_rule=None):
Remove all entries from the vocab dictionary with count smaller than min_reduce.
Modifies vocab in place, returns the sum of all counts that were
浏览 0提问于2020-02-11得票数 1
我有一个主字典来保存整个语料库的词频，并且为每个文本文件保留单词频率。我循环遍历每个文件，生成每个文件的WF，然后依次更新主字典。我的代码如下。有捷径吗？谢谢!
master_dict = {}
for txtfile in txtfiles:
file_dict = {}
file_dict = get_word_freq(txtfile) #A function is defined
for k, v in file_dict.items():
if k in master_dict:
master_dict[k] +=
浏览 0提问于2019-02-08得票数 1
回答已采纳
3回答
统计R中多个列的词频
、、、
我在R中有一个数据框，它有多个列，其中包含多个单词文本响应，如下所示：
1a 1b 1c 2a 2b 2c
student job prospects money professors students campus
future career unsure my grades opportunities university
success reputation my job earnings courses
浏览 2提问于2018-11-16得票数 1
1回答
基于R文本分析的拼写错误识别
、、、、
我对R中的TM包很陌生，我正在尝试执行一个单词频率分析，但我知道我的源文件中有几个拼写问题，我想知道如何在执行单词频率分析之前修复这些拼写错误。
我已经读了另一篇文章()，但我对其中提出的解决方案有一个疑问:在创建TermDocumentMatrix和词频分析之前，是否可以使用字典(例如，数据框架)在我的语料库中进行几个/所有的替换？
我有一个带有字典的数据框架，它的结构如下：
sept -> september
sep -> september
acct -> account
serv -> service
servic ->
浏览 2提问于2015-05-19得票数 2
回答已采纳
1回答
我有两个矩阵，一个是文本，另一个是文本中的单词频率。我从字频矩阵中删除一行。然后如何使用文本号(从文本矩阵中提取行索引)从单词频率矩阵中提取一行？
例如：
步骤1:文本列表
我有一个行文本列表，其中每一个文本都以其行号来表示：
>>print type(texts)
>>print texts.shape
<type 'numpy.ndarray'>
(53,)
步骤2:根据文本的行号选择文本
我有一个这样的范围：
>>print train_range
>>[ 1 2 3 4 5 6 7 8 9 10
浏览 2提问于2012-09-07得票数 0
我有一个使用jquery DataTables API创建的表。我有一个列，它指示datatable中每个单词的词频。如果频率< 40，那么我希望将该单元格更改为不显示反映单词频率的整数，而是显示为“未排序”。
因此，我需要遍历该列中的每个单元格以检查其中的文本。做到这一点的最好方法是什么？
我在网上查找了一些问题，并尝试写下以下内容，但这告诉我正在尝试查找未定义对象的属性".each“
words_table.column("corpus_rank").nodes().each( function(cell, i) {
console.log(w
浏览 0提问于2017-07-31得票数 1
2回答
Spacy可以训练NER，文本分类。我们可以使用它的功能进行摘要，所以我们可以训练spacy来提高摘要的准确性吗？
浏览 67提问于2021-09-22得票数 0
4回答
编写了一个读句子的程序。然后，该程序打印一个词频表。单词是按字母顺序排列的，每个单词出现的次数是按字母顺序排列的。这些词不区分大小写。该程序有一个接受字符串输入的word_frequencies(words)函数。它从输入字串构建词频字典，并返回词频字典。
def word_frequencies(words):
# Implement the word_frequencies function. The words function parameter is a string.
# Your solution here
freq = {}
for word in word
浏览 8提问于2022-09-25得票数 0
回答已采纳
我有一个很大的单词数据集，我必须计算单词频率的计数。更具体地说，让我们说我有这个词(是，到，现在，看)。单词频率是
be: 1，to: 1，the: 2，现在: 3，见:3
我想要计算频率计数，所以我的输出是：
1: 2
2: 1
3: 2
这能在一个mapreduce过程中完成吗?还是我需要创建一个mapreduce作业来计算频率，另一个创建一个任务来计算计数？
浏览 0提问于2018-03-20得票数 1
回答已采纳
我试图使用下面的代码在文档中找到单词频率。然而，这不是词频，而是返回字符频率。有人能解释原因吗？我正在跟踪一篇获得这段代码的文章，但由于未显示输出，因此无法验证。
sentence1 = [token for token in "hello how are you".split()]
sentence2 = [token for token in "i am fine thank you".split()]
print(sentence1)
from collections import Counter
import itertools
def map_wor
浏览 0提问于2020-04-17得票数 3
回答已采纳
我的任务是从外部文件中读取数字列表并显示其中的统计数据。我最初的计划是计算特定值在代码中出现的次数，但我遇到了两个问题:外部文件的输出与文件中的值不同，并且我无法使用下面的for循环计算代码中的单个数字。提前谢谢。
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
int main(void)
{
FILE *fpointer;
fpointer = fopen("randice.txt","r");
char filename[600];
浏览 1提问于2020-12-14得票数 2
3回答
嗨，这是我计算词频的代码。
System.out.println("Please enter the required word :");
Scanner scan = new Scanner(System.in);
String word = scan.nextLine();
String[] array = word.split(" ");
int filename = 11;
String[] fileName = new String[filename];
int a = 0;
for (a =
浏览 1提问于2011-03-10得票数 1
回答已采纳
我使用gensim来计算给定音符中的单词频率。 在应用以下代码后： from gensim import corpora
dictionary = corpora.Dictionary(sentences)
corpus = [dictionary.doc2bow(text) for text in sentences] 获取语料库，例如：(0，1)，(1，5)，(3，1) ... 我想要的语料库如下：(word_1，1)，(word_2，5)，(word_3，1) ... 所以我想要在语料库中获取单词而不是id单词。 有没有人能告诉我怎样才能将这样的语料库保存为excel文件？
浏览 36提问于2021-05-07得票数 0
我正在做一个项目，它使用Google App Engine的文本搜索API来允许用户搜索包含words字段的文档。我正在使用MatchScorer进行排序，根据的说法，它“根据文档中的词频来分配分数”。
当用户输入类似于"business promo“的查询时，我将其转换为类似于words:business OR words:promo的查询字符串。我本以为这会在只包含其中一个单词的文档之前返回同时包含"business“和"promo”的文档(因为文档说它会根据文档中的词频来分配分数)。但是，我经常看到在包含两个单词的文档之前只包含其中一个单词的结果。
我也尝试过使用
浏览 0提问于2014-04-11得票数 3
2回答
我想存储来自词频的信息，如下所示 Date My_List
02/21/2020 [kitchen, chair] # just an example; I would like to keep only nouns
02/23/2020 [baby, cousin, secret ] # just an example
04/12/2019 [table, book, photocamera, apartment] #just an example …… 在My_list上，有使用频率最高的单词列表。 我的原始数据集
浏览 21提问于2020-08-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
