当矩阵太大而无法进行常规操作时，如何删除DFM中的零条目？
在DFM（Data Frame Matrix）中，当矩阵太大而无法进行常规操作时，可以采取以下方法删除零条目：
- 稀疏矩阵压缩：对于大规模的矩阵，通常会存在大量的零元素。可以使用稀疏矩阵压缩算法，将矩阵中的零元素进行压缩存储，从而减少存储空间和计算开销。常见的稀疏矩阵压缩算法有CSR（Compressed Sparse Row）和CSC（Compressed Sparse Column）等。
- 利用分布式计算框架：对于超大规模的矩阵，可以利用分布式计算框架进行处理。将矩阵划分为多个子矩阵，并利用分布式计算框架（如Hadoop、Spark等）进行并行计算和处理。通过分布式计算，可以充分利用集群的计算资源，加速矩阵操作和删除零条目的过程。
- 基于GPU加速计算：对于需要进行大规模矩阵操作的场景，可以利用GPU进行加速计算。GPU具有并行计算的优势，可以显著提高矩阵操作的速度。通过使用GPU加速计算库（如CUDA、OpenCL等），可以利用GPU进行矩阵操作和删除零条目的计算。
- 分布式存储和计算：对于超大规模的矩阵，可以采用分布式存储和计算的方式进行处理。将矩阵存储在分布式文件系统（如HDFS）中，并利用分布式计算框架进行计算。通过分布式存储和计算，可以充分利用集群的存储和计算资源，实现高效的矩阵操作和删除零条目。
腾讯云相关产品推荐：
- 腾讯云分布式文件存储（CFS）：提供高可靠、高性能的分布式文件存储服务，适用于大规模数据存储和计算场景。详情请参考：腾讯云分布式文件存储（CFS）
- 腾讯云弹性MapReduce（EMR）：提供基于Hadoop和Spark的大数据分析和处理服务，支持分布式计算和存储。详情请参考：腾讯云弹性MapReduce（EMR）
- 腾讯云GPU云服务器：提供基于GPU的高性能计算服务，适用于需要进行大规模矩阵操作和计算的场景。详情请参考：腾讯云GPU云服务器
- 腾讯云对象存储（COS）：提供高可靠、高可扩展的云端对象存储服务，适用于存储大规模矩阵数据。详情请参考：腾讯云对象存储（COS）
以上是针对删除DFM中的零条目的一些解决方案和腾讯云相关产品推荐，希望对您有所帮助。
相关·内容
我有以下问题:我将语料库转换为dfm，这个dfmm有一些零个条目，我需要在拟合LDA模型之前删除这些条目。我通常会这样做： OutDfm <- dfm_trim(dfm(corpus, tolower = TRUE, remove = c(stopwords("english"), stopwords("german"), stopwords("french"), stopwords("italian")), remove_punct = TRUE, remove_numbers = TRUE, remove_separa
浏览 4提问于2021-01-13得票数 0
回答已采纳
1回答
考虑一下这个简单的例子
dfm1 <- tibble(text = c('hello world',
'hello quanteda')) %>%
corpus() %>% tokens() %>% dfm()
> dfm1
Document-feature matrix of: 2 documents, 3 features (33.3% sparse).
2 x 3 sparse Matrix of class "dfm"
features
d
浏览 0提问于2019-05-19得票数 0
回答已采纳
我正在使用quanteda构建两个文档特征矩阵：
library(quanteda)
DFM1 <- dfm("this is a rock")
# features
# docs this is a rock
# text1 1 1 1 1
DFM2 <- dfm("this is music")
# features
# docs this is music
# text1 1 1 1
但是，我希望DFM2具有一组特定的特性，即来自DFM1的特性：
DFM2 <-
浏览 5提问于2017-10-05得票数 1
回答已采纳
2回答
我使用的是R编程语言。我正在尝试遵循本教程(https://cran.r-project.org/web/packages/tidytext/vignettes/tidying_casting.html)中的说明，学习如何将“术语文档矩阵”转换为“语料库”。但是，本教程中提供的解释对我来说并不清楚，我也不确定如何做到这一点。 使用公开可用的莎士比亚戏剧，我创建了术语文档矩阵，如下所示： #load libraries
library(dplyr)
library(pdftools)
library(tidytext)
library(textrank)
library(tm)
#1st d
浏览 25提问于2021-05-05得票数 0
1回答
我有一个维度为2656242 x 630566的大标记dfm。我想把它转换成矩阵，但是对它的任何操作都会给出以下错误
asMethod(object)中的错误:文件./Core/ Cholmod _dense.c中的cholmod错误“问题太大”，第105行
到目前为止，我的代码如下：
Booker_PreSale = Samp2 %>% filter(Booking_Status=="Booker" & Pre_Post_Sale=="Pre-Sale")
Non_Booker_PreSale = Samp2 %>% filter(Boo
浏览 4提问于2020-08-05得票数 0
removeCommonTerms函数是TM包的函数，因此
removeCommonTerms <- function (x, pct)
{
stopifnot(inherits(x, c("DocumentTermMatrix", "TermDocumentMatrix")),
is.numeric(pct), pct > 0, pct < 1)
m <- if (inherits(x, "DocumentTermMatrix"))
t(x)
else x
浏览 4提问于2017-01-11得票数 1
1回答
有两个矩阵。第一个是维数为(85,7794,64)的数据矩阵，第二个是维数为(85,7794)的flashing。我必须根据特定条件下的闪烁矩阵提取部分数据，这在下面的代码中提到。条件性能是毫无疑问的，但是当我尝试将提取的数据(维度为(20,64))插入到维度为(85,3600，64)的预定义存储矩阵(3600，因为应该从数据中提取维度为(20,64)的180部分数据，因此180*20 =3600)时，会出现下面提到的错误。如果有人能帮助解决这个问题，那就谢谢了。 错误： ValueError:无法将输入数组从shape (20,64)广播到shape (0,64) storage_matr
浏览 20提问于2020-12-09得票数 0
2回答
我有很多矩阵的列表，比如说my_list。我想检查这些矩阵中是否有一个只有零s作为它的元素，如果是的话，列表中的哪个矩阵有这种情况。
library(R.utils)
output_vec <- vector()
for(i in 1:length(my_list)){
asZero(as.vector(my_list[[i]]))}
这给了我真正的谬误，但是，我无法返回所有零元素的矩阵索引。我很感激你在这方面的帮助。
浏览 5提问于2021-07-20得票数 2
回答已采纳
我正在Matlab上编写最小二乘非负解恢复上下文中的代码，我需要知道我的矩阵和数组中的非零元素的数量(没有更多的细节，因为这个问题并不那么重要)。
matlab上的NNZ函数可以做我想做的事情，但是我需要更多关于Matlab对“零元素”的看法的信息，它可能是0本身，也可能是像1e-16这样的数字零，或者更少。
有人知道关于NNZ函数的信息吗，因为我无法获得原始脚本
谢谢。
PS :我不是Matlab方面的专家，所以如果这是一个非常简单的任务，请接受我的道歉。
我试过"open“，在Matlab上，但是我只得到了一个注释代码行的小脚本.
浏览 0提问于2019-05-21得票数 2
回答已采纳
我在这里使用quanteda，并发现当我从文档特征矩阵转换到主题模型时，我丢失了一些文档。有没有人知道这是为什么，或者我如何防止它？在后面的分析中，它给我带来了一些问题。这段代码从dfm的构造开始到转换。当我运行nrow(dfm_counts2)时，我得到199,560行。但是在转换到dtm_lda之后，只有198,435个？
dfm_counts <- corpus_raw %>%
dfm(tolower = TRUE, remove_punct = TRUE, remove_numbers=TRUE,
remove = stopwords_and_singl
浏览 0提问于2020-12-09得票数 1
1回答
当我尝试打开RStudio时，它在这个环境中打开，我无法打开任何文件，因为它看起来像是RStudio正在加载这个大矩阵。 我只想打开RStudio，从一个干净的环境开始，上面没有.rmd文件 ? 我已经删除了所有.RData文件和.Rhistory文件，卸载并安装了R和RStuido，但它仍然打开了环境中的所有.rmd文件和大型列表
浏览 50提问于2020-01-23得票数 1
如何考虑其他变量 我正在R中使用quanteda进行分类任务，除了词袋之外，我想包括一些变量供我的模型考虑。例如，我计算了基于字典的情绪指数，我想包括这些变量，以便模型考虑它们。 这些是我为每个文档创建的索引。 dfneg <- cbind(negDfm1@docvars$label , negDfm1@x ,posDfm@x , angDfm@x ,
disgDfm1@x)
colnames(dfneg) <- c("label","neg" , "pos" , "ang" , "disg")
浏览 27提问于2019-04-01得票数 1
回答已采纳
1回答
Monte模拟无法识别连通图
、、、、
我正在编写蒙特卡罗模拟，它计算了使n个顶点图连通所需的最小有向边数的期望值。它首先从一个全0邻接矩阵开始，添加一个有向边，然后测试这个矩阵是否表示一个连通图。这个过程是循环的，直到一个连通的图被构造，然后它的迭代次数得到那里是一个试验的样本大小。这个程序对于小图似乎是精确的，但是一旦图超过10个顶点，在连通图已经被构造之后，它就会不断地添加顶点。本质上，该算法在大型图上没有足够早地停止。
似乎可能的罪魁祸首是isConnected函数，但我不完全确定。如有任何建议，将不胜感激。
import numpy as np
import math
import random
# Randomly a
浏览 2提问于2016-04-06得票数 3
回答已采纳
text2vec中只有指定的单词列表才能实现文本矢量化和实现dtm的语法是什么？
如何仅在指定的特征上矢量化和生成文档术语矩阵？如果这些特性没有出现在文本中，变量应该保持为空。
我需要生成与我运行建模的dtm中的列完全相同的术语文档矩阵，否则我不能在新文档上使用随机森林模型。
浏览 1提问于2017-07-28得票数 0
回答已采纳
1回答
我试着做个指纹分析。
我必须使用下面的代码将其转换为适当的格式
然而，在这种情况下，我不知道为什么我从最初的输入中丢失了2-3个文档。
dtm <- convert(myDfm, to = "topicmodels")
因此，我可以将主题与初始数据框合并
我想我可以使用dfm，但它在lda()中是不可接受的格式。
toks <- toks %>% tokens_wordstem()
myDfm <- dfm(toks, ngrams = 1)
不幸的是，我不能提供一个示例输入，因为它大约有30000行。如果我对一个5行的小示例进行测试，则该解决方案工作得
浏览 5提问于2019-08-19得票数 0
1回答
今天，我调试了我的代码，发现我的worldviewproj很大(很抱歉，它无法读懂)：
{ 4.91479736e+010，-6.29708390e+010，-863636224,432034112 }
这是第一行，我试图调试我的代码，因为我的应用程序没有显示任何内容。我的世界矩阵是恒等矩阵，我的视图矩阵也是巨大的。
那么我的问题是，世界观矩阵的范围是多少？或者说，它那么大，而且是别的东西，这是正常的吗？
编辑：我错误地设置了投影矩阵的fovY :)但是，.正如我所说，视图矩阵现在是问题所在:(视图矩阵在每个条目中都有-431602080 )。
编辑2：我可以自己面对！我忘记将计算出
浏览 3提问于2014-09-06得票数 1
回答已采纳
1回答
我正在用监督学习来进行主题检测。然而，我的矩阵非常大(202180 x 15000)，我无法将它们与我想要的模型相匹配。矩阵的大部分由零组成。只有logistic回归起作用。是否有一种方法可以继续使用相同的矩阵，但使它们能够与我想要的模型一起工作？就像我能用不同的方式创建矩阵吗？
这是我的代码：
import numpy as np
import subprocess
from sklearn.linear_model import SGDClassifier
from sklearn.linear_model import LogisticRegression
from sklearn i
浏览 3提问于2016-01-16得票数 5
回答已采纳
3回答
我正在使用opencv将一些matlab代码翻译成c++。我想得到一个满足条件的矩阵的值。我为此创建了一个掩码，当我将其应用于原始矩阵时，我得到了与原始矩阵相同的大小，但掩码中没有0个值。但我的问题是，如何才能仅获取矩阵中的非零值，并将其分配给不同的矩阵。
我的matlab代码是：
for i= 1:size(no,1)
mask= labels==i;
op = orig(mask, :); //op only contains the values from the orig matrix which are in the mask. So orig si
浏览 0提问于2013-11-18得票数 7
我有一个scipy.sparse_matrix A，我想把元素中大小合适的一小部分归零。(在我今天使用的矩阵中，A大约有7000万个条目，我想清零其中的大约70万个条目)。我有几种不同格式的元素，但目前它们位于与A具有0/1值的相同维度的sparse_matrix B中。
如果这些是密集矩阵(编辑: numpy数组)，我可以做A= A-A*B，但我还没有想出任何简单的方法来做这些稀疏矩阵。(或者，除了(a)迭代B中的元素，并在这些元素处将A设置为0，或者(b)将所有内容转换为密集，对于我所拥有的大小而言，几乎无法放入内存...)
浏览 0提问于2013-02-13得票数 4
回答已采纳
2回答
我想从矩阵中删除所有的零，这样包含零的每一行或每一列都将被删除。如下所示:输入是这个矩阵：
np.array([
[1, 2, 3, 4, 5],
[6, 0, 8 ,9,10],
[11,12,13,14,15],
[16, 0, 0,19,20]])
这三个零应该导致第1&3行(基于零的索引)以及第1&2列被删除。输出矩阵应为：
np.array([
[ 1, 4, 5],
[11,14,15]])
到目前为止，我已经尝试过了：
for i in range(0,len(Matrix)):
Matrix[Matri
浏览 2提问于2018-08-06得票数 1
我试图在相当大的数据集中使用topicmodels包中的LDA()。在尝试了修复“nr * nc : NAs产生的整数溢出”和“输入矩阵的每一行至少需要包含一个非零项”的错误之后，我结束了这个错误。
ask<- read.csv('askreddit201508.csv', stringsAsFactors = F)
myDtm <- create_matrix(as.vector(ask$title), language="english", removeNumbers=TRUE, stemWords=TRUE, weighting=wei
浏览 9提问于2015-11-18得票数 1
回答已采纳
2回答
删除符合特定条件的行
、、、
我在MATLAB中有一个矩阵如下：
A = [ 0, 0, 0;
1, 2, 3;
4, 2, 3;
0, 0, 0;
1, 3, 4 ];
我想从第1行和第4行中移除零，这样我就可以得到以下矩阵：
B = [ 1, 2, 3;
4, 2, 3;
1, 3, 4 ];
我所做的是：
for i = 1:length(A)
if (sum(A(i, :)) == 0)
A(i, :) = [];
end
end
我知道问题在于A正在改变大小，这就是问题所在。不幸的是，我无法修复它。你能给我点提
浏览 2提问于2014-12-31得票数 1
回答已采纳
1回答
考虑一下这个简单的例子
tibble(text = c('a grande latte with soy milk',
'black coffee no room',
'latte is a latte',
'coke, diet coke'),
myday = c(ymd('2018-01-01','2018-01-01','2018-01-03','2018-01
浏览 1提问于2019-05-09得票数 1
回答已采纳
2回答
我有一个列填充了零的矩阵，我想将这个矩阵复制到一个新的矩阵中，但是跳过带有零的列。
有什么命令可以帮我吗？我试着用稀疏命令来做这件事，但是我真的不明白那里发生了什么。它跳过零，但是当您想知道在新矩阵中有多少列时，它仍然显示初始大小。
浏览 6提问于2013-09-11得票数 2
回答已采纳
我有一个以matlab格式存储的稀疏矩阵，带有显式的零(取二进制值)。我想组合这些矩阵，并将结果转换为另一种稀疏矩阵格式。我的尝试是保持二进制向量为0，并在调用稀疏矩阵后将其置零。如下所示：
function matlab_to_HB(matName ,fileName ,title , key , type)
data = load(matName);
SMat = data.Problem.A; % the nonzero values
[i,j,v] = find(SMat);
if(isfield(data.Problem,'Zeros'))
zerosMa
浏览 0提问于2018-04-09得票数 0
1回答
我需要创建一个傅立叶矩阵，以便将其应用于一个巨大的矩阵，我需要使用spalloc将其定义为稀疏矩阵。我试过了：
F=dftmtx(N);
但是N太大了，所以我无法创建它。有没有办法解决这个问题？谢谢你的帮助!
浏览 4提问于2015-12-31得票数 1
我正在配置mysql / webserver (2X3.4GHz 6核，96 on )，等待SSD驱动器来到这里，我想知道我是否真的会注意到在SSD上运行操作系统的性能有什么不同？
我意识到SSD会加快启动时间，但是对于96 to的RAM，我不确定它是否只是将整个程序加载到内存中，并且只是偶尔检查物理磁盘来写入日志条目等等。我有两个戴尔星座2 1TB 2.5“驱动器，我打算放在一个RAID 1或也可以使用几个146 1TB 15K SAS驱动器，除非我应该等待。
浏览 0提问于2015-01-28得票数 -3
我试图从给定的二进制矩阵B创建邻域图。邻域图(A)被定义为邻接矩阵
(A(i,j) = A(j,i) = 1)
如果原始矩阵B(i) = B(j) = 1、i和j彼此相邻(左、右、上、下或对角线)。这里，我使用线性下标来访问原始矩阵B。例如，考虑下面的矩阵
B = [ 0 1 0;
0 1 1;
0 0 0 ];
我的A将是9*9图，如下所示
A = [ 0 0 0 0 0 0 0 0 0;
0 0 0 0 0 0 0 0 0;
0 0 0 0 0 0 0 0 0;
0 0 0 0 1 0 0 1 0;
0 0
浏览 0提问于2018-05-24得票数 2
回答已采纳
我有一个稀疏矩阵，当我在R中打开它时，所有应该是0的元素都是像‘这样的点。'，我如何将这个点转换为数字0？也就是说，将其转换为可在后续计算中使用的数值矩阵。
我知道一个命令，可以将所有的元素从NA转换为0：
Mydata[is.na(Mydata)]<-0
但我不知道如何将点转换为0。
浏览 0提问于2014-07-20得票数 3
1回答
我在PySpark中创建了一个大块矩阵，名为mtm，具有85Kx85K维度。我想检查矩阵，以确保它是以我想要的方式创建的。我尝试过不同的路径，它们都失败了，退出代码143或92的内存问题都失败了。
我已经尝试过的选项: 1.将矩阵转换为rdd，并查看第一个条目：
mtm_coor = mtm.toCoordinateMatrix()
mtm_rdd = mtm_coor.entries
mtm_rdd.take(1)
将其保存到文本文件中
mtm_rdd.saveAsTextFile('./mtm.txt')
将其转换为DataFrame
mtm_df = mtm_rd
浏览 2提问于2017-08-22得票数 1
每当我将一个稀疏矩阵的片段乘以一个适当的常量时，我就会丢失矩阵的稀疏性，因为Scipy会开始为每个空条目计算0 * constant，然后用0填充所有空条目。这太愚蠢了。我如何阻止它这样做呢？索引必须是整数或布尔值。他们不能使用:。 举个例子 A = scipy.sparse.csr_matrix([[0, 1], [0, 0]])
print(A, '/n' )
A[[0,0],[0,1]] *= -1
print(A) 结果： (0, 1) 1
(0, 0) 0
(0, 1) -1 A的大小不应该改变。 编辑:由于我似乎不清楚我想要实现的是什么，我想要将稀疏矩
浏览 15提问于2019-01-11得票数 0
2回答
我有一个矩阵，所以每一列都包含一个点的坐标。假设我有以下几点：
p1=(1,1)
p2=(1,2)
p3=(2,3)
那么矩阵应该是这样的：
1 1 0
0 0 1
0 0 0
所有的坐标都是非负的，但它们是无理的。我将坐标乘以10^15 (八度的最大精度)，并将矩阵传递给以下函数：
function MAT = transfer(pairs)
for i = 1:length(pairs)
x = round(pairs(i,1));
y = round(pairs(i,2));
MAT(x,y) = true;
end
end
不幸的是，我得到一
浏览 0提问于2013-01-31得票数 1
我通过文档术语矩阵使用训练数据集来训练我的机器学习模型。我正在尝试预测我的测试数据集，但不幸的是，它包含了训练数据集没有提供的单词。
我的问题是如何实际删除测试数据集中未在培训数据集中找到的单词。
我使用tm包并创建了一个DocumentTermMatrix。
浏览 2提问于2015-12-13得票数 0
回答已采纳
我想在dfm中操作(重命名和组合)特性，如何继续？
原因如下:我想使用一种不同于在Quanteda (通过Python调用的kpss算法)中实现的Porter词干分析器的词干算法。
示例三个单词的句子c("creatief creatieve creatie")将产生一个具有三个特征的dfm (即。( "creatief"，"creatieve"，"creatie")所有的词频都是1。然而，kpss算法会将这些词阻止为"creatie“。如果我能将dfm中的这三个特性组合成一个名为"creatie“的单一特性，并将
浏览 2提问于2017-03-22得票数 2
回答已采纳
我有一个术语文档矩阵。我希望将其子集，并只保留那些出现次数超过一定次数的项，即行和应该大于特定的数字。有什么快速的方法可以做到这一点吗？B.T.W，矩阵很大。
浏览 16提问于2017-03-03得票数 1
1回答
为了简单起见，我将一个非常大的2D空间映射到一个简单的位数组(实际上是200 K左右的成员)。
现在，假设我运行一个小算法，绘制一个给定中心点和半径的1s的“圆”。
这是一个例子，在左边画一个圆，在下一个计算中，它的中心向上移动1。
0000000 0001000
0001000 0011100
0011100 -> 0011100
0011100 0001000
0001000 0000000
0000000 0000000
现在我有很多层的这些地图，在我计算它们之后，我需要把它们“压平”(有点像Photos
浏览 2提问于2017-01-23得票数 1
回答已采纳
5回答
我发现了一个非常好的基于的c#稀疏矩阵实现。
但是当我在3d坐标系中工作时，我需要一个可以用来映射3D坐标系的稀疏矩阵实现。
细节:我在内存中存储了大量的原始形状数据，比如立方体。我确实有大量的数据(大约3000万)，并且我有很多空(零)条目。考虑到我的每个条目花费了1字节的条目，我想实现一个稀疏矩阵，这样我就可以公平地节省内存空间。
注意:快速访问矩阵单元对我来说是一个相当重要的因素，所以我需要在速度和内存消耗之间进行权衡。
浏览 2提问于2011-03-31得票数 4
回答已采纳
我试图在一个稀疏矩阵中逐行查找非零条目的索引: scipy.sparse.csc_matrix。到目前为止，我循环遍历了矩阵中的每一行，并使用
numpy.nonzero()
添加到每一行，以获取非零列索引。但是这种方法需要一个多小时才能找到每行的非零列条目。有没有快速的方法可以做到这一点？谢谢!
浏览 2提问于2014-07-17得票数 7
我的语料库有一个可复制的术语--术语邻接可视化，这是有问题的，它有大约800 K的单词。
我遵循的是术语矩阵仅包含20个术语的，因此，结果是最优的：
我想，我的问题是，我不能把我的术语矩阵缩减到，比如说，我的语料库中最相关的50个术语。我已经找到了一个外部网站的评论，这样可以有所帮助，但我无法使它适应我的需要。在这个注释中，有人说，当我创建术语矩阵时，我必须使用我的界限，所以我以下面的代码结束：
dtm2 <- DocumentTermMatrix(ds4.1g, control=list(wordLengths=c(1, Inf), +
bounds=list(global=c(
浏览 9提问于2016-01-28得票数 1
回答已采纳
1回答
我已经在r的glmnet库中使用套索对13,000行标签训练了一个分类模型。我已经检查了我的准确性，它看起来不错，现在我想对数据集的其余部分进行预测，它有300,000行。我的方法是使用经过训练的模型来标记其余的行。我不确定这是否是做近似标记的最有效的策略。但是，当我试图标记其余的数据时，我遇到了这个错误：
Error in asMethod(object) : Cholmod error 'problem too large' at file ../Core/cholmod_dense.c, line 105
即使我将数据集分解到5000行来进行预测，我仍然会得到相同的错误。
浏览 0提问于2020-04-14得票数 0
1回答
我有一个自定义组件，带有一些已发布的属性，已经在许多项目中使用了一段时间。我想对这个组件做一些特殊的更改，这需要删除这些旧属性，并用新属性替换它们。否则，我不一定要删除属性，但假设我只是简单地将属性的名称从PropName更改为MyPropName。那么，下一次打开任何使用该组件的项目时，它将无法找到PropName。
有没有办法自动转换它呢？或者这是人们必须手动完成的事情？当这些特性的名称发生更改时，维护零部件特性值的正确方法是什么？
我的意思是只在DFM代码中，不一定在源代码中。
浏览 0提问于2012-01-03得票数 10
回答已采纳
全德达问题。
对于一个语料库中的每一个文档，我试图找出字典类别中的哪个词对该类别的总数量有贡献，以及多少。
换句话说，我希望获得每个字典类别中使用tokens_lookup和dfm_lookup函数匹配的特性的矩阵，以及它们在每个文档中的频率。所以，不是分类中所有单词的聚合频率，而是它们各自的聚合频率。
有什么简单的办法吗？
浏览 4提问于2020-07-20得票数 2
回答已采纳
我必须处理一个大小为6004*17842 (doc*term)的大型稀疏矩阵。函数find()已尝试获取其行、列和值，结果已保存为ascii格式。但术语并不是在每个文档中排序的。有没有人能建议我一种对矩阵进行排序并导出排序结果的方法？
浏览 0提问于2010-09-27得票数 2
这是另一个问题的新版本，现在有一个可重现的例子。
我尝试将29117条推文的文档特征矩阵转换为R中的数据框，但得到错误
“asMethod(object)中出错:文件中的Cholmod错误‘问题太大’../Core/cholmod_dense.c，第105行”
dfm的大小约为21MB，有29117行和78294个特征(tweet中的单词根据单词是否出现在tweet中以1或0的列拆分)
##generel info;
memory.size(max=TRUE)
# [1] 11418.75
sessionInfo()
# R version 3.6.1 (2019-07-05)
# Platf
浏览 9提问于2019-10-09得票数 2
回答已采纳
1回答
我正在考虑使用Boost的稀疏矩阵进行以最小内存使用为目标的计算。不幸的是，当我浏览时，它没有包括关于稀疏矩阵实现的内存使用的讨论。我也不确定如何确定稀疏矩阵在任何给定时间使用了多少内存。
稀疏矩阵将使用多少内存？你能引用一个消息来源吗？
如何找出矩阵在给定时间t使用了多少内存？
浏览 1提问于2012-02-15得票数 1
我正在使用Scikit-learn的非负矩阵分解( NMF )在一个稀疏矩阵上执行NMF，其中零个条目是缺失的数据。我想知道Scikit-learn的NMF实现是否将零条目视为0或缺少数据。
谢谢!
浏览 13提问于2017-02-21得票数 2
1回答
从评级生成预测的r函数
、、、
我试图改善我用R写的程序的运行时间--通常，我所做的是给函数一个值的数据框架，并根据特定列上的操作生成一个预测。该函数是与sapply (下面的代码)一起使用的自定义函数。我所做的事情太大了，无法提供任何有意义的例子，所以我将尝试描述对流程的输入。我知道这会限制答案有多有帮助，但我对优化计算预测所需时间的任何想法都感兴趣。目前，我需要大约10秒的时间来生成一个预测(运行sapply中的一行数据)。
mean_rating <- function(df){
user<-df$user
movie<-df$movie
u_row<-which(U_lookup
浏览 0提问于2018-07-18得票数 2
德尔菲7决定不再合作。我在一个相对较小的项目上工作，几乎已经完成了，但是当我为exe文件选择一个图标时，程序抛出了这个错误: RLINK32太多的资源无法处理。
现在，即使是在一个完全空的表单上，每当我试图编译它时，它也会抛出该错误。
浏览 3提问于2013-06-19得票数 0
1回答
我一直在学习线性代数，遇到了高斯消元法。虽然它确实给出了正确的答案，但我不能理解它是如何工作的。因此，我们将每行与其余行进行比较，以查看是否有依赖于当前行的行。但是，如果矩阵中的一行是2行或更多其他行的线性组合，它如何识别？
浏览 4提问于2020-03-04得票数 0
2回答
我有大约75 MB的数据语料库。我试图使用以下命令
tm_map(doc.corpus, removeWords, stopwords("english"))
tm_map(doc.corpus, tolower)
仅这两个函数就至少需要40分钟才能运行。我正在寻找加速的过程，因为我使用tdm矩阵作为我的模型。
我经常尝试像gc()和memory.limit(10000000)这样的命令，但是我无法加快我的进程速度。
我有一个带有4GB内存的系统，并运行一个本地数据库来读取输入数据。
希望能有更快的建议！
浏览 5提问于2016-07-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
