将一个非常大的稀疏矩阵写入R中的文件
基础概念
稀疏矩阵是指大部分元素为零的矩阵。在处理大规模数据时，稀疏矩阵的存储和计算效率是一个重要的问题。R语言提供了多种处理稀疏矩阵的方法和工具。
相关优势
- 节省存储空间：稀疏矩阵只存储非零元素及其位置，大大减少了存储空间的需求。
- 提高计算效率：在进行矩阵运算时，只对非零元素进行操作，避免了大量零元素的无效计算。
类型
R语言中常用的稀疏矩阵类型包括：
- dgCMatrix：压缩稀疏列矩阵（Compressed Sparse Column Matrix）
- dgRMatrix：压缩稀疏行矩阵（Compressed Sparse Row Matrix）
- dtCMatrix：三元组列表（Coordinate List）
应用场景
稀疏矩阵广泛应用于以下领域：
- 图论和网络分析：图的邻接矩阵通常是稀疏的。
- 文本挖掘和自然语言处理：文档-词矩阵通常是稀疏的。
- 推荐系统：用户-物品评分矩阵通常是稀疏的。
写入文件
将一个非常大的稀疏矩阵写入R中的文件，可以使用Matrix包中的函数。以下是一个示例代码：
# 安装并加载Matrix包
if (!requireNamespace("Matrix", quietly = TRUE)) {
install.packages("Matrix")
}
library(Matrix)
# 创建一个稀疏矩阵
data <- c(1, 2, 3, 4)
row_indices <- c(1, 2, 3, 4)
col_indices <- c(1, 2, 3, 4)
sparse_matrix <- sparseMatrix(i = row_indices, j = col_indices, x = data, dims = c(5, 5))
# 将稀疏矩阵写入文件
writeMM(sparse_matrix, file = "sparse_matrix.mtx")遇到的问题及解决方法
问题：写入文件时内存不足
原因：当矩阵非常大时，可能会超出系统的内存限制。
解决方法：
- 分块处理：将大矩阵分成多个小矩阵进行处理，然后再合并。
- 使用流式处理：逐行或逐块写入文件，而不是一次性将整个矩阵写入。
# 分块处理示例
chunk_size <- 1000
num_chunks <- ceiling(nrow(sparse_matrix) / chunk_size)
for (i in 1:num_chunks) {
start_row <- (i - 1) * chunk_size + 1
end_row <- min(i * chunk_size, nrow(sparse_matrix))
chunk <- sparse_matrix[start_row:end_row, ]
writeMM(chunk, file = paste0("sparse_matrix_chunk_", i, ".mtx"))
}参考链接
通过以上方法，可以有效地处理和存储大规模稀疏矩阵。
相关·内容
1回答
我在R中有一个非常大且稀疏的矩阵，它是用“矩阵”包创建的，我想在python + numpy中处理。R对象是csc格式，如果我使用矩阵包中的函数writeMM导出它，输出如下所示：
%%MatrixMarket matrix coordinate real general
4589 17366 160441
22 1 5.954510725783322
36 1 29.77255362891661
41 1 23.81804290313329
74 1 5.954510725783322
116 1 59.54510725783322
127 1 11.909021451566645
159
浏览 5提问于2015-07-23得票数 1
回答已采纳
我正在尝试在一个非常大的矩阵上做一些k-means聚类。
矩阵大约是500000行x4000个cols，但非常稀疏(每行只有几个"1“值)。
整个文件不适合内存，所以我把它转换成一个稀疏的ARFF文件。但是R显然不能读取稀疏的ARFF文件格式。我还有一个普通的CSV文件格式的数据。
在R中有没有包可以有效地加载这样的稀疏矩阵？然后，我将使用集群包中的常规k-means算法来继续。
非常感谢
浏览 0提问于2010-06-15得票数 9
我用Armadillo来解决一些线性代数问题。它有稀疏矩阵的SpMat<float>和稠密矩阵的Mat<float>。
假设我有稀疏矩阵S_a和S_b，以及稠密矩阵D。我需要计算产生的S_a*S_b和S_a*D，结果在这两种情况下都会很密集。
我可以将稀疏矩阵转换为密集矩阵，然后再进行乘法，但这将是效率低下的(这些矩阵非常大)。有没有办法让Armadillo在不执行中间转换步骤的情况下将结果存储到稠密矩阵中？
浏览 4提问于2017-10-24得票数 0
回答已采纳
1回答
我正在尝试在R中执行社交网络分析，我在使用igraph包从非常大的矩阵创建邻接矩阵时遇到了一些问题。其中一个主要矩阵是10998555876个元素大小(82 Gb) -从具有176881行的数据集创建。
我在运行时得到的错误：
adjacency_matrix <- graph.adjacency(one_mode_matrix, mode = "undirected", weighted = TRUE, diag = TRUE)
如下所示：
Error in graph.adjacency.dense(adjmatrix, mode = mode, weighted =
浏览 3提问于2019-09-27得票数 1
2回答
Sage中的稀疏矩阵
、、、
所以我有一个非常大的矩阵，n= 70.000，充满了RDF。对于正常矩阵，这当然是不可能的。所以我想使用某种形式的稀疏矩阵，矩阵列中的元素在很多情况下都是0，或者所有相同的低RDF。 例如： 0 | 0.1 | 0.2 | 0
0 | 0.1 | 0.2 | 0.1
0.1 | 0 | 0 | 0.1
0 | 0.1 | 0.2 | 0 在此示例中，第一列具有3乘以0，第二列为3乘以0.1，... 如何在Sage/Python中初始化这样的矩阵？
浏览 13提问于2019-04-21得票数 0
如果我有一个1000乘以1000的方阵，Lapack能计算出这个矩阵的特征向量和特征值吗？如果可以，需要多长时间？10,000×10,000矩阵，甚至是1,000,000×1,000,000矩阵的情况又如何呢？
请注意，这些将是主要由0填充的稀疏矩阵(矩阵将是表示社交网络的图)。Lapack中是否有处理稀疏矩阵的特殊过程？我看到了Arpack的建议。但是，这是否允许计算非常大的矩阵？
浏览 13提问于2010-07-21得票数 13
我有非常大的数据集，它几乎有450000行和两行，我想使用python计算邻接矩阵，因为之前我曾尝试在matlab中这样做，但由于数据值太大，它显示了内存错误。我的数据值也是从100开始到45000，
任何人都可以在这个问题上帮助我，因为我是python的新手。
我必须首先使用excel表格或记事本将文件导入python，然后计算邻接矩阵。
浏览 3提问于2010-04-14得票数 0
1回答
我有一个非常大的稀疏矩阵(使用sparse.model.matrix(~.- 1，数据=训练)，并希望在此基础上训练一个朴素贝叶斯模型。
在R中有没有允许我这样做的包？我检查了e1071和klar，但两者似乎都不接受稀疏矩阵作为输入。
除了glmnet之外，还有没有其他包可以接受稀疏矩阵，或者这是我唯一的选择？
浏览 0提问于2013-06-21得票数 4
4回答
我在R中有一个稀疏的Matrix，它显然太大了，我无法在上面运行as.matrix() (尽管它也不是非常大)。所讨论的as.matrix()调用位于svd()函数内部，所以我想知道是否有人知道不需要首先转换为密集矩阵的另一种奇异值分解实现。
浏览 3提问于2011-02-10得票数 10
回答已采纳
2回答
我有一些非常大的矩阵(不包括百万行的顺序)，这些矩阵是无法保存在内存中的，我需要在下降时间内访问这个矩阵的子样本(不到一分钟.)。我开始盯着hdf5和blaze，和numpy和熊猫在一起：
但我觉得有点复杂，我不知道这是否是最好的解决办法。
还有其他解决办法吗？
谢谢
编辑
这里有一些关于我正在处理的数据类型的更多规范。
矩阵通常是稀疏的(< 10%或< 25%的非零单元)。
矩阵是对称的。
我需要做的是：
仅用于阅读的访问
提取矩形子矩阵(大部分沿对角线，但也在外部)
浏览 2提问于2016-02-22得票数 4
1回答
序言
我的框架是Matlab。我有一个非常大的数据矩阵M (size(M) = 30 20 30 20 51 300 )，我需要操作这个矩阵(计算一些关联，平均值，循环移动，插值等等)。
！重要的！：这个矩阵的大部分元素是0或ones！
我的问题是：，因为处理这样一个庞大的矩阵非常耗时，是否可以执行相同的操作，但是在这个矩阵的稀疏形式上呢？当然，我们不应该泄露任何关于零或1的信息(例如，计算平均值或不同元素之间的相关性)。
还有其他方法来处理这些矩阵吗？(巨大的，主要是0和1)
提前感谢！
浏览 0提问于2013-10-14得票数 1
回答已采纳
2回答
C语言中的稀疏矩阵乘法
、、、
我有两个矩阵市场格式的稀疏矩阵文件：
row col val
1 1 3.0
1 2 1.0
2 3 2.0
etc...
目前，我已经将文件分成了6个数组：
row_A[], col_A[], val_A[], row_B[] …
它们分别包含行索引、列索引和值。
我想轻松地将这两个矩阵相乘，而不必首先将它们转换为密集矩阵格式。有没有这样做的算法？
我在Quora上找到了这个伪代码，但我不确定它是不是最好的实现，或者它将如何在C：中实现
multiply(A,B):
for r in A.rows:
for c in A.rows[r]:
fo
浏览 1提问于2018-10-26得票数 2
5回答
我正在用R做一个文本分类任务，我获得了一个大小为22490×12万的文档项矩阵(只有400万个非零条目，小于1%的条目)。现在，我想利用主成分分析( PCA )来降低维数。不幸的是，R不能处理这个庞大的矩阵，所以我将这个稀疏矩阵存储在一个文件中，格式为“matrix”，希望使用其他一些技术来进行PCA。
因此，有人能给我一些有用的库(不管编程语言是什么)，它可以方便地用这个大规模矩阵进行主成分分析，或者自己做一个长和主成分分析，换句话说，首先计算协方差矩阵，然后计算协方差矩阵的特征值和特征向量。
我想要的是计算所有PC(12万)，并只选择前N个人电脑，谁占90%的方差。显然，在这种情况下，我必
浏览 16提问于2012-05-23得票数 18
2回答
我必须创建一个非常大的3D矩阵(例如：500000x60x60)。有没有办法在matlab中做到这一点？
当我尝试的时候
omega = zeros(500000,60,60,'single');
我得到一个out-of-memory错误。
稀疏函数是没有选项的，因为它只适用于2D矩阵。那么，对于高维矩阵，有没有什么替代方法呢？
浏览 3提问于2012-09-28得票数 7
回答已采纳
1回答
我计划使用HDF来存储一个非常大的矩阵，类似于1e6x1e6的浮动。
我需要成批地读取连续行或列的矩阵。
我的问题是，是构造/调整HDF文件以使速度最大化的最佳方式是什么？
以下几点：
我估计在我的系统上读/写HDF中未压缩的全部矩阵大约需要5个小时。这是合理的，但不合理地存储矩阵未压缩，因为它将是几兆字节的大小。
如果矩阵是稀疏的，压缩会导致读取速度比读取未压缩的密集矩阵更快吗？
将矩阵分解成单独的子矩阵数据集会很烦人，因为这会使从原始矩阵读取一行/列或执行矩阵乘法之类的操作变得复杂。因此，如果可能的话，我想避免这样做(除非这给了我很大的速度优势)。
在读了一次矩阵之后，我打
浏览 1提问于2014-04-15得票数 1
1回答
我想要创建一个大的稀疏矩阵，在这个矩阵中，由于内存问题，它的源数据不能完全加载。您可能会认为磁盘上有一个非常大的文件，我们无法读取它。
我想过了，但我找不到从生成器创建稀疏矩阵的方法。
from scipy.sparse import coo_matrix
matrix1 = coo_matrix(xrange(10)) # it works. Create a sparse matrix with 9 elements.
data = ((0, 1, random.randint(0,5)) for i in xrange(10)) # generator example
matrix2 =
浏览 5提问于2014-10-08得票数 2
4回答
布尔值的轻量级矩阵
、、、
我需要实现一个非常大的矩阵，比如标准C中的NxN。该矩阵必须存储真值表，即
matrix[i][j] = [true|false]
我知道我可以简单地使用int矩阵，或者如果使用C99，我可以使用boolean类型，但我正在寻找内存方面最轻量级的解决方案。
浏览 2提问于2012-02-15得票数 2
回答已采纳
我有一个scipy.sparse.csr.csr_matrix，它是TfidfVectorizer()类的输出。我知道我可以以这种方式访问这个矩阵的各个组成部分：
所以如果我有这个矩阵
tf_idf_matrix = vectorizer.fit_transform(lines)
我可以在这里访问各个组件：
tf_idf_matrix.data
tf_idf_matrix.indices
tf_idf_matrix.indptr
如何从Python中保存它--这样我就可以将它加载到MATLAB稀疏矩阵中？或者如何将其转换为密集数组，并将其保存为一个numpy.ndarray文本文件--这样我就
浏览 6提问于2013-12-31得票数 1
回答已采纳
1回答
我在文本文件中以标签分隔的格式存储了一个矩阵。它被密集地储存着，但我知道它很稀少。我想将这个矩阵加载到Python的稀疏格式中。矩阵非常大，因此执行scipy.loadtxt(...)，然后将结果的密集数组转换为稀疏格式，在中间步骤中将占用太多的RAM内存，因此这不是一种选择。
浏览 1提问于2016-03-03得票数 1
回答已采纳
如何对scipy稀疏矩阵的行进行混洗？ 有一个scikitlearn.utils.shuffle，但它返回一个新的矩阵，因此对于非常大的稀疏矩阵，混洗不是就地完成的，而是复制矩阵。 有numpy.random.Generator.shuffle，但它似乎是work only for CSR matrices。 如何有效地打乱scipy稀疏矩阵的行数，不管它是以什么格式存储在内存中的？
浏览 14提问于2020-12-02得票数 0
回答已采纳
我想要将一个矩阵(非常稀疏，有数百万个零和几个其他数字)作为熊猫数据帧保存到.csv文件中，但是数据帧将0保存为0.0 (浮点数而不是整数)，因此文件变得非常大。所以我想将0.0保存为0，以减小输出.csv文件的大小。我正在尝试类似这样的东西： import pandas
table = [[0.88, 4], [0, 0.5]]
pd = pandas.DataFrame(table, columns = ['C1', 'C2'])
pd.to_csv('output.csv', index = False)
pd 并获得输出： C1
浏览 37提问于2020-07-24得票数 0
2回答
我需要将5000x5000到20000x20000的大矩阵相乘。我在寻找一个具有稀疏矩阵但可以进行快速乘法的库时遇到了问题。
首先，我已经阅读了上一个关于Java矩阵库()性能的问题。基于上面的答案，我决定使用JBLAS，因为它是最快的。在我的例子中，将一个5000x5000矩阵相乘大约需要50秒左右，这比Matlab慢得多，但仍然可以容忍。
问题是矩阵可能非常大(高达20k乘以20k，甚至更多)，但它们通常是稀疏的。矩阵中只有30%的元素是非零的。JBLAS不提供任何稀疏矩阵实现，因此存储大而密集的矩阵所需的内存占用可能非常大。我尝试切换到MTJ/Netlib，因为它应该是基准测试中具有稀疏
浏览 6提问于2013-11-15得票数 6
我想将两个稀疏矩阵Y和R保存到mat文件中。但是，当我运行以下代码时，我发现twomatrices.mat包含两个完整的矩阵，而不是稀疏矩阵。.mat文件是否只允许包含完整矩阵？
save('twomatrices.mat', 'Y', 'R');
浏览 0提问于2012-09-12得票数 1
回答已采纳
我正在尝试用python库分解非常大的矩阵。由于矩阵太大了，我无法在内存中以登斯格式实例化它，所以我改用。
这个库有一个叫做的稀疏矩阵函数，这似乎就是我要找的。
当我尝试它时，我遇到了严重的分解性能问题(不是内存表示，而是速度)，我还不能分解一个简单的10 x 95稀疏矩阵。
下面是我构建测试矩阵的方法：
m1 = lil_matrix((10, 95))
for i in xrange(10):
for j in xrange(95):
if random.random() > 0.8: m1[i, j] = 1
m1 = csc_matrix(m1)
这就是我
浏览 0提问于2013-05-25得票数 3
1回答
我正在处理一个非常大的稀疏矩阵：
U = sparse(a,b) % a and b are very large
另一方面，存在有'a‘行的单元格Ind。在每一行中，都有一个“变量”元素数，例如：
Ind{1} = [1 3 5 19 1000 1340]
Ind{2} = [9 100 1500 1600 8000 b]
...
Ind{a} = [3 5 6 90 1000 4300 5712 9480]
可以看到，Ind{i}中的最大索引数可以是'b‘。对于每个索引向量，还存在一个类似于'c‘的内容矩阵：
c = [2 3 1 6
浏览 2提问于2015-11-20得票数 2
回答已采纳
1回答
我在寻找一个在R中快速实现稀疏矩阵的NMF方法。
R NMF软件包由许多算法组成，没有一种算法在计算时间上给人留下深刻印象。
NNLM::nnmf()目前在R中似乎是最先进的，特别是method = "scd"和loss = "mse"，它们是通过顺序坐标下降求解的交替最小二乘实现的。然而，这种方法在非常大的、非常稀疏的矩阵上是非常慢的。
rsparse::WRMF函数非常快，但这是因为A中只有正数才用于W和H的逐行计算。
在稀疏矩阵上求解NMF是否有合理的实现？
R中是否有与scikit-learn等价的？请参阅
有各种各样的工作函数，如fnnls、R中的ts
浏览 10提问于2020-11-24得票数 2
回答已采纳
2回答
我有一个使用cat /dev/sdx | xz > image.xz创建的非常大的硬盘驱动器的压缩原始映像。但是，驱动器中的空闲空间在此操作之前是零的，并且图像大部分由零字节组成。将图像提取为稀疏文件的最简单方法是什么，以便零块不占用任何空间？
浏览 0提问于2022-01-03得票数 18
2回答
我有一个R稀疏矩阵(非常大。不可行转换为一个完整的矩阵)，我想识别/消除重复的列，如果存在这样的列。类似于unique(x，MARGIN=2)，但它在稀疏矩阵上操作。
这附近有没有这样的东西？关于如何做到这一点的建议？
浏览 0提问于2015-03-09得票数 1
我尝试在R中使用内核规范相关分析，它的用法是：
**## S4 method for signature 'matrix'**
kcca(x, y, kernel="rbfdot", kpar=list(sigma=0.1),
gamma = 0.1, ncomps = 10, ...)
Arguments
x a matrix containing data index by row
y a matrix containing data index by row
所以我的x和y矩阵是非常大和稀疏的，它们属于有6个槽的'dgCMatrix‘类
浏览 4提问于2014-03-29得票数 0
1回答
假设我们有一个大小为NxN的矩阵A，A是稀疏的，而N非常大。所以我们自然而然地希望存储的是scipy稀疏矩阵。
我们还有一个大小为NxK的密集numpy数组q，其中K相对较小。
我们如何最有效地执行q.T * A * q，其中*是矩阵乘法，以获得KxK结果？
我们想要的一部分可以高效地完成，那就是A * q，但是一旦你这样做了，你就物化了一个密集数组，然后你需要与另一个密集数组相乘。
有没有比q.T.dot(A.dot(q))更快的方法？
浏览 1提问于2016-09-17得票数 0
我有三个以.npy格式保存到磁盘上的NumPy数组，总共大约40 GB (表示一个非常大的文档集中的文本计数数据)。这三个数组表示稀疏矩阵的data、indices和indptr属性。
我想对这些数据使用分布式gensim LsiModel，特别是通过函数来提供来自底层稀疏矩阵的语料库迭代器。
但是，我不想在内存中实现整个矩阵。相反，我如何告诉gensim有关底层磁盘数据的信息，并根据需要让gensim从磁盘流到csc矩阵，以将块分发到工作进程？如果我理解正确的话，这就是Scipy2Corpus和声称要做的事情，但他们需要提前将数组实体化到csc矩阵中。
我已经尝试用mmap_mode=
浏览 19提问于2017-02-08得票数 0
1回答
我必须将稀疏矩阵中的某些列替换为来自另一个稀疏矩阵的列，该矩阵具有相同的非零元素，只是基于条件不同的值。
在Armadillo中，我很难使用迭代器进行写访问。文档说，使用sp_mat::col_iterator提供读/写访问，但是，当我尝试编写值*it = B.col(...)时，会得到一个错误消息error: no match for ‘operator=’ (operand types are ‘arma::SpValProxy<arma::SpMat<double> >’ and ‘arma::SpSubview_col<double>’)。我是否有语
浏览 5提问于2021-04-29得票数 0
回答已采纳
1回答
我试图推断出一个我只能模拟的过程的马尔可夫链。最终图所包含的状态/顶点的数量非常大，但我不知道顶点的数量。
现在我有以下几点：
我的模拟输出了一个boost::dynamic_bitset，每个时间步包含112个位。
我使用位集作为Google稀疏哈希中的一个键来映射到一个整数值，该整数值可以用作我想要构造的邻接矩阵的索引。
现在我需要一个好的/快速的矩阵或二维数组来存储整数。它应：
使用我存储在Google稀疏哈希中的整数值作为行/列编号。(例如。我希望通过执行类似于matrix(3,4) = 3的操作来访问/更改存储的整数。
我不知道预先需要的行或列的数量。所以它应
浏览 2提问于2013-10-29得票数 0
在2d平面上有两种类型的单位，绿色单位(G)和红色单位(R)。平面由n个矩阵表示，每个单元被表示为矩阵中的一个元素。
如果两个单位的颜色不同，则两个单位的对称为“冲突对”。目标是找到包含最“冲突对”的m乘m子矩阵。
示例
[R R 0 0 0
R R 0 0 0
0 0 R R 0
0 0 0 G G
0 0 0 G G]
在上述5×5矩阵中，“最冲突”3×3子矩阵位于右下角，其中有2个红色单元和4个绿色单元，这相当于子矩阵中的8个冲突对。
一个朴素解将用O(m^2n^2)迭代每个可能的子矩阵中的每个元素。我还考虑使用动态规划，比如算法，时间复杂度将是O(n^2)，这看起来很好，因为
浏览 1提问于2020-01-02得票数 3
1回答
我有一个矩阵，如A=2 1;3 1;4 1;5 1;1 2;3 2;4 2;1 3;2 3;5 3;1 4;2 4;5 4;1 5;3 5;4 5；我想在这个网络中找到图形最短路径。
我已经浏览过这个链接
adj_sparse =稀疏(Test)；距离=图速记路径(Adj_sparse)；根据示例，这应该会返回最短路径的矩阵。但是，我收到了一个错误，因为
Error using graphalgs Sparse array should have same number of rows and columns.
Error in graphallshortestpaths (line
浏览 3提问于2014-09-09得票数 2
回答已采纳
2回答
作为一个更大的问题的一部分，我在处理Eigen中的稀疏矩阵时遇到了性能瓶颈。
我需要从稀疏矩阵(G)中的每个元素中减去一个浮点数(x)，包括系数为零的位置。因此，零元素的值应该是-x
目前我这样做的方式如下：
//calculate G
x=0.01;
for(int i=0;i<rows;i++){
for (int j=0; j<cols; j++) {
G.coeffRef(i, j) -= x;
}
}
当G的大小很大时，这种简单的计算是一个瓶颈。
我还尝试将稀疏矩阵G转换为稠密矩阵，并减去P(一个充满值x的矩阵)：
MatrixXd DenseG
浏览 0提问于2015-04-22得票数 0
我有一个非常大的Scipy稀疏(csr)矩阵。我不能使用M.toarray()，因为它触发了ValueError: array is too big.，是否有一种方法可以在Python中保存一个稀疏矩阵，以便在Matlab中读取？我需要一些工具，在Matlab中可用。
浏览 3提问于2014-01-19得票数 2
回答已采纳
我有一个非常大的csv文件(大约9100万行，所以for循环在R中花费了太长的时间)关键字之间的相似性(大约50,000个唯一关键字)，当我读入data.frame时，它看起来像这样：
> df
kwd1 kwd2 similarity
a b 1
b a 1
c a 2
a c 2
这是一个稀疏列表，我可以使用sparseMatrix()将其转换为稀疏矩阵：
> myMatrix
a b c
a . 1 2
b 1 . .
c 2 . .
但是，现在我想把它转换成dist对象。我尝试了as.dist(myMatrix)，但得到的错
浏览 2提问于2012-09-12得票数 1
回答已采纳
3回答
在非常大的稀疏矩阵上进行聚类？
、、、、
我正在尝试对一个非常大的矩阵进行一些(k-means)聚类。
矩阵大约是500000行x4000个cols，但非常稀疏(每行只有几个"1“值)。我想要得到大约2000个簇。
我有两个问题：-有人能推荐一个开源平台或工具来做这件事(也许使用k-means，也许有更好的工具)？-我如何才能最好地估计算法完成所需的时间？我试过weka一次，但几天后放弃了作业，因为我不知道需要多长时间。
谢谢!
浏览 0提问于2010-07-05得票数 3
2回答
我有一个非常大和稀疏的矩阵，表示为一个CSV文件(67 GB)。
是否可以在Matlab中加载和使用此矩阵？我可以使用64位版本的MAC操作系统计算机，8GB的RAM。
我读过一些关于这个主题的文章，但我仍然不确定Mac上的Matlab64bit是否可以使用磁盘空间来分配矩阵，或者是否需要RAM中的所有内容，而且不管怎么说，如果使用这么大一部分磁盘空间会使事情几乎无法使用。
浏览 2提问于2014-07-16得票数 1
回答已采纳
1回答
我正在用监督学习来进行主题检测。然而，我的矩阵非常大(202180 x 15000)，我无法将它们与我想要的模型相匹配。矩阵的大部分由零组成。只有logistic回归起作用。是否有一种方法可以继续使用相同的矩阵，但使它们能够与我想要的模型一起工作？就像我能用不同的方式创建矩阵吗？
这是我的代码：
import numpy as np
import subprocess
from sklearn.linear_model import SGDClassifier
from sklearn.linear_model import LogisticRegression
from sklearn i
浏览 3提问于2016-01-16得票数 5
回答已采纳
4回答
有人知道如何在python中从一个非常大的稀疏矩阵计算相关矩阵吗？基本上，我正在寻找像numpy.corrcoef这样的东西，可以在scipy稀疏矩阵上工作。
浏览 0提问于2013-10-08得票数 17
1回答
层次聚类大稀疏距离矩阵R
、、、、
我试图在非常大的一组距离上执行快速集群，但遇到了一个问题。
我有一个非常大的csv文件(大约9100万行，所以for循环在R中花费了太长的时间)关键字之间的相似性(大约50,000个唯一关键字)，当我读入data.frame时，它看起来像这样：
> df
kwd1 kwd2 similarity
a b 1
b a 1
c a 2
a c 2
这是一个稀疏列表，我可以使用sparseMatrix()将其转换为稀疏矩阵：
> myMatrix
a b c
a . . .
b 1 . .
c 2 . .
但是，当我尝试使用as.dist
浏览 1提问于2012-09-13得票数 3
回答已采纳
1回答
完全自学的新手。
问题
是否有任何流行的标准或常用的格式来表示/保存/共享/序列化网络？
背景
我使用自己的python代码构建了一个简单但非常大的网络矩阵(5.5m节点，16.7m边缘)。但是，如果我想与其他数据科学工具一起使用这个矩阵，我应该使用什么格式呢？
目前，我有一个巨大的csv文件与头部和"1“代表边缘。我认为它被称为二元矩阵。
目标
我想利用使用二进制文件或格式化的平面文件所带来的任何好处，这将帮助我学习其他工具。
浏览 0提问于2017-12-05得票数 1
2回答
我想要求解Ax = b，其中A是一个非常大的正定对称分块矩阵，x和b是向量。当我说大的时候，我指的是对于一个nxn矩阵，一个和300,000一样大的n。
下面是我想要求解的一个小得多但具有代表性的矩阵的示例。
这里是放大的相同矩阵，表明它是由密集矩阵的块组成的。
我之前(参见，，以及最早的)使用了Eigen的Cholesky求解器，它在n<10000上工作得很好，但是对于n=300000，Cholesky求解器太慢了。然而，我没有利用我有一个块矩阵的事实。显然，存在求解稀疏分块矩阵的算法(例如)。
我特别想知道Eigen是否有针对稀疏密集块矩阵的优化算法，使用因子分解
浏览 8提问于2016-05-13得票数 17
解释说，fit_transform只能用于密集矩阵，但我有一个csr格式的稀疏矩阵，我想对它执行tsne。文档说要对稀疏矩阵使用fit方法，但这并不返回低维嵌入。
我很感谢我可以像在.todense()中一样使用方法，但是我的数据集非常大(0.4*10^6行和0.5*10^4列)，所以内存中不适合使用。真的，用稀疏矩阵来做这件事是很好的。是否有一种方法可以使用scikit TSNE (或TSNE的任何其他python实现)来降低大型稀疏矩阵的维数，然后返回低维嵌入以进行可视化？
浏览 6提问于2017-09-26得票数 4
回答已采纳
1回答
我正在寻找一种方法来平移方阵的行。特别是，我的问题是矩阵的维数很大的情况，例如500*500或1000*1000，但我在这里举一个5*5的小例子来说明这一点。假设我们有以下矩阵：
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
我想将得到以下矩阵的行水平移动，并用零填充空单元格：
1 7 13 19 25
2 8 14 20 0
3 9 15 0 0
4
浏览 3提问于2020-01-27得票数 1
回答已采纳
2回答
什么是稀疏文件?我们为什么需要它？我能得到的唯一一件事就是它是一个非常大的文件，而且它是高效的(以in为单位)。它是如何高效的？
浏览 8提问于2017-03-31得票数 25
回答已采纳
今天，我注意到在备份过程中，对接器17.05在Debian拉伸上在/var/lib/docker/devicemapper/devicemapper/中创建了两个非常大的文件。
-rw------- 1 root root 100G Dez 8 22:50 data
-rw------- 2 root root 2,0G Dez 7 01:22 metadata
我的问题是:我的服务器有一个120 GB的SSD，/分区是
root@server:/# df -h /
Dateisystem Größe Benutzt Verf. Verw% Eingehän
浏览 0提问于2017-12-15得票数 3
2回答
我有一个非常稀疏的Perl矩阵(数组的数组)，其中undef的值等于零。它有10-1000行，最多100k列。看起来是这样的：
$ARRAY1 = [
[
( undef ) x 1069,
1,
( undef ) x 47,
1,
( undef ) x 11,
2,
( undef ) x 50,
1,
( unde
浏览 1提问于2010-11-05得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
