高效负载CSV坐标格式(COO)输入到本地矩阵spark
高效负载CSV坐标格式(COO)是一种常用的数据格式，用于将稀疏矩阵表示为三个数组：行索引、列索引和对应的值。COO格式在处理大规模稀疏矩阵时具有较高的效率和灵活性。
COO格式的输入可以通过Spark进行本地矩阵操作。Spark是一种基于内存的分布式计算框架，可以处理大规模数据集并提供高性能的数据处理能力。在Spark中，可以使用Spark SQL或DataFrame API来读取和处理CSV文件。
以下是一种可能的实现方法：
- 使用Spark的CSV数据源读取CSV文件，并将其加载为DataFrame：
val df = spark.read.format("csv").option("header", "true").load("path/to/csv/file.csv")- 将DataFrame转换为COO格式的本地矩阵：
import org.apache.spark.ml.linalg.{SparseVector, Vectors}
val cooMatrix = df.rdd.map(row => {
val rowIndex = row.getAs[Int]("row_index")
val colIndex = row.getAs[Int]("col_index")
val value = row.getAs[Double]("value")
(rowIndex, colIndex, value)
}).collect()
val numRows = cooMatrix.map(_._1).max + 1
val numCols = cooMatrix.map(_._2).max + 1
val localMatrix = Array.ofDim[Double](numRows, numCols)
cooMatrix.foreach { case (rowIndex, colIndex, value) =>
localMatrix(rowIndex)(colIndex) = value
}
val cooMatrixRDD = spark.sparkContext.parallelize(cooMatrix)
val localMatrixRDD = spark.sparkContext.parallelize(localMatrix)在上述代码中，假设CSV文件包含三列：row_index、col_index和value，分别表示稀疏矩阵的行索引、列索引和对应的值。通过将DataFrame转换为COO格式的本地矩阵，可以在Spark中进行进一步的处理和分析。
对于推荐的腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体的云计算品牌商，无法给出具体的链接地址。但腾讯云提供了一系列与大数据和人工智能相关的产品和服务，可以根据具体需求选择适合的产品，如云数据库、云服务器、人工智能平台等。可以通过腾讯云官方网站或相关技术文档了解更多信息。
相关·内容
1回答
我想将CSV坐标格式(COO)数据转换为本地矩阵。目前，我先将它们转换为CoordinateMatrix，然后再转换为LocalMatrix。但是有没有更好的方法呢？
示例数据：
0,5,5.486978435
0,3,0.438472867
0,0,6.128832321
0,7,5.295923198
0,1,7.738270234
代码：
var loadG = sqlContext.read.option("header", "false").csv("file.csv").rdd.map("mapfunctionCreating
浏览 26提问于2018-01-30得票数 7
回答已采纳
我有一个巨大的二维numpy数组，它被认为是一个共生矩阵。我曾尝试使用scipy.sparse作为我的数据结构，但是dok_matrix索引非常慢(慢了4倍)。
# Impossible
import numpy
N = 1000000 (1 milion)
coo = np.zeros((N, N), dtype=np.uint32)
我想要持久化这个数组。
在寻找保存它的方法后，我尝试使用PyTables或hd5py，但我找不到在不耗尽内存的情况下保存它的方法。
with open(name, 'w') as _file:
np.save(_file, coo)
例如
浏览 0提问于2015-10-17得票数 2
正如标题所述，我有一个向量序列(在DataFrame列中，但可以使用.collect()将其转换为RDD或序列)。我想把这些矢量收集到一个本地SparseMatrix中。为了与Spark1.6.3兼容，我需要它成为的mllib版本。
作为SparseVectors的序列收集，我得到
val seq_of_vectors = df_with_vectors.select("sparse").map(_.getAs[SparseVector](0)).collect()
seq_of_vectors: Array[org.apache.spark.mllib.linalg.Spar
浏览 0提问于2018-09-10得票数 0
回答已采纳
4回答
我并不是不了解coo_matrix、csr_matrix和csc_matrix之间的区别。
文档中确实提到了coo_matrix对于算术运算的效率不高，我们需要将其转换为csr或csc。我更多地研究了矩阵乘法。如果我只有一个coo_matrix并将其转换为csr或csv矩阵，我无法理解幕后发生的事情。
另外，如果我有像这样的东西
A = array([[1,2,3,0,0,5],
[5,0,0,1,2,0]])
print coo_matrix(A)
它打印出来
(0, 0) 1
(0, 1) 2
(0, 2) 3
(0, 5) 5
这很
浏览 0提问于2012-06-27得票数 11
1回答
我想从矩阵坐标和值的列表中初始化一个稀疏矩阵(如果这很重要的话，可以与minimum_spanning_tree一起使用)。
也就是说，我有：
coords - Nx2 array of coordinates to be set in matrix
values - Nx1 array of the values to set.
我尝试使用lil_matrix来创建这个数组
A = lil_matrix((N,N))
A[coords[:,0],coords[:,1]] = values
慢得让人难以忍受。在数组上循环并在时间上设置每个元素实际上更快。即：
for i in xrange(N
浏览 2提问于2013-09-11得票数 6
回答已采纳
我有一个稀疏矩阵，我试图给它添加一个稀疏向量。我尝试过不同的稀疏格式，包括csr、csc、lil、coo，以及向稀疏矩阵添加稀疏向量的不同方法，包括v堆栈和串联。
所有的方式和格式都是非常缓慢的。但是，当我将向量转换为密集格式(通过todense() )并将其附加到稠密矩阵(特别是numpy.ndarray)时，它很快就完成了。为什么会这样呢？有什么花招或合适的格式吗？
下面是我用'coo‘格式尝试它时的代码：
from scipy.sparse import coo_matrix, rand
from time import time as timer
from numpy impo
浏览 4提问于2015-08-21得票数 3
回答已采纳
2回答
嗨，我试图从一个CSV中生成一个维数约为24,000的邻接矩阵，其中两列显示一对基因的组合，另一列为1's，以表示当前的interaction....My目标是使它成为正方形，并为不在这两列中的组合填充零。
我正在使用下面的Python脚本
import numpy as np
from scipy.sparse import coo_matrix
l, c, v = np.loadtxt("biogrid2.csv", dtype=(int), skiprows=0, delimiter=",").T[:3, :]
m =coo_matrix((l,
浏览 0提问于2018-10-01得票数 1
回答已采纳
我需要将一个scipy稀疏矩阵转换为cvxopt的稀疏矩阵格式spmatrix，目前还没有遇到任何问题(当然，这个矩阵太大了，无法转换为密集矩阵)。你知道该怎么做吗？
浏览 1提问于2014-08-15得票数 6
1回答
想知道是否有一种更有效的方法将文件内容加载到稀疏矩阵中。下面的代码从一个大文件(8GB)中读取，其中大部分为零值(非常稀疏)，然后对每一行读取进行一些处理。我想要高效地对它执行算术运算，所以我尝试将这些行存储为稀疏矩阵。由于文件中的行数事先不知道，而且数组/矩阵不是动态的，所以我必须先将其存储在列表中，然后将其转换为csr_matrix。这个阶段("X = csr_matrix(X)")需要大量的时间和内存。
有什么建议吗？
import numpy as np
from scipy.sparse import csr_matrix
from datetime import d
浏览 6提问于2015-09-03得票数 1
回答已采纳
1回答
我有一个从csv读取的Pandas数据文件，包含X和Y坐标，以及一个值，我需要将它放入一个矩阵并保存到一个文本文件中。因此，我创建了一个具有max(X)和max(Y)扩展的numpy数组。
我有这份文件：
fid,x,y,agblongo_tch_alive
2368458,1,1,45.0126083457747
2368459,1,2,44.8996854102889
2368460,2,2,45.8565022933761
2358154,3,1,22.6352522929758
2358155,3,3,23.1935887499899
我需要这个：
45.01 44.89
浏览 0提问于2018-06-11得票数 0
2回答
稀疏矩阵中取对数函数的有效方法
、、、、
我有一个很大的稀疏矩阵。我想对那个稀疏矩阵中的所有元素都取log4。
我尝试使用numpy.log()，但它不适用于矩阵。
我也可以逐行取对数。然后我会用一个新的来压碎旧的一排。
# Assume A is a sparse matrix (Linked List Format) with float values as data
# It is only for one row
import numpy as np
c = np.log(A.getrow(0)) / numpy.log(4)
A[0, :] = c
这并不像我预期的那么快。有没有更快的方法来做这件事？
浏览 0提问于2012-03-23得票数 5
我有一个文档术语矩阵，它与语料库中的术语同时出现，正如所解释的那样。
vocabulary = {} # map terms to column indices
data = [] # values (maybe weights)
row = [] # row (document) indices
col = [] # column (term) indices
import scipy
for i, doc in enumerate(bloblist):
for term in doc:
# get column index, add
浏览 7提问于2015-08-10得票数 1
回答已采纳
1回答
枕矩阵转换文档不清楚
、、、
我把dok转换成coo矩阵，文档对我来说似乎不清楚。我的目标是不破坏原始矩阵！这些文件指出：
将此矩阵转换为压缩稀疏行格式。使用copy=False，数据/索引可以在此矩阵和结果的csr_matrix之间共享。
然而，它似乎输出矩阵，而不是转换原始矩阵。我认为“复制”可能会改变从转换到创建副本的行为，但是测试表明这是不可能的。我的程序运行时间很长，所以在导出矩阵之前，我不想意外地销毁它:)
mat = scipy.sparse.dok_matrix((10,10),dtype=np.int16)
type(mat)
<class‘ciy.spse.dok.dok_矩阵’>
coo
浏览 6提问于2021-11-05得票数 0
回答已采纳
2回答
用scipy动态更新coo矩阵
、、、、
我还没有找到解决这个问题的办法，在搜索网站后。它很简单，我想更新一个已经存在的coo稀疏矩阵。因此，假设我已经启动了一个coo矩阵：
from scipy.sparse import coo_matrix
import numpy as np
row = np.array([0, 3, 1, 0])
col = np.array([0, 3, 1, 2])
data = np.array([4, 5, 7, 9])
a=coo_matrix((data, (row, col)), shape=(4, 4)).toarray()
array([[4, 0, 9, 0],
[0,
浏览 0提问于2016-11-27得票数 2
回答已采纳
2回答
Python创建一个空的稀疏矩阵
、、、、
我试图将一些真实的数据解析到一个.mat对象中，以便在我的脚本中加载。
我得到了这个错误：
TypeError：'coo_matrix‘对象不支持项分配
我找到了。但是，我不能给它赋值。
data.txt
10 45
11 12
4 1
我想要一个大小为100x100的稀疏矩阵。并分配1给
Mat(10, 45) = 1
Mat(11, 12) = 1
Mat(4, 1) = 1
码
import numpy as np
from scipy.sparse import coo_matrix
def pdata(pathToFile):
M = coo_matri
浏览 1提问于2017-08-07得票数 5
回答已采纳
2回答
我试图选择最佳的枕稀疏矩阵类型在我的算法中使用。在这种情况下，我应该以vij方式初始化数据，然后使用它来执行矩阵向量乘法。最后，我不得不添加行和科尔。试图为我的问题选择最好的，我想了解哪些是最好的情况使用这些类型: lil_matrix，coo_matrix，csr_matrix，csc_matrix，dok_matrix。有人能解释我吗？没有必要在同一答案中显示所有类型的示例。
浏览 0提问于2018-05-08得票数 11
回答已采纳
3回答
我有一个COO格式的矩阵。更具体地说，有三个矩阵row_index，column_index，value。你能帮我用一种高效的，而不是计算昂贵的方式，用C语言在CSR 中转换这个矩阵格式吗？是否有这样的图书馆？
示例：
COO格式：
row_index col_index value
1 1 1
1 2 -1
1 3 -3
2 1 -2
2
浏览 6提问于2014-05-10得票数 2
回答已采纳
所以我有一个使用scipy.sparse创建的COO矩阵"coo_mat“，它的前三个非零元素是： coo_mat.data[:5]
>>> array([0.61992174, 1.30911574, 1.48995508]) 我希望将矩阵乘以2，我知道我可以简单地这样做： (coo_mat*2).data[:5]
>>> array([1.23984347, 2.61823147, 2.97991015]) 然而，我不明白为什么当我尝试的时候结果并不一致： coo_mat.multiply(2).data[:5]
>>> ar
浏览 26提问于2020-06-15得票数 0
回答已采纳
1回答
大型COO矩阵的初步处理
、、、、
我有一个很大的稀疏矩阵，其形式是coo_matrix (大小为5GB)。我必须利用矩阵的非零项并做一些进一步的处理。
访问矩阵元素的最佳方法是什么？我应该将矩阵转换成其他格式还是按原样使用它？另外，您能告诉我访问coo_matrix元素的确切语法吗？我有点糊涂，因为它不允许切片。
浏览 2提问于2014-06-30得票数 0
回答已采纳
我是Scala和Spark的新手，我试图在本地读取csv文件(用于测试)：
val spark = org.apache.spark.sql.SparkSession.builder.master("local").appName("Spark CSV Reader").getOrCreate;
val topics_df = spark.read.format("csv").option("header", "true").load("path-to-file.csv")
topics_df.sh
浏览 0提问于2018-12-06得票数 2
回答已采纳
1回答
我有一个SimpleNamespace对象的列表P。P的第三个元素可能如下所示：
namespace(idx=2, values=[(0, 6), (4, 25), (7, 40), (11, 44), (13, 46), (20, 53)])
我想要创建一个否则-0的矩阵，它在由values中的元组(也就是第4行的矩阵元素，第25列是2)给出的所有坐标下取值，以最终将其输入热图。做这件事的最的方法是什么？
在嵌套循环中提取元组和idx似乎是对SimpleNamespace类型的浪费。创建像dok_matrix这样的稀疏矩阵并不那么有利，因为这样您就必须为heatmap (?)转换成一个合适的
浏览 0提问于2018-08-11得票数 0
回答已采纳
我有一个scipy.sparse.lil_matrix，我想用MATLAB Engine API for Python把它提供给MATLAB方法(不是我写的)。到目前为止，我所看到的帖子要么是关于如何将MATLAB稀疏矩阵转换为python等效项的，要么是需要修改matlab代码的，而我宁愿回避这一点。
浏览 25提问于2019-07-04得票数 0
回答已采纳
3回答
从CSV文件创建矩阵
、、、、
我已经在Python上工作了大约两个月，所以我对它有一个很好的理解。
我的目标是使用CSV数据创建一个矩阵，然后从该CSV文件的第3列中的数据填充该矩阵。
到目前为止，我想出了以下代码：
import csv
import csv
def readcsv(csvfile_name):
with open(csvfile_name) as csvfile:
file=csv.reader(csvfile, delimiter=",")
#remove rubbish data in first few rows
skiprows = in
浏览 2提问于2016-11-07得票数 3
回答已采纳
我有一个由SVM-Light格式的稀疏TF-IDF特征矩阵创建的Scipy稀疏CSR矩阵。功能的数量很多，而且很稀疏，所以我必须使用SparseTensor，否则它就太慢了。
例如，特征数为5，示例文件可能如下所示：
0 4:1
1 1:3 3:4
0 5:1
0 2:1
解析后，训练集如下所示：
trainX = <scipy CSR matrix>
trainY = np.array( [0,1,00] )
我有两个重要的问题：
1)如何有效地将其转换为SparseTensor (sp_ids，sp_weights)，以便使用lookup执行快速乘法(W.X)：
2)如何在每个
浏览 1提问于2016-12-01得票数 16
我正在TensorFlow中做矩阵分解，我想使用来自Spicy.sparse的coo_matrix，因为它占用了更少的内存，并且它可以很容易地将我的所有数据放入我的矩阵中来训练数据。
是否可以使用coo_matrix来初始化tensorflow中的变量？
还是必须创建一个会话并使用sess.run()和feed_dict将数据输入到tensorflow中。
我希望你理解我的问题和我的问题，否则评论，我将设法解决它。
浏览 2提问于2017-03-02得票数 1
回答已采纳
我知道这可能是一个非常广泛的话题，但我想更多地了解它。我的问题是关于coo_matrix从滑雪。
我从文档中了解到，它代表稀疏矩阵的坐标矩阵。这里的“坐标”这个词有什么意思吗？
举个例子
coo_matrix ((1，2))会让我
array([[0, 0]])
那么这个坐标在这个例子中意味着什么呢？还是我们有其他的例子来区分它和其他矩阵呢？如csr_matrix、bsr_matrix等。
再次，如果我问错了问题或这个问题可以找到任何地方，请让我知道或提供我的链接，如果可能的话。
**关于“让我知道”，只要告诉我“你问的问题太简单了”或“你的问题可以在其他地方找到，做些研究”应该是好的，然后我
浏览 1提问于2018-09-27得票数 0
回答已采纳
1回答
从csv导入稀疏矩阵
、、、、
我有一个.csv文件，格式如下：
id_A,id_B 2135,1 2303,1 6292,1
在大约180 k的条目中，该矩阵在稀疏矩阵中有一个1(其他值为0)。我想知道是否有一种方法在python中导入numpy或scipy。
谢谢
我尝试过这样的方法，看起来很管用。
with open('icm.csv', 'rt') as f:
reader = csv.reader(f)
list = list(reader)
row = [] #i[:] the row indices of the matrix entries
coloum
浏览 2提问于2015-10-25得票数 1
1回答
我有这个代码
import numpy as np
from scipy.sparse import csr_matrix
q = csr_matrix([[1.], [0.]])
ones = np.ones((2, 1))
现在如何将1列添加到矩阵Q中以获得结果形状(2，2)？(矩阵Q是稀疏的，我不想更改csr的类型)
浏览 0提问于2016-06-20得票数 0
1回答
我有这样的代码：
from itertools import product
from numpy import zeros
Ysys = zeros((2*n_bus, 2*n_bus))
for a, b in product(range(n_bus), range(n_bus)):
Ysys[2*a, 2*b] = Yseries[a, b].real
Ysys[2*a, 2*b+1] = -Yseries[a, b].imag
Ysys[2*a+1, 2*b] = Yseries[a, b].imag
Ysys[2*a+1, 2*b+1] = Y
浏览 1提问于2016-10-09得票数 0
2回答
将稀疏矩阵转换为熊猫数据
、、、、
import numpy as np
from scipy.sparse import csr_matrix
csr = csr_matrix(np.array(
[[0, 0, 4],
[1, 0, 0],
[2, 0, 0],]))
# Return a Coordinate (coo) representation of the csr matrix.
coo = csr.tocoo(copy=False)
# Access `row`, `col` and `data` properties of coo matrix.
df = pd.DataFra
浏览 1提问于2021-10-28得票数 2
我正在处理一些相当大的稀疏矩阵(从5000x5000到20000x20000)，需要找到一种有效的方法来以灵活的方式连接矩阵，以便从独立的部分构造随机矩阵。
现在我正在使用下面的方法来连接四个矩阵，但是它的效率非常低。有没有更好的方法来做到这一点，而不涉及到转换为密集矩阵？
rmat[0:m1.shape[0],0:m1.shape[1]] = m1
rmat[m1.shape[0]:rmat.shape[0],m1.shape[1]:rmat.shape[1]] = m2
rmat[0:m1.shape[0],m1.shape[1]:rmat.shape[1]] = bridge
rmat[
浏览 1提问于2011-07-27得票数 38
1回答
下面是我的代码：
data=pd.get_dummies(data['movie_id']).groupby(data['user_id']).apply(max)
df=pd.DataFrame(data)
replace=df.replace(0,np.NaN)
t=replace.fillna(-1)
sparse=sp.csr_matrix(t.values)
我的数据由两列组成，分别是movie_id和user_id。
user_id movie_id
5 1000
6
浏览 0提问于2018-07-09得票数 2
我有一个DataFrame，列为X、Y和value，例如：
X | Y | value
------------------
1 | 1 | 56
2 | 1 | 13
3 | 1 | 25
... | ... | ...
1 | 2 | 7
2 | 2 | 18
... | ... | ...
1 | 123 | 91
... | ... | ...
50 | 123 | 32
我需要将它转换为DataFrame到NumPy矩阵：
[[56, 13, 25, .
浏览 3提问于2017-08-11得票数 3
回答已采纳
1回答
所以我想做一个基本的矩阵乘以x，所以Ax =b，但是A是一个包含稀疏矩阵的“字典”(只给出非零的条目)，x是一个一维的数值数组。举个例子
A = {0: {2: 2, 3: 3}, 1: {3: 5}, 3: {1: 10}}
从视觉上看，它就像
<img src="http://latex.codecogs.com/gif.latex?$$\begin{bmatrix}&space;0&space;&&space;0&&space;2&space;&&space;3\\&space;0&
浏览 1提问于2018-09-01得票数 2
回答已采纳
1回答
我想要创建一个大的稀疏矩阵，在这个矩阵中，由于内存问题，它的源数据不能完全加载。您可能会认为磁盘上有一个非常大的文件，我们无法读取它。
我想过了，但我找不到从生成器创建稀疏矩阵的方法。
from scipy.sparse import coo_matrix
matrix1 = coo_matrix(xrange(10)) # it works. Create a sparse matrix with 9 elements.
data = ((0, 1, random.randint(0,5)) for i in xrange(10)) # generator example
matrix2 =
浏览 5提问于2014-10-08得票数 2
我有一个稀疏矩阵(140 X 363)，有许多零。此矩阵仅具有正浮点值。
我想要生成散点对矩阵图，丢弃所有的零值(0.0，0.0)，而不影响示例值(0.0、7.2)、(7.2、0.0)等的显示。
我研究过sns.pairplot、sns.pairgrid、pd.scatter_matrix、Altair和Plotty，但没有找到解决方案。
不幸的是，这些工具中没有一个接受crs、coo等。
我也尝试通过传递非零指令到dataframe来绘制完整的矩阵，但是它也不起作用。
有解决办法吗？
浏览 6提问于2022-05-01得票数 0
回答已采纳
2回答
假设我有一个巨大的块状矩阵，，，占几十千兆字节。分配这个内存需要不可忽略的时间.
假设我还有一组与numpy矩阵相同维的枕稀疏矩阵。有时，我希望将其中一个稀疏矩阵转换为一个密集矩阵，以执行一些向量化操作。
我是否可以将这些稀疏矩阵中的一个加载到A中，而不是每次我想将稀疏矩阵转换为密集矩阵时重新分配空间？.toarray()方法可以用于枕稀疏矩阵，它似乎没有可选的密集数组参数，但可能还有其他方法。
浏览 0提问于2012-01-27得票数 1
回答已采纳
我是Tensorflow的新手。我正在尝试使用Tensorflow用python编写一个处理稀疏矩阵输入的函数。通常我会定义一个tensorflow占位符，但显然没有稀疏矩阵的占位符。
定义一个在tensorflow中操作稀疏数据并将值传递给它的函数的正确方法是什么？
具体地说，我正在尝试重写多层感知器的基本示例，在这里找到，以接受稀疏输入而不是密集输入。
作为一个虚拟的例子，你将如何编写一个类似下面这样的函数呢？
import tensorflow as tf
x = tf.placeholder("sparse")
y = tf.placeholder("flo
浏览 11提问于2017-06-23得票数 0
回答已采纳
1回答
我有一个名为Mat_A的巨大矩阵，当我试图分割它并赋值时，我得到了以下错误：
Mat_A[:,0 ] = np.ravel(Mat_A.sum(axis=0)) TypeError: coo_matrix' object does not support item assignment
在进入稀疏空间之前，我如何以同样的精神向密集矩阵weights分配值？
Mat_A = sparse.coo_matrix((weights, (i_indices_O, j_indices_O)), shape=(pixel_nb_O, pixel_nb
浏览 10提问于2020-04-23得票数 0
回答已采纳
1回答
我不太擅长Python。然而，我在R上非常方便，但是，我确实必须使用Python，因为它与Cplex有一个最新的接口。我还试图避免在C/C++中进行额外的编码
尽管如此，我在大型列表/数组/矩阵上的速度和效率都有问题.
我很快就用R写了两行，它们很难看，但效果不错.
doses = sapply(organSets[[2]], function(x) sum(voxMap_beamlet_val[which(voxMap_beamlet_iInd[,1] == x),1]))
length(which(doses <= sum(doses)/length(organSets[[2]]))
浏览 4提问于2015-06-08得票数 1
回答已采纳
2回答
我有一个格式的方阵。
例如：
From To Value
1 1 1
1 2 1
2 1 0
2 2 1
我想把它转换成常规的R矩阵格式。所以看起来是这样的：
[,1] [,2]
[1,] 1 1
[2,] 0 1
请告诉我怎么做。
浏览 4提问于2014-12-05得票数 0
回答已采纳
1回答
我需要使用另一个矩阵示例中的数字符号和坐标创建一个稀疏矩阵：
A = array([[ 1 3 -2]
[-3 4 -6]
[ 4 7 -5]])
B = array([[1 2]
[1 3]
[2 3]
[2 4]
[2 5]
[3 4]
[4 5]])
Result sparce matrix:
1 2 3 4 5 6 7
1[[ 1 -1 1 0. 0. 0.
浏览 2提问于2017-08-08得票数 0
2回答
我有一个大的枕木稀疏矩阵，占我系统总内存的90%以上。我想把它保存到磁盘上，因为构建矩阵需要几个小时.
我试过cPickle，但那会导致记忆爆炸.
import numpy as np
from scipy.sparse import lil_matrix
import cPickle
dim = 10**8
M = lil_matrix((dim, dim), dtype=np.float)
with open(filename, 'wb') as f:
cpickle.dump(M, f) # leads to a major memory explosio
浏览 1提问于2014-07-25得票数 2
回答已采纳
我有大约10,000个稀疏矩阵，每个矩阵的大小为5万×5，平均密度为0.0004。对于每个循环(10000次)，我将计算numpy数组并将其转换为csr_matrix，并将其附加到列表中。但是内存消耗与附加numpy数组一样高，但不像附加csr_matrices那样高。
如何减少内存消耗，同时将这些10K稀疏矩阵存储在内存中，以便进一步计算？
样本代码：
from scipy.sparse import csr_matrix
import numpy as np
sparse_matrices = []
for i in range(10000):
np_array = get_np
浏览 2提问于2017-05-31得票数 1
回答已采纳
我有一个星火作业，它读取一些S3上的CSV文件，处理并保存结果，因为files.These CSV包含日语文本。
当我在本地运行此作业时，读取S3 CSV文件并将其写入本地文件夹中，日文字母看起来很好。
但是当我在我的星体集群上运行这个程序时，读取相同的S3 CSV文件并将拼图写到HDFS时，所有的日文字母都会被混淆。
运行在火花集群(数据被混淆)上
spark-submit --master spark://spark-master-stg:7077 \
--conf spark.sql.session.timeZone=UTC \
--conf spark.driver.extraJava
浏览 2提问于2020-05-18得票数 0
我有一个巨大的数据集(一个数据库中大约有5000行)，我想将其表示为一个图形。由于算法上的原因，需要将数据集存储在邻接矩阵中。矩阵将是，非常稀疏和对称的。
首先，我想把图表存储在数据库表中。这将需要5000行，这应该是没有问题的。但5000列呢？我对数据库不太了解，但我有一种感觉，这不是推荐的方法。
在谷歌内部搜索了一段时间后，我找到了SciPy，它有几个稀疏矩阵对象。lil_matrix和coo_matrix似乎是我所需要的。
因为我将使用python对这个矩阵进行操作，所以SciPy似乎是一个很好的理由。现在我的问题是如何存储图，也就是稀疏矩阵？
我应该使用csv文件吗？我应该使用coo_
浏览 9提问于2011-08-18得票数 1
回答已采纳
2回答
我有两个csr稀疏矩阵。一个包含来自sklearn.feature_extraction.text.TfidfVectorizer的转换，另一个从numpy数组转换。我试图在这两个方面做一个scipy.sparse.hstack，以增加我的功能矩阵，但是我总是会得到错误：
TypeError: 'coo_matrix' object is not subscriptable
以下是代码：
vectorizer = TfidfVectorizer(analyzer="char", lowercase=True, ngram_range=(1, 2), strip_
浏览 3提问于2018-07-30得票数 2
回答已采纳
在外部的for-循环中，我有k1作为x坐标，而在内循环中，k2作为y坐标。循环主要用于其他目的，即创建临时字典(用于其他目的)。所以，我不能删除循环结构。我正在尝试创建一个coo_matrix，其中的坐标是k1，k2，其中的值是我在内部循环中计算出来的。
这是我的简短代码：
for k1,v1 in s.iteritems():
xdict[k1] = None
for k2,v2 in s.iteritems():
tempdict = {}
if k2 in xdict.keys():
continue
浏览 1提问于2016-05-16得票数 0
我在某个地方发现了下面的代码。
sqlContext.read.format("com.databricks.spark.csv")
看起来com.databricks.spark.csv是Databricks支持的文件格式。我想知道Apache本地支持的所有文件/数据格式(在2.0.0之前)。
浏览 1提问于2016-08-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
