对numpy memmap数组进行排序时出现内存错误
可能是由于数组太大，超出了系统内存的限制。为了解决这个问题，可以尝试以下几种方法：
- 分块排序：将大数组分成多个较小的块，分别进行排序，然后再合并排序结果。这样可以减小每个块的内存占用，避免内存错误。可以使用numpy的split函数将数组分割成多个子数组，然后对每个子数组进行排序，最后使用numpy的concatenate函数将排序后的子数组合并。
- 迭代排序：将大数组分成多个较小的部分，每次只加载部分数据进行排序，然后将排序结果写回到原数组中。可以使用numpy的memmap函数创建一个可迭代的memmap数组，然后使用循环逐步加载数据进行排序，最后将排序结果写回到原数组中。
- 使用外部排序算法：外部排序算法适用于处理大规模数据的排序问题，它将数据分成多个块，每次只加载一个块进行排序，然后将排序结果写回到磁盘中。可以使用numpy的memmap函数创建一个可迭代的memmap数组，然后使用外部排序算法对数据进行排序。
- 增加系统内存：如果可能的话，可以考虑增加系统的物理内存或者使用虚拟内存来解决内存错误问题。这样可以提供更多的内存空间来处理大数组的排序。
对于numpy memmap数组进行排序时出现内存错误的解决方法，以上是一些常见的解决方案。具体的选择取决于数据的大小、系统的内存限制以及应用场景的要求。在实际应用中，可以根据具体情况选择合适的方法来解决内存错误问题。
相关·内容
1回答
是否有一种方法可以将numpy数组从磁盘进行管道处理，并以这种方式保存？
np.save('data.npy',np.zeros(shape=[500,300,3])) # RGB image
并且是否以类似于生成器工作的方式逐行(或一列一列地)读取，但没有加载延迟？
详细描述
我的应用程序需要接近零延迟，但是从磁盘加载更大的数组可能需要一些时间(~0.02-0.1s)。即使这种小延迟也会产生令人不快的结果。
我有办法满足这个速度：
dictionary = {'array1': array1, ....}
这样我就可以立即访问数组，但是由于我使用的是rasp
浏览 0提问于2019-02-16得票数 4
回答已采纳
1回答
我必须从结构化二进制文件中读取数百万条记录。在阅读时，我希望将数据转换为更有用的内存布局。每一张唱片都很大。文件的总大小约为30 is。
我可以使用numpy.fromfile，但是我正在运行的系统只有一个完整数组的足够内存，因此我不能加载整个文件，然后将所有内容复制到内存中的最终数组中，然后销毁最初加载的数组。
我也可以使用numpy.fromfile读取块，但我担心numpy.fromfile每次都会创建和销毁一个新数组，而不是重用缓冲区数组。我还没有对此进行测试，但我怀疑这会导致一些严重的内存激增和缓慢的垃圾收集。
在这种情况下:文件是infiniband上的加载程序，我正在运行的分析要
浏览 1提问于2015-02-28得票数 0
1回答
我正在尝试连接许多numpy数组，我把每个数组放在一个文件中，实际上问题是我有很多文件，内存不能支持创建一个大的数组Data_Array = np.zeros((1000000,7000))，我会把我所有的文件放在那里。所以，我在这个问题中发现我可以使用np.concatenate：
file1= np.load('file1_Path.npy')
file2= np.load('file2_Path.npy')
file3= np.load('file3_Path.npy')
file4= np.load('file4_Path.npy
浏览 0提问于2017-04-13得票数 1
对不起，我觉得这可能是一个基本的问题，但我没有找到任何“解决方案”。 我正在用大量数据填充python列表，最后希望将其转换为numpy.array进行进一步处理。 然而，当我调用numpy.asarray(my_list)时，我得到了一个内存不足的错误。为什么会发生这种情况？是不是因为numpy.array对象存储在连续的内存块中，而没有足够的内存空间呢？ 那么，我如何最好地对待如此巨大的数据量呢？我猜numpy肯定是可行的，所以我有点好奇，我可以用简单的list对象来处理这样的数据量，但不能用我目前的numpy方法。 我再一次重复我最重要的问题:如何最好地处理适合python lists
浏览 5提问于2019-03-03得票数 1
我是python的新手，所以请原谅我所做的事情是愚蠢的。我正在尝试创建一个由numpy数组组成的python数组，每个数组的形状都是(2000,89401)。我总共有35个这样的numpy数组，我试图将它们附加到python数组中。下面是我的代码： import numpy as np
import glob
data_filepath = []
for filename in glob.glob('*.npy'):
data_filepath.append(filename)
LIST_SIZE = 2000
train_images = []
train_l
浏览 81提问于2021-07-30得票数 0
1回答
从多处理函数返回值
、、、
我在python中使用多处理模块时遇到了一个问题。我的目标是创建m*n个进程(其中m*n是图像的尺寸)并更改像素的所有值(在下面的代码中，将值从0更改为255)。在函数内部，我可以看到在print函数的帮助下像素值发生了变化。但当我在最后显示输出图像时，图像内容没有变化。有人能告诉我问题出在哪里吗？
import cv2
import numpy
import multiprocessing
def func(i,j,img_op):
#print("For pixel",i,j)
img_op[i][j]=255
print("For pix
浏览 2提问于2018-12-12得票数 2
1回答
我有几个很大的训练档案我打算训练。验证数据也是完美的，我认为没有问题，但规模很大。我说的是20GB+。由于内存错误，加载一个文件导致python崩溃。
我试过把文件写成一个，但它太大了
X = np.load('X150.npy')
Y = np.load('Y150.npy')
错误
~\AppData\Roaming\Python\Python37\site-packages\numpy\lib\format.py in read_array(fp, allow_pickle, pickle_kwargs)
710 if isf
浏览 1提问于2019-07-21得票数 4
回答已采纳
3回答
是否可以在不知道形状的情况下加载numpy.memmap并仍然恢复数据的形状？
data = np.arange(12, dtype='float32')
data.resize((3,4))
fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))
fp[:] = data[:]
del fp
newfp = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
在最后一行中
浏览 9提问于2016-04-20得票数 5
回答已采纳
2回答
是否有方法将numpy memmap数组保存到.npy文件中？显然，有一种方法可以从.npy文件中加载这样的数组，如下所示
data = numpy.load("input.npy", mmap_mode='r')
但是，刷新文件并不等同于以.npy格式存储文件。
如果冲洗是唯一的方法，那么是否有办法推断存储数组的形状？我更喜欢在另一个脚本中自动存储和检索动态形状(可能再次作为memmap )。
关于这件事，我找了很多地方，但没有得到任何结果。我现在存储到.npy中的方法是
numpy.save(output.filename, output.copy())
这
浏览 5提问于2016-04-21得票数 8
回答已采纳
1回答
我正在处理大数据，而且我的矩阵大小类似于2000x100000，因此为了更快地工作，我尝试使用numpy.memmap来避免由于内存的限制而将这么大的矩阵存储在内存中。问题是，当我将相同的矩阵存储在两个变量中，即一个变量是numpy.load变量，另一个变量是np.memmap变量时，内容是不一样的。这是正常的吗？我在memmap中使用与我的数据相同的数据类型。示例：
A1 = numpy.load('mydata.npy')
A2 = numpy.memmap('mydata.npy',dtype=numpy.float64, mode='r'
浏览 3提问于2014-12-10得票数 11
回答已采纳
我试图将"data.txt“中的数据放入一个numpy数组中，并用matplotlib绘制它。下面是数据的每一行：
"1“11.658870417634 4.8159509459201
大约有一千万行。
我试着把它放到内存映射中，但一直收到这个错误：
ValueError: Size of available data is not a multiple of data-type size.
下面是我使用的代码：
import numpy
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyp
浏览 2提问于2013-03-09得票数 2
1回答
我有一个比内存更大的数据集，我需要处理它。我在这个问题上没有经验，因此任何方向都会有所帮助。
我主要想出了如何将原始数据作为块加载，但我需要对其进行处理并保存结果，这可能也比内存更大。我见过熊猫、矮人和蟒蛇都支持某种形式的memmap，但我不太清楚该如何处理。当使用memmap时，我希望抽象能够使用我的磁盘，就像我使用我的ram和与保存在磁盘上的对象的接口一样，python/numpy/etc对象。但这对我一点用都没有
# Create file to store the results in
x = np.require(np.lib.format.open_memmap('bla.
浏览 35提问于2022-04-29得票数 2
我正在尝试将一个4.47 to的CSV文件加载到内存映射的NumPy阵列中。在具有85 of的GCP机器上，它大约需要。500秒来完成此操作，并生成1.03 in的阵列。 问题是，在上传文件到数组的过程中，它会消耗高达26 to的RAM。有没有办法修改下面的代码，让它在上传过程中消耗更少的RAM (如果可能的话，还有时间)？ import tempfile, numpy as np
def create_memmap_ndarray_from_csv(csv_file): # load int8 csv file to int8 memory-mapped numpy array
浏览 9提问于2019-09-27得票数 0
回答已采纳
2回答
如何分割大数据并在以后重新加入
、、、、
我的代码生成一个大小为(1，1，n，n，m，m)的numpy数组的列表，其中n可能从50-100变化，m从5-10变化，这取决于当前的情况。列表本身的长度可能高达10,000，并且正在使用代码末尾的泡菜进行写入/转储。对于这些数字的高端或文件大小超过5-6GB的情况，我将从内存错误中解脱出来。下面是这种情况的一个例子，
import numpy as np
list, list_length = [], 1000
n = 100
m = 3
for i in range(0, list_length):
list.append(np.random.random((1, 1, n, n,
浏览 0提问于2018-12-12得票数 1
我想在一个太大而不能放入内存的图像上使用scipy.ndimage.watershed_ift。我唯一的选择是将我的图像拆分成瓦片，然后分别处理这些瓦片吗？为了让它起作用，我需要弄清楚如何处理我的瓷砖的边缘。瓷砖需要重叠一点，我必须聪明地将它们缝合在一起。
有没有一种通用的方法来将大型数组交给NumPy和SciPy函数？
浏览 2提问于2013-08-29得票数 4
我试图用内存映射模式在cupy中加载一些更大的.npy文件，但是我一直运行在OutOfMemoryError中。
我认为，由于它是以内存映射模式打开的，所以这个操作不应该占用太多内存，因为内存映射实际上并不会将整个数组加载到内存中。
我可以很好地用np.load加载这些文件，这似乎只发生在cupy.load上。我的环境是谷歌Colab，与特斯拉K80 GPU。它有大约12G的CPU内存，12G的GPU内存和350 gb的磁盘空间。
下面是一个重现错误的最小示例：
import os
import numpy as np
import cupy
#Create .npy files.
for
浏览 0提问于2019-09-01得票数 1
回答已采纳
我遵循这个问题，以便将许多numpy文件放入一个大文件中，结果是：
import matplotlib.pyplot as plt
import numpy as np
import glob
import os, sys
fpath ="path_Of_my_final_Big_File"
npyfilespath ="path_of_my_numpy_files"
os.chdir(npyfilespath)
npfiles= glob.glob("*.npy")
npfiles.sort()
all_arrays = np.zero
浏览 0提问于2017-02-22得票数 0
我有5个很大的numpy数组，我想把它们合并成一个numpy数组。使用np.concatenate没有帮助，因为内存错误:无法分配...所以我决定使用np.memmap。我的数组的形状如下：
#print(arrayA.shape) (29097, 280, 212, 3)
#print(arrayB.shape) (16058, 280, 212, 3)
#print(arrayC.shape) (15412, 280, 212, 3)
#print(arrayD.shape) (21634, 280, 212, 3)
#print(arrayF.shape) (9477 , 280, 21
浏览 22提问于2020-03-13得票数 0
回答已采纳
上面有一堆看似相同的问题，但它们并没有完全回答我的问题。我认为这对于计算科学家来说是一个非常常见的用例，所以我提出了一个新的问题。
问题：
我从文件中读取了几个小的numpy数组(每个大约10MB)，并对它们进行了一些处理。我想创建一个更大的数组(~1TB)，其中数组中的每个维度都包含来自其中一个较小文件的数据。任何试图在RAM中创建整个较大数组(或其中很大一部分)的方法都是不合适的，因为它会淹没RAM并使机器停机。因此，我需要能够初始化较大的数组并以小批的形式填充它，以便将每一批写入磁盘上的较大的数组。
我最初认为numpy.memmap是可行的，但当我发出如下命令时
mmapData =
浏览 0提问于2014-10-06得票数 4
1回答
我有一个ROIs的Nifti文件，它是一个192 x 192 x 12的数组，希望能够找到整个东西的质心以及12个切片中的每一个。我正在使用
cm = join(dname, 'cardiac_roi.nii')
roi_img = nib.load(cm)
roi_data = roi_img.get_data()
CM = ndimage.measurements.center_of_mass(roi_data)
然后我得到了错误：
TypeError: 'numpy.float64' object is not iterable
当我只尝试一个切片时，也会
浏览 3提问于2014-08-19得票数 2
在这里，我设置了一个numpy memmap并为其中一行设置了一个值
import numpy as np
numpyMemmap = np.memmap( 'test.npy', dtype=np.uint16, mode='w+', shape=(500 , 512))
numpyMemmap[34] = np.ones(512)
numpyMemmap[34]
输出
memmap([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1,
浏览 19提问于2020-05-13得票数 1
回答已采纳
我用np.save()保存了几个numpy数组，并将它们放在一起非常大。
有没有可能将它们都作为内存映射文件加载，然后连接和切片所有这些文件，而不需要将任何内容加载到内存中？
浏览 0提问于2012-12-09得票数 18
回答已采纳
我使用
netdata = num.genfromtxt('resultscut.rw', dtype=None, delimiter = '|', usecols=(0,1,2,3,4))
若要从文本数据文件生成列表，请执行以下操作。这真的很好用，但当我放入一个更大的数据文件进行转换时，我得到了这个错误：
File "/home/.local/lib/python2.7/site-packages/numpy/lib/npyio.py", line 2047, in genfromtxt
for (i, conv) in enume
浏览 0提问于2018-11-05得票数 0
1回答
我正在尝试什么：，我有一个23×23的numpy数组，我已经把它转换成了图像。在那之后，我试图重采样它5000次(新的图像将有一个大小为23*5000乘23*5000)与最近的邻居抽样。但我的记忆出错了。
我的代码是-
from PIL import Image
import numpy as np
img = Image.fromarray(aa)
img.show()
import scipy.ndimage
#print 'Original array:'
#print(aa)
#print 'Resampled by a factor of 2 wit
浏览 5提问于2017-07-20得票数 0
2回答
我注意到对于长度为~10000的object数据类型的1Dnumpy数组，.npy文件的加载时间很长(~10分钟)。该数组中的每个元素都是一个长度约为5000的有序字典(OrderedDict，集合包中的字典子类)。那么，如何高效地将大型NumPy阵列保存到磁盘以及从磁盘加载大型阵列？Python中的大型数据集传统上是如何处理的？
浏览 0提问于2017-05-19得票数 0
1回答
我有一个使用numpy记忆映射的矩阵乘法码
def test_memmap():
fA = np.lib.format.open_memmap('A.npy', dtype='uint8', mode='r+')
fB = np.lib.format.open_memmap('B.npy', dtype='uint8', mode='r+')
#need to predefine size of result?
#fC = np.memmap('C.npy&
浏览 3提问于2014-05-07得票数 3
回答已采纳
我搞不懂的手术看起来就是这样。我一直在常规的Numpy数组上这样做，但是在一个备忘录中，我想知道它是如何工作的。
arr2 = np.argsort(np.argsort(arr1,axis=0),axis=0) / float(len(arr1)) * 100
#This is basically to calculate Percentile rank of each value wrt the entire column
这就是我在正常的numpy数组上使用的。
现在。考虑到arr1现在是一个20 is的内存映射数组，我有几个问题：
1:
arr2 = np.argsort(np.arg
浏览 2提问于2014-08-29得票数 7
回答已采纳
1回答
我正在使用从大型图像文件创建的相当大的数组。我遇到了使用太多内存的问题，决定尝试使用numpy.memmap数组而不是标准的numpy.array。我能够创建一个memmap并将数据从我的图像文件分块加载到其中，但我不确定如何将操作结果加载到memmap中。
例如，我的图像文件以二进制整数数组的形式读取到numpy中。我已经写了一个函数来缓冲(扩展)指定数量的True单元的任何区域。此函数使用array.astype(bool)将输入数组转换为Boolean。如何使array.astype(bool)创建的新Boolean阵列成为numpy.memmap阵列？
此外，如果存在比指定的缓冲区距离
浏览 3提问于2013-09-30得票数 10
在试图在大型ndimage.convolve上执行numpy.memmap时，会出现异常：
发生异常：_ArrayMemoryError无法为具有形状(3710、1056、3838)和数据类型float32的数组分配56.0 GiB
似乎convolve创建了一个常规的numpy数组，它不适合内存。
如果有解决办法，你能告诉我吗？
谢谢您的意见。
浏览 14提问于2022-07-10得票数 0
回答已采纳
3回答
我有一个Python程序，它处理相当大的NumPy数组(数百MB)，这些数组存储在磁盘上的pickle文件中(每个文件一个~100MB的数组)。当我想对数据运行查询时，我通过pickle加载整个数组，然后执行查询(因此从Python程序的角度来看，整个数组都在内存中，即使操作系统正在交换它)。我之所以这样做，主要是因为我相信，能够在NumPy数组上使用矢量化操作将比使用for循环遍历每一项要快得多。
我在web服务器上运行这个程序，它有内存限制，我很快就会遇到这个问题。我在数据上运行了许多不同类型的查询，所以编写“分块”代码，从单独的pickle文件加载部分数据，处理它们，然后继续下一个块，可
浏览 0提问于2010-08-03得票数 4
回答已采纳
1回答
我的处境是这样：
我拥有大约7000万个整数值，分布在各种文件中，用于10类数据(确切数量未知)。
我读取了这几个文件，并使用这些数据创建了一些python对象。这显然包括逐行读取每个文件并附加到python对象。因此，我将有一个包含70个mil子数组的数组，每个数组中有10个值。
我对这些数据做了一些统计处理。这将涉及在每一行数据中附加几个值(例如，百分位数等级)。
我将这个对象存储在数据库中
现在我从来没有处理过这么大规模的数据。我的第一反应是使用Numpy来实现更高效的数组w.r.t内存。但后来我听说，在Numpy数组中，'append‘是不鼓励的，因为它
浏览 3提问于2014-08-20得票数 4
2回答
代码：
import scipy as sp
import matplotlib.pyplot as plt
data=sp.genfromtxt("data/train.tsv", delimiter ="\t", dtype="string", comments=None, skip_header=1)
x = data[:,0]
y = data[:,1]
x = x[~sp.isnan(y)]
y = x[~sp.isnan(y)]
DataOfInterest=x["avglinksize"]
EphemeralO
浏览 4提问于2013-10-28得票数 1
回答已采纳
2回答
我有一个用python3数组操作的numpy.memmap脚本。它将数组写入位于/tmp中的新生成的临时文件。
import numpy, tempfile
size = 2 ** 37 * 10
tmp = tempfile.NamedTemporaryFile('w+')
array = numpy.memmap(tmp.name, dtype = 'i8', mode = 'w+', shape = size)
array[0] = 666
array[size-1] = 777
del array
array2 = numpy.memm
浏览 1提问于2015-12-01得票数 2
回答已采纳
我使用的是Numpy版本1.11.1，必须处理
my_arr.shape = (25000, 25000)
所有的值都是整数，我需要一个唯一的数组值列表。当使用lst = np.unique(my_arr)时，我得到：
Traceback (most recent call last):
File "<pyshell#38>", line 1, in <module>
palette = np.unique(arr)
File "c:\Python27\lib\site-packages\numpy\lib\arraysetops
浏览 0提问于2016-10-05得票数 5
我已经使用numpy.memmap创建了大型numpy array，如下所示。
import numpy as np
memmapData = np.memmap('test.memmap', dtype='uint8', mode='w+', shape=(10000, 10000, 3))
现在如何读取基于一些XY坐标的数组。读完后，我需要画一个矩形。
(即X1=0，Y1=1000 X2=X1+500，Y2=Y1+500 )。那么现在我如何通过上面的坐标从test.memmap读取numpy数组呢？在这里，我需要如何使用numpy.memma
浏览 10提问于2017-02-09得票数 0
1回答
我正在编写基于python2.7中的包的遗传优化算法(目标是很快迁移到python3)。由于这是一个相当繁重的过程，优化的某些部分使用多处理包进行处理。以下是我的程序概要：
配置被读取并保存在config对象中。
在config对象中还进行了一些额外的预计算，并将其保存在其中。
优化开始(种群随机初始化和突变，交叉用于寻找更好的解决方案)，其中的一些部分(评估函数)在多进程中执行。
保存结果
对于评估函数，我们需要访问config对象的某些部分(在第2阶段之后保持不变)。因此，我们使用一个全局(常量)变量使不同的核心能够访问它：
from deap import bas
浏览 2提问于2020-02-26得票数 4
3回答
我在hdfs中放置了一个17 GB的JSON文件。我需要读取该文件并将其转换为nummy数组，然后将其传递给K-Means聚类算法。我尝试了很多方法，但系统变慢了，出现内存错误或内核死机。
我尝试的代码是
from hdfs3 import HDFileSystem
import pandas as pd
import numpy as nm
import json
hdfs = HDFileSystem(host='hostname', port=8020)
with hdfs.open('/user/iot_all_valid.json/') as
浏览 0提问于2017-12-21得票数 1
我有一个多维数组，具有numpy保存，只想部分加载一些维度，因为数组非常大。
我怎么能用简单的方式做这件事？
编辑:上下文是简单而基本的：
使用numpy.save保存了5GB数组。但是，您只需要访问数组A[:,:]的某些部分，而不需要在内存中加载5gb。
答案是:使用h5py保存/加载部分数据:这里的代码示例：
import sys
import h5py
def main():
data = read()
if sys.argv[1] == 'x':
x_slice(data)
elif sys.argv[1] == 'z':
z
浏览 4提问于2015-12-31得票数 9
1回答
什么是一个好的Python库来操作非常大的矩阵(例如数百万行/列)，包括在矩阵生命周期的任何阶段添加行或列的能力？
我看过和，但它们都不支持在矩阵创建后添加或删除行或列。
我能找到的另一件事是 中提到的numpy/scipy中的稀疏矩阵功能。然而，添加/删除行和列的能力似乎是可能的，但官方不支持，而且有点老生常谈，所以我担心使用真正的dataset性能会很糟糕。此外，它还包括几种不同的稀疏矩阵实现，所以我搞不清哪一种是最好的(例如lil_matrix、csc_matrix和csr_matrix)。
浏览 1提问于2014-04-26得票数 4
1回答
假设我有数千个二维numpy数组(每个数组都有600x600的形状)保存在一个文本文件中。我希望为每个数组逐个像素地读取文件，并对这些像素的一维数组进行操作，而不必加载整个文件，因为这将使用大量内存。
例如，如果这是在我的文件中：
array([[1, 42, 98, ..., 2], ..., [89, 10, 76, ..., 2]]), array([[36, 79, 13, ..., 11], [81, 101, 34, ..., 109]]), ...
然后我想要[1, 36, ...]，因为我想要[42, 79, ...]，以此类推。在我完成对每个一维数组的操作后，我想将其从内存中
浏览 0提问于2018-08-30得票数 0
我有内存方面的问题，我想缩小我加载的数据的大小(不幸的是，使用read_stata()不能只有几行)。我能不能更改下面的代码，只对X和y使用一些行，而不是复制一份？这将是，即使暂时失败的目的，我想节省内存，而不是增加我的足迹。或者可能首先缩小数据的大小(如果您指定的大小小于原始大小，“`reshape”是否会在没有副本的情况下执行此操作？)然后再选一些专栏？
data = pd.read_stata('S:/data/controls/notreat.dta')
X = data.iloc[:,1:]
y = data.iloc[:,0]
浏览 2提问于2014-06-24得票数 2
1回答
目前，我正在使用一个包含2,000,000 * 33 * 33 *4 (N *W*H* C)数据的NumPy memmap数组。我的程序从这个数组中读取随机(N)索引。
我有8GB内存，2TB硬盘。HDD读取IO只有20M/s左右，RAM使用量保持在2.5GB。似乎存在一个HDD瓶颈，因为我正在检索明显不在memmap缓存中的随机索引。因此，我希望memmap缓存尽可能多地使用RAM。
有什么方法让我告诉memmap最大限度地使用IO和RAM吗？
浏览 11提问于2016-09-06得票数 2
回答已采纳
1回答
我有一个3.374GbNPZ文件，myfile.npz。
我可以阅读它并查看文件名：
a = np.load('myfile.npz')
a.files
给出
['arr_1','arr_0']
我能读到“arr_1”好的
a1=a['arr_1']
但是，我不能加载arr_0，也不能读取它的形状：
a1=a['arr_0']
a['arr_0'].shape
上述两种操作都会产生以下错误：
ValueError: array is too big
我有16 is内存，其中8.370 is可用。所以
浏览 2提问于2015-02-02得票数 12
回答已采纳
在下面的示例中，我初始化了一个名为NumPy的500x2000x2000三维a数组。在每次迭代时，将一个随机二维数组r插入到数组a中.此示例表示一段较大的代码，其中r数组将在for-循环每次迭代期间根据各种计算创建。因此，在每次迭代时计算a数组z维中的每个切片。
# ex1_basic.py
import numpy as np
import time
def main():
tic = time.perf_counter()
z = 500 # depth
x = 2000 # rows
y = 2000 # columns
浏览 9提问于2022-06-03得票数 0
回答已采纳
2回答
处理非常大(>50 get )的文件时出现内存错误(问题: RAM内存已满)。
我的解决方案是:我只想读取500千字节的数据一次并进行处理(然后从内存中删除它，然后继续下一个500kb)。有没有其他更好的解决方案？或者，如果这个解决方案看起来更好，那么如何使用numpy数组来实现呢？
这只是代码的1/4(仅仅是一个想法)
import h5py
import numpy as np
import sys
import time
import os
hdf5_file_name = r"test.h5"
dataset_name = 'I
浏览 0提问于2016-08-30得票数 1
我是编程的初学者。
我在我的笔记本电脑上安装了anaconda，以获得麻木。之后，我加载npy文件，如下所示：
import numpy
X_train = numpy.load("train-features.npy")
X_test = numpy.load("test-features.npy")
现在我想看看它们里面有什么。因此，我尝试打印它们，但它给我一个内存错误。
我如何查看这些文件，以便了解我的数据集是什么样子？
浏览 0提问于2016-03-27得票数 0
1回答
我正在尝试通过使用内存映射数组来处理应用程序中的内存问题。但是，作为计算的一部分，我需要将数组中的一些值设置为0。不幸的是，数组掩码将需要额外的内存。有没有办法做到以下几点，以便干净利落地处理口罩？
source_array = numpy.memmap(filename, dtype='float32', mode='w+', shape=shape)
#Load data into memory mapped numpy array
band.ReadAsArray(buf_obj = source_array)
#set values == 255 to
浏览 1提问于2012-10-13得票数 1
回答已采纳
2回答
我正在使用一堆大的numpy数组，由于这些数组最近开始消耗太多的内存，我想用numpy.memmap实例替换它们。问题是，有时我必须调整数组的大小，我最好就地调整大小。这在普通数组上工作得很好，但在memmap上尝试这样做会抱怨数据可能是共享的，甚至禁用refcheck也无济于事。
a = np.arange(10)
a.resize(20)
a
>>> array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
a = np.memmap('bla.bin', dtype=int)
浏览 1提问于2014-01-05得票数 23
1回答
我得到了一个枕形稀疏矩阵(csr:压缩稀疏行矩阵)。我想使用Orange的特性选择方法(Orange.feature.scoring.score_all (InfoGain/MDL))。然而，根据我的理解，我必须创建一个仅接受numpy数组作为参数的Table。因此，每当我试图使用(.toarray())将csr矩阵转换为数组时，就会得到以下错误(因为矩阵的大小)：
Traceback (most recent call last):
File "C:\Users\NMS\Desktop\PyExp\experiments_acl2013.py", line 249, in
浏览 3提问于2014-01-17得票数 2
回答已采纳
是否可以在不首先在内存中分配相应数组的情况下创建.npy文件？
我需要创建并使用一个大的numpy数组，这个数组太大了，无法在内存中创建。Numpy支持内存映射，但据我所见，我的选项是：
使用numpy.memmap创建一个内存映射文件。这将直接在磁盘上创建文件而不分配内存，但不会存储元数据，因此，当我稍后重新映射该文件时，我需要知道它的dtype、形状等。在下面，请注意，没有指定形状会导致memmap被解释为平面数组：
在77: x=memmap('/tmp/x'，int，'w+'，shape=(3，3)中，78: x Out78: memmap([0，0
浏览 8提问于2010-12-02得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
