我可以在不读取全部内容(例如memmap)的情况下获得numpy保存文件的形状吗？
可以使用numpy.load函数的mmap_mode参数来实现在不读取全部内容的情况下获得numpy保存文件的形状。mmap_mode参数用于指定内存映射模式，可以将文件映射到内存中，从而可以直接访问文件的内容。
以下是使用numpy.load函数获取numpy保存文件形状的示例代码：
import numpy as np
# 加载numpy保存的文件，并指定mmap_mode参数为'r'，表示以只读模式内存映射文件
arr = np.load('file.npy', mmap_mode='r')
# 获取文件的形状
shape = arr.shape
print(shape)在上述代码中，file.npy是numpy保存的文件路径，mmap_mode='r'表示以只读模式内存映射文件。通过arr.shape可以获取文件的形状。
关于numpy的更多信息和使用方法，可以参考腾讯云的相关产品文档：腾讯云Numpy产品介绍。
相关·内容
2回答
我正在尝试在两个巨大的矩阵(10*25,000,000)之间产生一个常见的矩阵乘法。当我这样做的时候，我的记忆力耗尽了。我如何使用numpy的memmap来处理这个问题呢？这是个好主意吗？我不太担心操作的速度，我只想要结果，即使这意味着等待一段时间。非常感谢您的支持！
8 gbs内存，I7-2617M 1.5 ghz，Windows7 64位我使用的是64位版本的一切: python(2.7)，numpy，scipy。
Edit1：
也许h5py是更好的选择？
浏览 0提问于2012-05-20得票数 3
2回答
是否有方法将numpy memmap数组保存到.npy文件中？显然，有一种方法可以从.npy文件中加载这样的数组，如下所示
data = numpy.load("input.npy", mmap_mode='r')
但是，刷新文件并不等同于以.npy格式存储文件。
如果冲洗是唯一的方法，那么是否有办法推断存储数组的形状？我更喜欢在另一个脚本中自动存储和检索动态形状(可能再次作为memmap )。
关于这件事，我找了很多地方，但没有得到任何结果。我现在存储到.npy中的方法是
numpy.save(output.filename, output.copy())
这
浏览 5提问于2016-04-21得票数 8
回答已采纳
1回答
有人知道如何在python中处理大型矩阵吗？我必须处理形状为(10^6,10^6)的邻接矩阵，并执行加法、缩放和点积等操作。使用numpy数组时，我的ram遇到了问题。
浏览 1提问于2013-03-26得票数 5
回答已采纳
我用np.save()保存了几个numpy数组，并将它们放在一起非常大。
有没有可能将它们都作为内存映射文件加载，然后连接和切片所有这些文件，而不需要将任何内容加载到内存中？
浏览 0提问于2012-12-09得票数 18
回答已采纳
1回答
我正在尝试连接许多numpy数组，我把每个数组放在一个文件中，实际上问题是我有很多文件，内存不能支持创建一个大的数组Data_Array = np.zeros((1000000,7000))，我会把我所有的文件放在那里。所以，我在这个问题中发现我可以使用np.concatenate：
file1= np.load('file1_Path.npy')
file2= np.load('file2_Path.npy')
file3= np.load('file3_Path.npy')
file4= np.load('file4_Path.npy
浏览 0提问于2017-04-13得票数 1
1回答
我在理解numpy.memmap的工作方式时遇到了问题。背景是，我需要通过删除条目来减少保存在磁盘上的大型numpy数组。读取数组并通过复制所需的部分来构建一个新的数组是不起作用的-它只是不适合放入内存中。所以我们的想法是使用numpy.memmap --即在光盘上工作。这是我的代码(有一个小文件)：
import numpy
in_file = './in.npy'
in_len = 10
out_file = './out.npy'
out_len = 5
# Set up input dummy-file
dummy_in = numpy.zeros(
浏览 5提问于2017-08-08得票数 0
3回答
是否可以在不知道形状的情况下加载numpy.memmap并仍然恢复数据的形状？
data = np.arange(12, dtype='float32')
data.resize((3,4))
fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))
fp[:] = data[:]
del fp
newfp = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
在最后一行中
浏览 9提问于2016-04-20得票数 5
回答已采纳
假设有大量的NumPy数组保存为文件(np.save()、".npy“文件)。所有这些都有形状，例如(n,20)，如果不打开文件，我就不知道n。N对于每个文件都是不同的。
我想将它们合并到一个数据集中，然后使用一组选择方法将其拆分为三个在磁盘上写入的不同的numpy数组。
通常，我会遍历所有文件并使用np.concatenate()。但是，最后的数组很可能不适合内存。
另一个选择是使用np.memmap()，我完全不确定它是如何工作的。据我所知，我必须这样做：
a = np.memmap('output.npy',dtype='float64',mode
浏览 5提问于2017-05-11得票数 2
回答已采纳
我有一个多维数组，具有numpy保存，只想部分加载一些维度，因为数组非常大。
我怎么能用简单的方式做这件事？
编辑:上下文是简单而基本的：
使用numpy.save保存了5GB数组。但是，您只需要访问数组A[:,:]的某些部分，而不需要在内存中加载5gb。
答案是:使用h5py保存/加载部分数据:这里的代码示例：
import sys
import h5py
def main():
data = read()
if sys.argv[1] == 'x':
x_slice(data)
elif sys.argv[1] == 'z':
z
浏览 4提问于2015-12-31得票数 9
我很难将Numpy 2D数组的数量(在本例中为153)转换为3D数组(这些2D数组表示灰色图像--即2048x2048x1 )，以处理图像序列而不是一组2D图像)。我需要这个来获得每个像素值随时间变化而形成的信号(一旦这个问题得到解决，Numpy应该很方便)。
我的代码(差不多)如下：
zdim = len(imglist) # 'imglist' a Python list of the path for each image I need to process
windowspan = 512
xmin = ymin = 2
xmax = ymax = xmin + win
浏览 4提问于2015-05-25得票数 0
回答已采纳
1回答
我正在一个大型图像数据集上执行信号处理任务，将图像转换为具有一定结构的(number_of_transforms, width, height, depth)的大特征向量。
特性向量(或代码中的coefficients )太大，无法同时保存在内存中，因此我尝试将它们写入np.mmap中，如下所示：
coefficients = np.memmap(
output_location, dtype=np.float32, mode="w+",
shape=(n_samples, number_of_transforms, width, height, depth))
浏览 3提问于2017-11-09得票数 0
回答已采纳
我刚开始使用numpy.core.memmap对象，很难弄清楚如何编辑使用numpy.memmap()读取到python中的现有.npy文件。例如，按照Scipy.org的示例，我可以创建一个对象并对其进行写入，但是一旦创建，我就无法修改内容。
from tempfile import mkdtemp
import os.path as path
data = np.arange(12, dtype='float32')
data.resize((3,4))
filename = path.join(mkdtemp(), 'newfile.dat')
fp
浏览 1提问于2018-02-09得票数 0
回答已采纳
2回答
我正在对3个不同的numpy 2D数组依次执行一些大型计算。数组是巨大的，每个25000x25000个。每次计算都需要大量时间，所以我决定在服务器上的3个CPU核上并行运行其中的3个。我遵循标准的多处理准则，创建了两个进程和一个工作函数。两个计算在两个进程中运行，第三个在本地运行，没有单独的进程。我将巨大的数组作为进程的参数传递，如下所示：
p1 = Process(target = Worker, args = (queue1, array1, ...)) # Some other params also going
p2 = Process(target = Worker, args =
浏览 5提问于2013-10-29得票数 13
回答已采纳
1回答
我正在使用从大型图像文件创建的相当大的数组。我遇到了使用太多内存的问题，决定尝试使用numpy.memmap数组而不是标准的numpy.array。我能够创建一个memmap并将数据从我的图像文件分块加载到其中，但我不确定如何将操作结果加载到memmap中。
例如，我的图像文件以二进制整数数组的形式读取到numpy中。我已经写了一个函数来缓冲(扩展)指定数量的True单元的任何区域。此函数使用array.astype(bool)将输入数组转换为Boolean。如何使array.astype(bool)创建的新Boolean阵列成为numpy.memmap阵列？
此外，如果存在比指定的缓冲区距离
浏览 3提问于2013-09-30得票数 10
我有一个很大的numpy文件保存在磁盘上，我想在不读取整个文件的情况下确定形状。
我可以使用np.load(filename)获得形状，但当我尝试使用np.memmap进行同样的操作时，似乎要求我提前知道形状，否则它默认读取uint8值的平面数组中的文件。
这有可能做到吗？
浏览 0提问于2018-02-03得票数 6
回答已采纳
2回答
我试图创建随机矩阵并使用numpy.save将其保存在二进制文件中
然后我尝试使用numpy.memmap映射这个文件，但它似乎映射错了。
怎么修呢？
它似乎读取.npy头，我需要一些字节从开始。
rows=6
cols=4
def create_matrix(rows,cols):
data = (np.random.rand(rows,cols)*100).astype('uint8') #type for image [0 255] int8?
return data
def save_matrix(filename, data):
np.sa
浏览 14提问于2014-04-14得票数 5
回答已采纳
1回答
假设我有数千个二维numpy数组(每个数组都有600x600的形状)保存在一个文本文件中。我希望为每个数组逐个像素地读取文件，并对这些像素的一维数组进行操作，而不必加载整个文件，因为这将使用大量内存。
例如，如果这是在我的文件中：
array([[1, 42, 98, ..., 2], ..., [89, 10, 76, ..., 2]]), array([[36, 79, 13, ..., 11], [81, 101, 34, ..., 109]]), ...
然后我想要[1, 36, ...]，因为我想要[42, 79, ...]，以此类推。在我完成对每个一维数组的操作后，我想将其从内存中
浏览 0提问于2018-08-30得票数 0
在对64位windows机器上的numpy.memmap()进行典型调用期间，python引发以下错误：
OSError: [WinError 8] Not enough memory resources are available to process this command
不同的windows机器使用不同的文本引发相同的错误：
OSError: [WinError 8] Not enough storage is available to process this command.
以下是代码摘要：
with open(infile, 'rb') as f:
...
浏览 0提问于2018-05-10得票数 4
回答已采纳
我是python的新手，所以请原谅我所做的事情是愚蠢的。我正在尝试创建一个由numpy数组组成的python数组，每个数组的形状都是(2000,89401)。我总共有35个这样的numpy数组，我试图将它们附加到python数组中。下面是我的代码： import numpy as np
import glob
data_filepath = []
for filename in glob.glob('*.npy'):
data_filepath.append(filename)
LIST_SIZE = 2000
train_images = []
train_l
浏览 81提问于2021-07-30得票数 0
1回答
目前，我正在使用一个包含2,000,000 * 33 * 33 *4 (N *W*H* C)数据的NumPy memmap数组。我的程序从这个数组中读取随机(N)索引。
我有8GB内存，2TB硬盘。HDD读取IO只有20M/s左右，RAM使用量保持在2.5GB。似乎存在一个HDD瓶颈，因为我正在检索明显不在memmap缓存中的随机索引。因此，我希望memmap缓存尽可能多地使用RAM。
有什么方法让我告诉memmap最大限度地使用IO和RAM吗？
浏览 11提问于2016-09-06得票数 2
回答已采纳
在这里，我设置了一个numpy memmap并为其中一行设置了一个值
import numpy as np
numpyMemmap = np.memmap( 'test.npy', dtype=np.uint16, mode='w+', shape=(500 , 512))
numpyMemmap[34] = np.ones(512)
numpyMemmap[34]
输出
memmap([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1,
浏览 19提问于2020-05-13得票数 1
回答已采纳
1回答
我必须从结构化二进制文件中读取数百万条记录。在阅读时，我希望将数据转换为更有用的内存布局。每一张唱片都很大。文件的总大小约为30 is。
我可以使用numpy.fromfile，但是我正在运行的系统只有一个完整数组的足够内存，因此我不能加载整个文件，然后将所有内容复制到内存中的最终数组中，然后销毁最初加载的数组。
我也可以使用numpy.fromfile读取块，但我担心numpy.fromfile每次都会创建和销毁一个新数组，而不是重用缓冲区数组。我还没有对此进行测试，但我怀疑这会导致一些严重的内存激增和缓慢的垃圾收集。
在这种情况下:文件是infiniband上的加载程序，我正在运行的分析要
浏览 1提问于2015-02-28得票数 0
我有大约6000个json.gz文件，总计24 do，我需要做各种计算。因为我不知道要从每个JSON文件中提取多少行(因为我会拒绝一些包含无效数据的行)，所以我估计了每个JSON中最多的2000行数。
我创建了一个带有数组形状(6000*2000,10)的Memmapped Numpy，并将json.gz中的数据解析为Memmapped numpy size=2.5GB
最后，由于高估，最后10-15%的行都是零。现在，由于计算的性质，我需要从Memmapped numpy中删除这些无效行。当然，优先级是时间和记忆之后的时间。
这样做的最佳方法是什么呢？，我编程地知道要删除的行的确切索引，。
浏览 3提问于2014-08-29得票数 2
我试图将"data.txt“中的数据放入一个numpy数组中，并用matplotlib绘制它。下面是数据的每一行：
"1“11.658870417634 4.8159509459201
大约有一千万行。
我试着把它放到内存映射中，但一直收到这个错误：
ValueError: Size of available data is not a multiple of data-type size.
下面是我使用的代码：
import numpy
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyp
浏览 2提问于2013-03-09得票数 2
1回答
当模式!= 'r‘时，甚至文件结束后的正偏移也是有效的；
fmt = "IIiiIIddiIiii64sIIII48sxxxx"
fmt1 = "?Idd16s"
file = open(self.resultName, "wb")
file.write(struct.pack(fmt, *self.header))
for i in range(someVar):
file.write(struct.pack(fmt1, *self.arr2[i]))
file.flush()
fil
浏览 3提问于2021-01-20得票数 0
1回答
我有一个3.374GbNPZ文件，myfile.npz。
我可以阅读它并查看文件名：
a = np.load('myfile.npz')
a.files
给出
['arr_1','arr_0']
我能读到“arr_1”好的
a1=a['arr_1']
但是，我不能加载arr_0，也不能读取它的形状：
a1=a['arr_0']
a['arr_0'].shape
上述两种操作都会产生以下错误：
ValueError: array is too big
我有16 is内存，其中8.370 is可用。所以
浏览 2提问于2015-02-02得票数 12
回答已采纳
1回答
我有一个巨大的numpy 3D张量，它存储在磁盘上的一个文件中(我通常使用np.load读取该文件)。这是一个二进制.npy文件。在使用np.load时，我很快就使用了大部分内存。
幸运的是，在程序的每一次运行中，我只需要一小部分巨大的张量。该切片具有固定的尺寸，其尺寸由外部模块提供。
做这件事最好的方法是什么？我唯一能找到的方法就是将这个numpy矩阵存储到MySQL数据库中。但我确信有很多更好/更简单的方法。如果有帮助的话，我也很乐意以不同的方式构建我的3D张量文件。
如果我的张量在本质上是稀疏的，答案会改变吗？
浏览 4提问于2017-03-10得票数 28
回答已采纳
用零初始化numpy.memmap数组吗？这个文件在哪里？是否可以将已经存在的旧 numpy.memmap文件(以前脚本的执行中的)的内容加载到新的numpy.memmap中，而不是由零代替？谢谢!
浏览 5提问于2015-08-15得票数 2
回答已采纳
我有一个例子，我想使用mmap模式打开一个压缩的numpy文件，但是似乎找不到任何关于它如何在封面下工作的文档。例如，它会在内存中解压缩归档文件，然后映射它吗？它会在飞行中减压吗？
该配置没有文档。
浏览 3提问于2015-03-16得票数 10
回答已采纳
1回答
什么是一个好的Python库来操作非常大的矩阵(例如数百万行/列)，包括在矩阵生命周期的任何阶段添加行或列的能力？
我看过和，但它们都不支持在矩阵创建后添加或删除行或列。
我能找到的另一件事是 中提到的numpy/scipy中的稀疏矩阵功能。然而，添加/删除行和列的能力似乎是可能的，但官方不支持，而且有点老生常谈，所以我担心使用真正的dataset性能会很糟糕。此外，它还包括几种不同的稀疏矩阵实现，所以我搞不清哪一种是最好的(例如lil_matrix、csc_matrix和csr_matrix)。
浏览 1提问于2014-04-26得票数 4
1回答
是否有一种方法可以将numpy数组从磁盘进行管道处理，并以这种方式保存？
np.save('data.npy',np.zeros(shape=[500,300,3])) # RGB image
并且是否以类似于生成器工作的方式逐行(或一列一列地)读取，但没有加载延迟？
详细描述
我的应用程序需要接近零延迟，但是从磁盘加载更大的数组可能需要一些时间(~0.02-0.1s)。即使这种小延迟也会产生令人不快的结果。
我有办法满足这个速度：
dictionary = {'array1': array1, ....}
这样我就可以立即访问数组，但是由于我使用的是rasp
浏览 0提问于2019-02-16得票数 4
回答已采纳
我已经处理并保存了一个大型的视频和音频文件数据集(大约8到9GB的数据)，数据被保存为2个numpy数组，每个文件的模态形状都有一个(number_of_examples、maximum_time_length、feature_length)。
我想使用这些数据训练我的神经网络进行分类任务，我使用的是TensorFlow 2.0 Beta版本，我在Google上运行所有代码(在安装TF-2.0beta之后)，每次我在tf.data中加载数据时，虚拟机的整个内存都被使用，会话被迫重新启动。
以前的做法：
我试过两种方法
1)将两个变量全部加载到RAM中，并将其转换为张量
2)将数据作为内存映射数
浏览 1提问于2019-06-13得票数 5
我正在尝试将一个4.47 to的CSV文件加载到内存映射的NumPy阵列中。在具有85 of的GCP机器上，它大约需要。500秒来完成此操作，并生成1.03 in的阵列。 问题是，在上传文件到数组的过程中，它会消耗高达26 to的RAM。有没有办法修改下面的代码，让它在上传过程中消耗更少的RAM (如果可能的话，还有时间)？ import tempfile, numpy as np
def create_memmap_ndarray_from_csv(csv_file): # load int8 csv file to int8 memory-mapped numpy array
浏览 9提问于2019-09-27得票数 0
回答已采纳
我有一个二进制文件，我想用python例程读取它。为此，创建了一个dtype对象，该对象描述数据的外观。应该创建的dtype对象是表单{‘field2 1’：.、‘field2 2’：.、.}的字典。然后，obj是一个元组(数据类型，偏移量)-(参见)。如果在创建dtype期间偏移量超过C int的范围，则会发生错误。
重现错误的最小示例：
dict_tmp = dict()
offset = 2281832888
dict_tmp['/timedisc/pressure'] = ('(4096, 4096)>f8', offset)
dtype = np
浏览 0提问于2018-09-03得票数 2
回答已采纳
我有多个大图像存储在光盘的二进制(fits)文件中。每个数组都具有相同的形状和数据类型。 我需要读入这些图像中的N个，但希望保留内存映射，因为它们会占用RAM。当然，最简单的方法是以列表元素的形式读入。然而，理想情况下，我希望将其视为一个numpy数组(形状为n，ny，nx)，例如，为了便于转置等。 有没有可能，不将这些内容读入RAM？ 注意:在实践中，我需要的是更复杂的，相当于读取列表列表(例如，M个元素列表，每个元素本身是N个元素列表，每个元素是一个ndarray图像)，但上面简单情况的答案应该足够了。 谢谢你的帮助。
浏览 18提问于2021-01-22得票数 0
是否可以在不首先在内存中分配相应数组的情况下创建.npy文件？
我需要创建并使用一个大的numpy数组，这个数组太大了，无法在内存中创建。Numpy支持内存映射，但据我所见，我的选项是：
使用numpy.memmap创建一个内存映射文件。这将直接在磁盘上创建文件而不分配内存，但不会存储元数据，因此，当我稍后重新映射该文件时，我需要知道它的dtype、形状等。在下面，请注意，没有指定形状会导致memmap被解释为平面数组：
在77: x=memmap('/tmp/x'，int，'w+'，shape=(3，3)中，78: x Out78: memmap([0，0
浏览 8提问于2010-12-02得票数 13
回答已采纳
1回答
我有一个比内存更大的数据集，我需要处理它。我在这个问题上没有经验，因此任何方向都会有所帮助。
我主要想出了如何将原始数据作为块加载，但我需要对其进行处理并保存结果，这可能也比内存更大。我见过熊猫、矮人和蟒蛇都支持某种形式的memmap，但我不太清楚该如何处理。当使用memmap时，我希望抽象能够使用我的磁盘，就像我使用我的ram和与保存在磁盘上的对象的接口一样，python/numpy/etc对象。但这对我一点用都没有
# Create file to store the results in
x = np.require(np.lib.format.open_memmap('bla.
浏览 35提问于2022-04-29得票数 2
1回答
我正在处理大数据，而且我的矩阵大小类似于2000x100000，因此为了更快地工作，我尝试使用numpy.memmap来避免由于内存的限制而将这么大的矩阵存储在内存中。问题是，当我将相同的矩阵存储在两个变量中，即一个变量是numpy.load变量，另一个变量是np.memmap变量时，内容是不一样的。这是正常的吗？我在memmap中使用与我的数据相同的数据类型。示例：
A1 = numpy.load('mydata.npy')
A2 = numpy.memmap('mydata.npy',dtype=numpy.float64, mode='r'
浏览 3提问于2014-12-10得票数 11
回答已采纳
1回答
是否可能在垃圾收集memmap数组时删除Numpy memmap文件？
我试过：
import tempfile
import numpy as np
arr = np.memmap(tempfile.NamedTemporaryFile(), mode='w+',
shape=(10, 10), dtype=np.int)
os.path.exists(arr.filename) # False
但是，对临时文件的引用似乎没有保留，因此被删除。
我不想在临时文件上使用上下文管理器，因为我希望能够从函数返回数组，并让文件处于活动状态，直到数组不再
浏览 2提问于2017-06-22得票数 2
回答已采纳
2回答
我正在使用一堆大的numpy数组，由于这些数组最近开始消耗太多的内存，我想用numpy.memmap实例替换它们。问题是，有时我必须调整数组的大小，我最好就地调整大小。这在普通数组上工作得很好，但在memmap上尝试这样做会抱怨数据可能是共享的，甚至禁用refcheck也无济于事。
a = np.arange(10)
a.resize(20)
a
>>> array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
a = np.memmap('bla.bin', dtype=int)
浏览 1提问于2014-01-05得票数 23
1回答
我得到了一个枕形稀疏矩阵(csr:压缩稀疏行矩阵)。我想使用Orange的特性选择方法(Orange.feature.scoring.score_all (InfoGain/MDL))。然而，根据我的理解，我必须创建一个仅接受numpy数组作为参数的Table。因此，每当我试图使用(.toarray())将csr矩阵转换为数组时，就会得到以下错误(因为矩阵的大小)：
Traceback (most recent call last):
File "C:\Users\NMS\Desktop\PyExp\experiments_acl2013.py", line 249, in
浏览 3提问于2014-01-17得票数 2
回答已采纳
我使用的是大型矩阵，所以我使用的是NumPy的备忘录。但是，由于memmap使用的文件描述符显然没有被关闭，所以我得到了一个错误。
import numpy
import tempfile
counter = 0
while True:
temp_fd, temporary_filename = tempfile.mkstemp(suffix='.memmap')
map = numpy.memmap(temporary_filename, dtype=float, mode="w+", shape=1000)
counter += 1
浏览 1提问于2009-10-05得票数 5
回答已采纳
1回答
从多处理函数返回值
、、、
我在python中使用多处理模块时遇到了一个问题。我的目标是创建m*n个进程(其中m*n是图像的尺寸)并更改像素的所有值(在下面的代码中，将值从0更改为255)。在函数内部，我可以看到在print函数的帮助下像素值发生了变化。但当我在最后显示输出图像时，图像内容没有变化。有人能告诉我问题出在哪里吗？
import cv2
import numpy
import multiprocessing
def func(i,j,img_op):
#print("For pixel",i,j)
img_op[i][j]=255
print("For pix
浏览 2提问于2018-12-12得票数 2
我有一个巨大的压缩numpy数组保存到磁盘(内存中~20 in，更不用说压缩时)。我需要知道这个数组的形状，但是我没有可用的内存来加载它。如何在不将其加载到内存的情况下找到numpy数组的形状？
浏览 2提问于2016-03-14得票数 10
回答已采纳
2回答
我正在运行一个模拟，我需要在每个循环中记录一些小的numpy数组。我目前的解决方案是加载，编写，然后保存，如下所示： existing_data = np.load("existing_record.npy")
updated = np.dstack((existing_data,new_array[...,None]))
np.save("existing_record.npy",updated) 这造成了一个很大的性能瓶颈，使用这种方法模拟运行速度减半。我曾考虑将numpy数组添加到列表中，并在模拟结束时将其写入，但这显然会导致内存耗尽或在崩溃中丢失数据等
浏览 14提问于2019-01-31得票数 0
1回答
我的处境是这样：
我拥有大约7000万个整数值，分布在各种文件中，用于10类数据(确切数量未知)。
我读取了这几个文件，并使用这些数据创建了一些python对象。这显然包括逐行读取每个文件并附加到python对象。因此，我将有一个包含70个mil子数组的数组，每个数组中有10个值。
我对这些数据做了一些统计处理。这将涉及在每一行数据中附加几个值(例如，百分位数等级)。
我将这个对象存储在数据库中
现在我从来没有处理过这么大规模的数据。我的第一反应是使用Numpy来实现更高效的数组w.r.t内存。但后来我听说，在Numpy数组中，'append‘是不鼓励的，因为它
浏览 3提问于2014-08-20得票数 4
我创建了这个numpy数组并将其存储在磁盘中，如下所示：
s = (b'foo', b'bar', b'baz', b'buzz')
def build_numpy_array():
return np.fromiter((s for _ in range(200)), dtype=[('foo','S40'),
('bar', 'S40'), ('baz', 'S40'),
('buzz', '
浏览 2提问于2019-12-10得票数 0
回答已采纳
1回答
我有几个很大的训练档案我打算训练。验证数据也是完美的，我认为没有问题，但规模很大。我说的是20GB+。由于内存错误，加载一个文件导致python崩溃。
我试过把文件写成一个，但它太大了
X = np.load('X150.npy')
Y = np.load('Y150.npy')
错误
~\AppData\Roaming\Python\Python37\site-packages\numpy\lib\format.py in read_array(fp, allow_pickle, pickle_kwargs)
710 if isf
浏览 1提问于2019-07-21得票数 4
回答已采纳
我正在处理一些相当大的数据集。实际上，我是在内存映射的numpy数组上运行scikit-learn的一些工具，因为它似乎允许我处理比我计算机上的内存所允许的更大的数据集。
我更喜欢使用joblib来进行内存映射，因为您只需要指定文件。
但我似乎想不出如何分配一个新的空，比如只使用joblib而不将所有内容加载到内存中的1亿x 200numpy数组。
谢谢!
浏览 0提问于2015-01-14得票数 0
1回答
我正在寻找一个python库，它允许我从TIF图像中检索图像数据，而不需要将整个图像加载到内存中。
我曾尝试使用numpy.memmap，但在文件中查找图像数据时遇到了困难。任何建议都会有所帮助。谢谢。
浏览 0提问于2014-02-26得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
