Numpy数组如何在内存中存储数据？
Numpy是一个用于科学计算的Python库，它提供了高性能的多维数组对象和用于数组操作的工具。Numpy数组的存储方式可以分为两个方面：内存布局和数据类型。
- 内存布局：
- Numpy数组在内存中是连续存储的，即数组的元素在内存中按行（C顺序）或按列（Fortran顺序）排列。
- C顺序是指元素在内存中按照行优先的顺序存储，也就是说先存储第一行的所有元素，然后是第二行的所有元素，依此类推。
- Fortran顺序是指元素在内存中按照列优先的顺序存储，也就是说先存储第一列的所有元素，然后是第二列的所有元素，依此类推。
- 默认情况下，Numpy数组使用C顺序进行存储。
- 数据类型：
- Numpy数组可以存储不同类型的数据，如整数、浮点数、复数等。
- 每个Numpy数组都有一个数据类型（dtype），用于描述数组中元素的类型和内存中的存储方式。
- 不同的数据类型在内存中占据的空间大小不同，如int32类型占据4个字节，float64类型占据8个字节等。
总结： Numpy数组在内存中是连续存储的，可以按行（C顺序）或按列（Fortran顺序）排列。它支持多种数据类型，并且每个数组都有一个数据类型来描述元素的类型和存储方式。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云服务器（云服务器ECS）：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（云对象存储COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据库（云数据库MySQL）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（智能图像处理）：https://cloud.tencent.com/product/aimage
- 腾讯云CDN（全站加速）：https://cloud.tencent.com/product/cdn
相关·内容
我正在尝试使用SciPy进行一些统计，但是我的输入数据集非常大(大约1.9 in )，并且是dbf格式的。这个文件足够大，当我试图用genfromtxt创建一个数组时，Numpy会返回一个错误消息。(我有3 3GB内存，但运行的是win32)。
即：
Traceback (most recent call last):
File "<pyshell#5>", line 1, in <module>
ind_sum = numpy.genfromtxt(r"W:\RACER_Analyses\Terrestrial_Heterogen
浏览 0提问于2011-01-08得票数 3
1回答
我的处境是这样：
我拥有大约7000万个整数值，分布在各种文件中，用于10类数据(确切数量未知)。
我读取了这几个文件，并使用这些数据创建了一些python对象。这显然包括逐行读取每个文件并附加到python对象。因此，我将有一个包含70个mil子数组的数组，每个数组中有10个值。
我对这些数据做了一些统计处理。这将涉及在每一行数据中附加几个值(例如，百分位数等级)。
我将这个对象存储在数据库中
现在我从来没有处理过这么大规模的数据。我的第一反应是使用Numpy来实现更高效的数组w.r.t内存。但后来我听说，在Numpy数组中，'append‘是不鼓励的，因为它
浏览 3提问于2014-08-20得票数 4
1回答
目前，我正在创建用于存储大型NumPy数组的.npz压缩文件。因此，每次我需要从文件加载数组时，由于这是一个频繁的过程，我考虑将NumPy数组存储在数据库中。我使用的是PostgreSQL数据库。
浏览 29提问于2020-08-30得票数 0
回答已采纳
假设有一个矩阵(二维numpy数组)存储多变量样本数据。对于每个示例使用一个行或对每个示例使用一个列来存储数据(wrt速度和易用性)是正确的吗？E.g
array([[x1, y1, ...], [x2, y2, ...], ..., [xN, yN, ...]])
或
array([[x1, x2, ..., xN], [y1, y2, ..., yN], ...])
在MATLAB和Octave中，将每个样本作为列向量来处理肯定更容易，但是numpy没有给出任何指示。
例如。下面是如何将一组样本标准化，如果每个样本都存储为行向量：
X - mean(X, axis = 0)
但是，如果将它
浏览 0提问于2018-04-26得票数 1
在试图在大型ndimage.convolve上执行numpy.memmap时，会出现异常：
发生异常：_ArrayMemoryError无法为具有形状(3710、1056、3838)和数据类型float32的数组分配56.0 GiB
似乎convolve创建了一个常规的numpy数组，它不适合内存。
如果有解决办法，你能告诉我吗？
谢谢您的意见。
浏览 14提问于2022-07-10得票数 0
回答已采纳
在网格上进行BFS (例如，两个单元之间的最短距离)。可以使用两个数据结构来承载visited信息：
1)列表，即data = [[False for _ in range(cols)] for _ in range(rows)]。稍后，我们可以通过data[r][c]访问某个单元格中的数据。
2) Dict，即data = dict()。稍后，我们可以通过data[(r, c)]访问某个单元格中的数据。
我的问题是:在这样的BFS场景中，哪一个计算效率更高？
从编码的角度来看，dict方法似乎节省了更多的字符/行。就内存而言，dict方法可能会为未触及的单元格节省一些空间，但也会浪费一些空间
浏览 1提问于2018-02-18得票数 3
对不起，我觉得这可能是一个基本的问题，但我没有找到任何“解决方案”。 我正在用大量数据填充python列表，最后希望将其转换为numpy.array进行进一步处理。 然而，当我调用numpy.asarray(my_list)时，我得到了一个内存不足的错误。为什么会发生这种情况？是不是因为numpy.array对象存储在连续的内存块中，而没有足够的内存空间呢？ 那么，我如何最好地对待如此巨大的数据量呢？我猜numpy肯定是可行的，所以我有点好奇，我可以用简单的list对象来处理这样的数据量，但不能用我目前的numpy方法。 我再一次重复我最重要的问题:如何最好地处理适合python lists
浏览 5提问于2019-03-03得票数 1
我对以下两条代码感到困惑：
第1段代码:在两个数组中反映的更改
import numpy as nm
ab=nm.arange(10)
ba=ab
ba[0]=99
print(ba)
print (ab)
输出：
ba=[99 1 2 3 4 5 6 7 8 9]
ab=[99 1 2 3 4 5 6 7 8 9]
第二个代码:没有在两个数组中反映的更改
import numpy as nm
ab=nm.arange(10)
ba=ab
ba=ab-ab
prin
浏览 0提问于2019-02-10得票数 0
回答已采纳
1回答
在一次编程测验中，我遇到了Python中numpy数组的flag属性，我想知道输出是否为all means。在阅读了之后，我并不真正理解其中的一些输出。C_CONTIGUOUS、F_CONTIGUOUS、ALIGNED和UPDATEIFCOPY是什么意思，没有像文档中解释的那么多术语？
import numpy as np
x=np.array([[3,4],[3,5]])
print(x.flags)
它输出以下内容：
C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIG
浏览 3提问于2017-07-30得票数 1
我试图将"data.txt“中的数据放入一个numpy数组中，并用matplotlib绘制它。下面是数据的每一行：
"1“11.658870417634 4.8159509459201
大约有一千万行。
我试着把它放到内存映射中，但一直收到这个错误：
ValueError: Size of available data is not a multiple of data-type size.
下面是我使用的代码：
import numpy
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyp
浏览 2提问于2013-03-09得票数 2
2回答
我想在Python中存储一个非矩形数组。数组有数百万个元素，我将对数组中的每个元素应用一个函数，所以我关心的是性能。我应该使用什么数据结构？我应该使用Python list还是object类型的numpy数组？有没有其他更好的数据结构呢？
浏览 27提问于2020-07-06得票数 0
回答已采纳
我遵循这个问题，以便将许多numpy文件放入一个大文件中，结果是：
import matplotlib.pyplot as plt
import numpy as np
import glob
import os, sys
fpath ="path_Of_my_final_Big_File"
npyfilespath ="path_of_my_numpy_files"
os.chdir(npyfilespath)
npfiles= glob.glob("*.npy")
npfiles.sort()
all_arrays = np.zero
浏览 0提问于2017-02-22得票数 0
在Python中处理数据类型numpy数组时，我有些困惑。
问题1
我在python整数中执行以下脚本
>>> import numpy as np
>>> L = [1000,2000,3000]
>>> A = np.array(L)
>>> B = A
然后我检查以下内容：
>>> A is B
True
>>> id(A) == id(B)
True
>>> id(A[0]) == id(B[0])
True
这很好。但当时发生了一些奇怪的事情。
>>
浏览 1提问于2016-12-01得票数 4
回答已采纳
1回答
大型网格的Numpy索引
、、、
我想有一种方法来索引一个d维numpy网格：
，而不实际将完全密集网格存储在内存中，后者支持完全密集网格支持的所有索引类型。
例如：
x = np.random.randn(Nx)
y = np.random.randn(Ny)
z = np.random.randn(Nz)
x_g, y_g, z_g = np.meshgrid(x, y, z, indexing='ij')
X = np.concatenate([x_g[..., None], y_g[..., None], z_g[..., None]], axis=-1)
一旦我有了X，我就可以使用numpy的所有索
浏览 7提问于2021-12-14得票数 2
我正在尝试调整在计时器上更新的绘图代码(matplotlib)的底层结构，使其从使用Python列表显示绘图数据转变为使用numpy数组。我希望能够尽可能地降低绘图的时间步长，因为数据可能会上升到几千个点，如果做不到，我就会很快失去宝贵的时间。我知道numpy数组是这种事情的首选，但我很难弄清楚什么时候需要像Python程序员那样思考，什么时候需要像C++程序员那样思考，最大限度地提高内存访问效率。
它在append()函数的scipy.org文档中表示，它返回附加在一起的数组的副本。所有这些副本都被正确地进行了垃圾回收吗？例如：
import numpy as np
a = np.aran
浏览 1提问于2010-08-07得票数 6
回答已采纳
我正在使用python程序，它使用numpy数组作为数组的标准数据类型。对于繁重的计算，我将数组传递给C++库。为了做到这一点，我使用。但是，我需要使用python list。我通过以下方法从numpy数组和list进行转换：
NativeSolver.vector_add(array1.tolist(), array2.tolist(), ...)
这种转换会产生多少开销？我希望它不会创造出一个全新的副本。Numpy的推荐信说：
ndarray.tolist()
将数组数据的副本作为(嵌套的) Python列表返回。数据项转换为最近兼容的Python类型。
浏览 0提问于2016-09-16得票数 0
回答已采纳
1回答
我正在处理一个需要保存和加载多个文件的项目：
标量/矩阵/阵列
表(即带有列和行注释的矩阵)
现在，我想将所有数据存储在一个文件(或透明数据存储)中，但我不知道如何正确地存储表。
如何保存表的轴标签，以保持数据编程语言无关？
熊猫或PyTables可以访问HDF5文件，但它们不允许存储普通的NumPy数组。
而且，我也不确定是否容易将这样的特殊表加载到R中。
xarray使用基于NetCDF的HDF5格式，但如何将多个表+数组存储在一个NetCDF文件中？
与R的互操作性如何？
最简单的选择:只需将轴放入一个名为ds name_axisn的单独数据集中即可。
浏览 2提问于2018-05-22得票数 4
回答已采纳
1回答
我必须从结构化二进制文件中读取数百万条记录。在阅读时，我希望将数据转换为更有用的内存布局。每一张唱片都很大。文件的总大小约为30 is。
我可以使用numpy.fromfile，但是我正在运行的系统只有一个完整数组的足够内存，因此我不能加载整个文件，然后将所有内容复制到内存中的最终数组中，然后销毁最初加载的数组。
我也可以使用numpy.fromfile读取块，但我担心numpy.fromfile每次都会创建和销毁一个新数组，而不是重用缓冲区数组。我还没有对此进行测试，但我怀疑这会导致一些严重的内存激增和缓慢的垃圾收集。
在这种情况下:文件是infiniband上的加载程序，我正在运行的分析要
浏览 1提问于2015-02-28得票数 0
2回答
我正试图计算大型numpy数组的平均值。最初，我试过：
data = (np.ones((10**6, 133))
for _ in range(100))
np.stack(data).mean(axis=0)
但我得到了
numpy.core._exceptions.MemoryError:无法为具有形状(100、1000000、133)和数据类型float32的数组分配xxx GiB
在原始代码中，数据是一个更有意义的向量生成器。
我考虑过使用dask进行这样的操作，希望它能将我的数据分割成由磁盘支持的块。
import dask.array as da
import
浏览 5提问于2021-08-25得票数 0
回答已采纳
1回答
我正在用Keras创建一个RNN语言模型，为了训练这个模型(有监督学习)，我必须创建一个形状为(num_of_training_sequences, size_of_vocabulary)的numpy数组y (每个序列的每个观察的标签)，其中包含一个热向量。
当我有太多训练序列时，这个数组太大，无法放入内存。然而，这并不是必须的！由于可能的单热向量的数量仅为size_of_vocabulary，因此y可能只是一个num_of_training_sequences大小的数组，其中包含对预先分配的单热向量的引用(也称为指针)。这样，如果两个序列以相同的单词结束，并且应该具有相同的热向量，那么它们将
浏览 1提问于2020-05-17得票数 0
我有一个矩阵的图像创建在matlab中，我将使用它作为输入一个卷积神经网络，我正在编码的西亚诺。我使用numpy.loadtxt导入了矩阵，在检查时，该矩阵看起来与在matlab中创建的矩阵相同。在matlab中使用imshow()对图像进行校正，但使用matplotlib imshow()时，图像被转置。有人知道原因吗？
matlab代码：
img = dlmread('kthImagesCheck.txt');
imshow(reshape(img(:,1), [104,104]))
matplotlib代码：
img = numpy.loadtxt
浏览 0提问于2015-05-06得票数 3
回答已采纳
1回答
我正在创建一个Python桌面应用程序，它允许用户选择不同的分布形式来模拟农业产量数据。我将时间序列农业数据--接近一百万行--保存在一个SQLite数据库中(如果有人知道更好的选择，这还不是板上钉钉的)。一旦用户选择了一些数据，比如伊利诺伊州1990-2010年的玉米产量，我希望他们从下拉列表中选择一个分布形式。接下来，我的函数将分布与数据进行拟合，并以Numpy数组的形式输出从拟合的分布表中绘制的10,000个点。我希望这些数据在程序执行期间是临时的。
为了提高效率，我只想对指定的区域和分布进行一次拟合和随后的数字绘制。我一直在研究Python中的临时文件，但我不确定这是保存许多不同Num
浏览 0提问于2012-04-09得票数 3
1回答
构建scipy稀疏矩阵的最好方法之一是使用coo_matrix方法。
coo_matrix((data, (i, j)), [shape=(M, N)])
where:
data[:] are the entries of the matrix, in any order
i[:] are the row indices of the matrix entries
j[:] are the column indices of the matrix entries
但是，如果矩阵非常大，则将整个i，j和数据向量加载到存储器中是不现实的。
如何构建这样的数据：( coo_matrix，(i，j)
浏览 3提问于2016-10-09得票数 0
3回答
我一直在探索HDF5及其python (h5py)，所以我尝试将一个HDF5文件(一亿个整数的一维数组)读入:一个普通列表，另一次读入一个numpy数组。与我试图将数据集转换为普通python列表时相比，将数据集转换为numpy的速度非常快(实际上，处理一个列表需要很长时间才能完成它)。
有谁能帮助我理解内部发生的事情，这使得将HDF5数据集转换为一个numpy数组比使用普通列表的速度要快得多呢？这与h5py与numpy的兼容性有关吗？
import numpy as np
import hdf5
def readtolist(dataset):
return "normal
浏览 0提问于2018-04-18得票数 1
回答已采纳
在NumPy中，为什么hstack()要从正在堆叠的数组中复制数据：
A, B = np.array([1,2]), np.array([3,4])
C = np.hstack((A,B))
A[0]=99
给出C
array([1, 2, 3, 4])
而hsplit()在数据上创建一个视图：
a = np.array(((1,2),(3,4)))
b, c = np.hsplit(a,2)
a[0][0]=99
给出b
array([[99],
[ 3]])
我的意思是-实施这种行为背后的理由是什么(我觉得这不一致，也很难记住)：我接受这种情况是因为它是这样编码的.
浏览 4提问于2014-03-24得票数 6
回答已采纳
我读到了Numpy中的数据类型，然后被以下两条语句弄糊涂了：
NumPy数值类型是dtype (数据类型)对象的实例，每个对象都具有独特的特性。
注意，标量类型不是dtype对象，即使在NumPy中需要数据类型规范时也可以使用它们来代替。
“标量类型”和"Numpy数值类型“有什么区别？如果它们是相同的，那么标量类型是数据类型的对象还是不？
浏览 1提问于2022-08-04得票数 0
3回答
我有很多文件，每个文件都被读取为一个形状(n, 1000)的矩阵，其中n可能因文件不同而不同。
我想把它们连接到一个大的Numpy数组中。我现在这样做：
dataset = np.zeros((100, 1000))
for f in glob.glob('*.png'):
x = read_as_numpyarray(f) # custom function; x is a matrix of shape (n, 1000)
dataset = np.vstack((dataset, x))
但是效率很低，因为我多次通过将现有数组与读取的下一个文件堆叠来
浏览 1提问于2021-06-24得票数 3
回答已采纳
我尝试了numpy数组，并创建了一个numpy字符串数组：
ar1 = np.array(['avinash', 'jay'])
正如我从他们的官方指南中读到的，numpy数组上的操作被传播到单独的元素。所以我这样做了：
ar1 * 2
但是我得到了这个错误：
TypeError Traceback (most recent call last)
<ipython-input-22-aaac6331c572> in <module>()
----> 1 ar1 * 2
浏览 3提问于2015-04-26得票数 27
回答已采纳
我必须处理大型的3D数据立方体。我想将它们存储在HDF5文件中(使用h5py或pytables)。我通常只想对这些立方体的一部分进行分析。此部分太大，无法保存在内存中。我希望对我感兴趣的切片有一个numpy样式的视图，而不是将数据复制到内存中(类似于您可以使用numpy memmap所做的操作)。这个是可能的吗？据我所知，使用h5py执行切片时，会在内存中得到一个numpy数组。
有人问我为什么要这样做，因为数据无论如何都要进入内存。出于需要，我的代码已经对这些立方体中的数据进行了分段运行，一次将一小部分数据拖入内存。如果这些函数只是简单地迭代传递给它们的整个数据集，那么它们是最简单的。如果我
浏览 1提问于2015-01-07得票数 10
2回答
雷到底是如何将数据共享给工人的？
、、、、
有许多简单的教程，也有很多问题和答案，声称Ray以某种方式与工作人员共享数据，但这些都没有详细说明如何在哪个操作系统上共享数据。
例如，在这个“所以答案”中：，一个np数组被序列化到共享对象存储中，然后被几个工作人员使用，所有工作人员都访问相同的数据(从这个答案复制的代码)：
import numpy as np
import ray
ray.init()
@ray.remote
def worker_func(data, i):
# Do work. This function will have read-only access to
# the data array.
浏览 18提问于2019-09-24得票数 28
在使用Python时，我遇到了一个困扰了我很长时间的问题。比方说，我使用x = np.array([1, 2])来定义一个数组numpy。
我认为，这意味着x是array类的一个实例。此外，教程还说[1,2]实际上存储在x.data中。但是我是通过实例名x而不是Python中的x.data来获取数据[1,2]的。
这是怎么发生的？在实例名称x和x.data之间有一个链接
浏览 13提问于2017-07-06得票数 0
3回答
我正在做一些工作，我不得不以一种名为的格式加载一个操作CT图像。
这种操作的一部分是将原始二进制数据加载到一个numpy数组中，并将其重塑到正确的维度，这需要花费大量图像的时间。下面是一个示例：
headshape = (512,512,245) # The shape the image should be
headdata = np.fromfile("Analyze_CT_Head.img", dtype=np.int16) # loads the image as a flat array, 64225280 long. For testing, a large arr
浏览 4提问于2014-12-16得票数 7
回答已采纳
我正在保存numpy数组，同时尝试使用尽可能少的磁盘空间。在此过程中，我意识到与uint8数组相比，保存布尔numpy数组并不能提高磁盘使用率。这是有原因的还是我在这里做错了什么？
下面是一个很小的例子：
import sys
import numpy as np
rand_array = np.random.randint(0, 2, size=(100, 100), dtype=np.uint8) # create a random dual state numpy array
array_uint8 = rand_array * 255 # array, type uint8
浏览 15提问于2022-03-17得票数 1
回答已采纳
我最近注意到，numpy包括一个以numpy 1.7开头的datetime64数据类型：
我想知道将它作为numpy包中的单独类型而不是使用Python提供的内置datetime.datetime的动机是什么？
我有兴趣更好地理解这一点的一些原因包括：
我想知道什么时候使用datetime.datetime和什么时候使用numpy.datetime64是合适的
由于numpy中没有类似于datetime.date的日期类型，所以当我需要与numpy.datetime64对象交互时，应该使用numpy.datetime64作为日期吗？还是应该在代码中混合datetime.date和nu
浏览 0提问于2013-12-31得票数 4
2回答
在Matlab中，矩阵的缓冲区在列中是连续的。那么Python的numpy数组呢？在numpy.empty((n,1))和numpy.empty((1,n))之间哪个更好？
浏览 6提问于2013-08-30得票数 1
回答已采纳
5回答
我很难理解numpy是如何存储它的数据的。请考虑以下几点：
>>> import numpy as np
>>> a = np.ndarray(shape=(2,3), order='F')
>>> for i in xrange(6): a.itemset(i, i+1)
...
>>> a
array([[ 1., 2., 3.],
[ 4., 5., 6.]])
>>> a.flags
C_CONTIGUOUS : False
F_CONTIGUOUS
浏览 8提问于2013-12-03得票数 38
回答已采纳
1回答
如何使用所有可用内存
、、、、
我希望加载尽可能多的数据，因为这是安全的，这样当前的过程就像其他进程一样工作良好。我宁愿只使用RAM (不使用交换)，但欢迎任何建议。过多的数据可以被丢弃。怎样才是正确的方法呢？如果我只是等待MemoryException，系统就变得不可操作(如果使用list)。
data_storage = []
for data in read_next_data():
data_storage.append(data)
数据最终将被加载到numpy数组中。
浏览 2提问于2017-01-30得票数 3
回答已采纳
1回答
% save .mat file in the matlab
train_set_x=1:50*1*51*61*23;
train_set_x=reshape(train_set_x,[50,1,51,61,23]);
save(['pythonTest.mat'],'train_set_x','-v7.3');
在matlab中得到的数据大小为(50,1,51,61,23)。
我在Python中加载.mat文件，其中包含了这个的指令。
守则如下：
import numpy as np, h5py
f = h5py.File
浏览 3提问于2016-09-01得票数 6
回答已采纳
1回答
我已经阅读了非常大的tdms文件，其中包含传感器数据到numpy数组的列表中。结构如下:来自多个文件的数据存储在一个名为file_data的对象的实例中。对象对每种传感器类型都有属性，这些属性基本上是numpy数组的列表(该传感器类型的每个传感器都有一个)。
我想知道我在这里存储了多少数据(因为Labview生成的tdms文件的大小和所有元数据似乎都没有多大意义)。
这是代码：
# Check memory
total = 0
file_data = [file_data1, file_data2, ...] # list of data objects read from six files
浏览 1提问于2020-04-23得票数 0
回答已采纳
我必须使用numpy网格创建一个非常大的网格。为了节省内存，我使用int8作为我要网格的数组的d类型。但是，meshgrid不断将类型更改为int64，这将占用大量内存。这是一个简单的例子.
import numpy
grids = [numpy.arange(1, 4, dtype=numpy.int8), numpy.arange(1, 5, dtype=numpy.int8)]
print grids
print grids[0].dtype, grids[0].nbytes
x1, y1 = numpy.meshgrid(*grids)
print x1.dtype, x1.n
浏览 11提问于2017-02-07得票数 4
回答已采纳
1回答
为什么numpy.array在切片时的行为与Python的列表和默认数组不同？请考虑以下例子：
1)使用list :语句b = a[1:3]创建一个新的list对象，而修改b不修改a。
>>> a = [1,2,3,4]
>>> b = a[1:3]
>>> print(b)
[2, 3]
>>> b[0] = -17
>>> print(b)
[-17, 3]
>>> print(a)
[1, 2, 3, 4]
2)使用array.array：语句b = a[1:3]再次创建一个新的数
浏览 3提问于2017-06-28得票数 0
回答已采纳
我正在将现有的Pandas转换为Numpy数组。dataframe没有NaN值，也不是稀疏填充的(从.csv文件中读取)。此外，为了查看内存的使用情况，我执行了以下操作：
sum(df.memory_usage)
2400128
sys.getsizeof(df)
2400144
上面的小16字节差是可以忽略不计的，因为在使用sys.getsizeof和df.memory_usage时，由于大小计算不同，内存使用的开销也不同(供参考，df.info()或使用pandas_profiling库)。
现在，当将其转换为Numpy数组时，内存使用似乎存在巨大差异：
sys.getsizeof(np.
浏览 3提问于2021-07-01得票数 1
回答已采纳
给定完全相同的数据，哪个对象在内存中通常更小:具有dtype int64的numpy数组还是int类型的C++向量？例如：
v = np.array([34, 23])
std::vector<int> v { 34,23 };
浏览 4提问于2016-06-30得票数 3
回答已采纳
1回答
我有过 int[,,,] arr = new int[5, 6, 7, 8]; // c#
arr = np.zeros((5, 6, 7, 8)) # Python 具有5 * 6 * 7 * 8单元的4d阵列。 我想把它切成c#，就像numpy那样 var mySlice = arr[2:4, 0, :2, :]; // Won't work in C#, but looking for a way to do this. return type should be int[,,] A 3d array with 2 * 1 * 2 * 8 cells.
my_slice = a
浏览 34提问于2020-07-09得票数 0
1回答
我正在处理大数据，而且我的矩阵大小类似于2000x100000，因此为了更快地工作，我尝试使用numpy.memmap来避免由于内存的限制而将这么大的矩阵存储在内存中。问题是，当我将相同的矩阵存储在两个变量中，即一个变量是numpy.load变量，另一个变量是np.memmap变量时，内容是不一样的。这是正常的吗？我在memmap中使用与我的数据相同的数据类型。示例：
A1 = numpy.load('mydata.npy')
A2 = numpy.memmap('mydata.npy',dtype=numpy.float64, mode='r'
浏览 3提问于2014-12-10得票数 11
回答已采纳
2回答
我不确定这个标题是否适合我的情况:我想共享numpy数组的原因是，它可能是解决我的情况的潜在解决方案之一，但如果您有其他的解决方案，也会很好。
我的任务是:我需要用multiprocessing，实现一个迭代算法，而每个过程都需要一个数据副本(这个数据很大，并且是只读的，在迭代算法中不会改变)。
我编写了一些伪代码来演示我的想法：
import multiprocessing
def worker_func(data, args):
# do sth...
return res
def compute(data, process_num, niter):
data
浏览 0提问于2019-02-07得票数 1
回答已采纳
我想了解resize()函数对numpy数组和h5py dataset的影响。在我的应用程序中，我将逐行读取文本文件，然后在解析数据后将其写入hdf5文件。什么是实现这一目标的好方法。应该将每个新行添加到numpy数组中，并继续调整numpy数组的大小(增加轴)(最终将完整的numpy数组写入h5py数据集)，还是应该直接将每个新行数据添加到h5py dataset中，从而调整内存中的h5py dataset大小。如果我们在每一行之后继续调整大小，那么resize()函数是如何影响性能的？还是应该每隔100或1000行调整一次大小？
每个数据集中可以有大约20万行。
任何帮助都是非常感谢的。
浏览 5提问于2012-08-16得票数 3
回答已采纳
3回答
我使用numpy数组来处理深度学习图像。但是随着数据越来越大，我甚至在使用数据增强等技术训练模型之前就面临着RAM的问题。
有人能建议我如何处理大数据吗？30 my的数据在我的系统，其中有16 my的内存。
在预处理和培训过程中，我担心RAM，而我用GPU进行批量处理。
浏览 0提问于2018-02-10得票数 1
1回答
熊猫给出了非常奇怪的记忆估计。不可能是一列包含2数字的列占用几乎与100 numbers列相同的内存。Numpy的nbytes更有意义(参见下面的示例)，但是deep=True的memory_usage不知道如何处理吗？
import pandas as pd
import numpy as np
n_rows = 100000
vecs_1x2 = np.random.random((n_rows, 2))
mats_10x10 = np.random.random((n_rows, 10, 10))
df = pd.DataFrame({&
浏览 0提问于2021-02-18得票数 1
回答已采纳
在最近的一次中，我询问了将大型数值数组转换为分隔字符串的最快方法。我问这个问题的原因是，我想把这个纯文本字符串(例如，通过HTTP )传输给用其他编程语言编写的客户机。带分隔符的数字字符串显然是任何客户端程序都可以轻松使用的东西。但是，有人建议，因为字符串转换很慢，所以在Python端对数组进行base64编码并以二进制形式发送会更快。这确实更快。
我现在的问题是，(1)我如何确保我编码的numpy数组可以很好地传输到不同操作系统和不同硬件上的客户端，以及(2)我如何在客户端解码二进制数据。
对于(1)，我倾向于这样做
import numpy as np
import base64
x =
浏览 2提问于2010-04-28得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
