如何清除内存或使用SageMaker来避免MemoryError:无法为具有shape (25000,2000)和数据类型float64的数组进行分配
清除内存或使用SageMaker来避免MemoryError:无法为具有shape (25000,2000)和数据类型float64的数组进行分配的问题，可以采取以下几种方法：
- 优化算法和数据结构：检查代码中是否存在冗余的数据结构或者可以优化的算法。通过减少内存使用，可以避免MemoryError错误。例如，可以考虑使用稀疏矩阵代替稠密矩阵来存储数据。
- 减少数据集的大小：如果可能的话，可以考虑减少数据集的大小，只选择需要的部分进行处理。可以通过采样、筛选或者压缩数据来实现。
- 分批处理数据：将大型数据集划分为较小的批次进行处理，而不是一次性加载整个数据集。这样可以减少对内存的要求。
- 增加硬件资源：如果有条件，可以考虑增加硬件资源，如增加内存容量或者使用更高性能的计算机。
- 使用分布式计算：将任务分布到多台计算机上进行并行处理，可以减少单台计算机上的内存压力。例如，使用分布式计算框架如Apache Spark。
- 使用云计算服务：可以考虑使用云计算服务来处理大规模的数据和计算任务。例如，使用腾讯云的SageMaker服务来进行分布式计算和机器学习任务，它提供了强大的计算资源和内存管理功能。
使用SageMaker来避免MemoryError错误的步骤如下：
- 在腾讯云控制台中登录并打开SageMaker控制台。
- 创建一个SageMaker实例，并选择适当的实例类型和规模。确保所选的实例具有足够的内存容量以处理你的数据集和计算任务。
- 将数据上传到SageMaker实例上的存储空间中。可以使用S3存储桶来上传和管理数据。
- 在SageMaker中编写和运行代码。确保在代码中使用适当的内存管理和优化技巧，以避免MemoryError错误。
- 使用SageMaker的监控和调试工具来检查内存使用情况，如果需要可以进行调优。
腾讯云相关产品推荐：
- 腾讯云SageMaker产品介绍链接：https://cloud.tencent.com/product/sagemaker
- 腾讯云云服务器ECS产品介绍链接：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储COS产品介绍链接：https://cloud.tencent.com/product/cos
相关·内容
获取此内存错误。但是我关注的这本书/链接没有得到这个错误。 代码的一部分： from sklearn.linear_model import SGDClassifier
sgd_clf = SGDClassifier()
sgd_clf.fit(x_train, y_train) 错误：MemoryError: Unable to allocate 359. MiB for an array with shape (60000, 784) and data type float64 当我尝试使用StandardScaler的fit_transfrom缩放数据时，也会遇到此错误 但是，如果我减
浏览 30提问于2020-07-11得票数 7
回答已采纳
我正在研究一个问题来预测收入，一部电影就会产生。数据集中的一些功能是为工作在影片中的剧组人员收集的。我对这些列应用了一种编码。
因此，我有一个(3000*1835)大小的数组。这也是我从“船员”列中只提取导演数据并应用60%方差保留的PCA后得到的。
但是，当我应用多项式回归时，我得到了下面提到的错误：
$\lib\site-packages\sklearn\model_selection_validation.py:532: FitFailedWarning:估值器拟合失败。这些参数在这个火车测试分区上的得分将被设置为nan。详细信息: MemoryError:无法为具有形状(2400,
浏览 0提问于2020-02-26得票数 0
1回答
我已将object d连接到h5 dataset：
>>> data = d[:, :, 0].astype(np.float32)
>>> data.shape
(17201, 10801)
>>> data[data==-32768] = data[data>0].min()
Traceback (most recent call last):
File "<interactive input>", line 1, in <module>
MemoryError
我可以做一些其他的切片技
浏览 0提问于2012-12-17得票数 3
回答已采纳
3回答
初始化高维稀疏矩阵
、、、
我想使用sklearn初始化300,000 x 300,0000稀疏矩阵，但它需要内存，就好像它不是稀疏的一样： >>> from scipy import sparse
>>> sparse.rand(300000,300000,.1) 它会给出错误： MemoryError: Unable to allocate 671. GiB for an array with shape (300000, 300000) and data type float64 这与我使用numpy进行初始化时的错误相同。 np.random.normal(size=[
浏览 48提问于2020-11-16得票数 3
回答已采纳
我正在尝试使用径向基函数(Rbf)插值一个表示2D曲面的不太大(约10.000个样本)的点云。我得到了一些好的结果，但对于我的最后一个数据集，我总是得到MemoryError，尽管错误几乎是在执行过程中立即出现的(内存显然没有被占用)。
我决定从Scipy中复制一份rbf.py文件，首先用一些打印语句填充它，这些语句非常有用。通过逐行分解_euclidean_norm方法，如下所示：
def _euclidean_norm(self, x1, x2):
d = x1 - x2
s = d**2
su = s.sum(axis=0)
sq = sqrt(su)
浏览 1提问于2012-08-08得票数 7
回答已采纳
我在我的代码中得到这个错误: MemoryError:当我尝试在以下位置运行我的代码时，无法为具有形状(61，17，41，59，51，11)和数据类型float64的数组分配10.5 GiB #Control test to look at 4-Seamer at different approaches
import numpy as np
import math
#Creating the Arrays for the baseball pitch (Testing 4-Seam FB)
phi=np.linspace(175,180,61)*math.pi/180.0
theta=np
浏览 31提问于2021-01-28得票数 0
回答已采纳
我正在使用keras在SageMaker上训练一个模型，下面是我使用的代码，但我遇到了错误： MemoryError: Unable to allocate 381. MiB for an array with shape (25000, 2000)
and data type float64 代码如下： import pandas as pd
import numpy as np
from keras.datasets import imdb
from keras import models, layers, optimizers, losses, metrics
import
浏览 15提问于2020-07-12得票数 1
回答已采纳
我的dataframe中有扩展(例如.exe、.py、.xml、.doc等)表。在终端上运行后，我在大数据集上得到了以上错误。
encoder = OneHotEncoder(handle_unknown='ignore')
encoder.fit(features['Extension'].values.reshape(-1, 1))
temp = encoder.transform(features['Extension'].values.reshape(-1, 1)).toarray() #GETTING ERROR on this
pr
浏览 1提问于2020-11-23得票数 0
1回答
当我在iPython笔记本中运行流动的代码时：
_x = np.concatenate([_batches.next() for i in range(_batches.samples)])
我收到这条错误消息
---------------------------------------------------------------
MemoryError Traceback (most recent call last)
<ipython-input-14-313ecf2ea184> in <module>()
---->
浏览 3提问于2018-01-09得票数 3
回答已采纳
1回答
我试图使用python处理一些数据，但经常遇到"MemoryError“。对于我的数据处理，我需要运行一个循环~400次。问题是，每次我进入这个循环20-30次，我就会得到"MemoryError“。在观看“任务管理器”时，当python.exe*32为1GB时，似乎会发生这种情况。我会使用64位python，但我需要的一些库只有32位。此外，在我用每个循环调用的主函数的末尾，我对我使用的几乎每个变量都使用了del函数。当"MemoryError“发生时，我必须完全退出解释器，否则，如果我再次尝试重新运行它，它就会自动在"MemoryError”中失败。
我使用
浏览 3提问于2014-04-21得票数 1
回答已采纳
我得到一个MemoryError:无法为具有形状(50000,164921)和数据类型float64的数组分配61.4 GiB
tfidf = TfidfVectorizer(analyzer=remove_stopwords)
X = tfidf.fit_transform(df['lemmatize'])
print(X.shape)
Output : (50000, 164921)
现在，内存错误出现了
df = pd.DataFrame(X.toarray(), columns=tfidf.get_feature_names())
MemoryError:无法为形
浏览 1提问于2021-02-20得票数 1
我有一个非常大的布尔2d数组(~1Gb)，我想用一个一维float64数组来匹配它。输出数组将很大，但仍然比2d数组小得多。然而，当我试图匹配它们时，我的系统会崩溃，并试图为2d数组分配足够的内存以使其具有float64，而不仅仅是为输出向量分配足够的内存。
import numpy as np
x,y=286880, 20419
a=np.random.randint(0,2,(x,y),dtype=np.bool_).reshape(x,y)
v=np.random.rand(y)
print(f'{a.shape=} {a.dtype=} {a.size * a.itemsize
浏览 13提问于2022-11-30得票数 2
lr = lm.LogisticRegression(penalty='l2', dual=True, tol=0.0001,
C=1, fit_intercept=True, intercept_scaling=1.0,
class_weight=None, random_state=None)
rd = AdaBoostClassifier( base_estimator=lr,
浏览 6提问于2013-10-09得票数 3
回答已采纳
我有两个numpy数组container1和container2，其中container1.shape = (900,4000)和container2.shape = (5000,4000)。使用vstack合并它们将产生一个MemoryError。在搜索了这里发布的旧问题之后，我尝试使用slicing将它们合并，如下所示：
mergedContainer = numpy.vstack((container1, container2[:1000]))
mergedContainer = numpy.vstack((mergedContainer, container[1000:2500]))
浏览 0提问于2015-07-07得票数 1
回答已采纳
1回答
新记忆错误的来源？
、、、、
我面临一个问题，当我想要创建我的培训集的形象，以深入学习。图像是299x299灰度缩放的.tif文件。每个类别都有近3000幅图像。我以前在泡菜文件中编译这些数据，大约是6.5Go。然后，我设法加载它，没有任何问题。
但是，最近我想再次使用这个训练集，当我运行与之前完全相同的代码时，我会出现以下内存错误：
import numpy as np
import os
import cv2
from tqdm import tqdm
import random
import pickle
DATADIR = "path/to/folder"
CATEGORIES = ["A
浏览 3提问于2020-11-20得票数 0
回答已采纳
1回答
我在查看numpy数组在内存中消耗了多少空间时，注意到了一种奇怪的行为：
当我运行x = np.empty((1000000, 7, 64, 64), dtype=np.uint8)时
我的16 My内存的计算机没有崩溃。相反，它运行平稳，分配了2GB内存。
这个numpy数组的权重应该是26.70GB，但有些事情似乎正在发生。当我添加一个时，惰性立即停止，我的程序挂起，他们得到一个MemoryError。
我想知道numpy是怎么在引擎盖下面做的。
我看了一下numpy.core.multiarray，发现numpy/core/src/multiarray/multiarraymodule.
浏览 2提问于2015-04-08得票数 6
回答已采纳
我使用
netdata = num.genfromtxt('resultscut.rw', dtype=None, delimiter = '|', usecols=(0,1,2,3,4))
若要从文本数据文件生成列表，请执行以下操作。这真的很好用，但当我放入一个更大的数据文件进行转换时，我得到了这个错误：
File "/home/.local/lib/python2.7/site-packages/numpy/lib/npyio.py", line 2047, in genfromtxt
for (i, conv) in enume
浏览 0提问于2018-11-05得票数 0
我正在使用numpy ndarray将大型的ndarray文件加载到内存中。我读到我的系统(Win 7 prof.，6 GB )应该允许python.exe使用大约2GB的物理内存。
然而，我得到的MemoryError已经不到1GB了。更奇怪的是，这个下限似乎只适用于numpy array，而不适用于list。
我使用以下函数测试了我的内存消耗
import psutil
import gc
import os
import numpy as np
from matplotlib.pyplot import pause
def memory_usage_psutil():
# re
浏览 1提问于2013-10-03得票数 3
回答已采纳
1回答
如何使用邻接矩阵处理内存错误？
、、、、
我正在用python做图形聚类。该算法要求图G传递的数据必须是邻接矩阵。但是，为了像这样将adjacency-matrix作为numpy-array：
import networkx as nx
matrix = nx.to_numpy_matrix(G)
我得到一个内存错误。消息是MemoryError: Unable to allocate 2.70 TiB for an array with shape (609627, 609627) and data type float64
然而，我的设备是新的(联想E490)，windows 64位，内存8 Gb
其他重要信息可能是：
Numbe
浏览 36提问于2020-05-06得票数 2
回答已采纳
因此，我只是尝试使用for循环将某些字符串添加到NxN数组(矩阵)中。首先，我使用np.empty创建一个空的2D数组，以便稍后填充我的值：
matrixK = np.empty(((imgL.shape[0], imgL.shape[1])),dtype=str)
for i in range(imgL.shape[0]):
for j in range(imgL.shape[1]):
matrixK[i][j] = 'ab'+ 'cd'
当我运行这段代码时，我得到了一个正确的NxN数组matrixK，但是在所有索引中只填充了'a‘
浏览 5提问于2022-04-15得票数 0
回答已采纳
在将数据附加到空数组并验证其形状后，我将使用tofile保存它。当我用much文件把它读回来时，它的形状要大得多(4倍)。
# Create empty array
rx_data = np.empty((0), dtype='int16')
# File name to write data
file_name = "Test_file.bin"
# Generate two sinewaves and add to rx_data array in interleaved fashion
for i in range(100):
I = np.s
浏览 2提问于2021-07-10得票数 2
回答已采纳
如果我尝试执行：
np.empty(shape= (108698,200,1000))
在我的jupyter笔记本中，它抛出了一个错误
MemoryError Traceback (most recent call last)
<ipython-input-35-0aedb09803e9> in <module>()
1 import numpy as np
2 #np.empty(shape=(108698-0,200,1000))
----> 3 np.empty(shape=
浏览 0提问于2017-08-10得票数 0
我有一个大的2D Numpy数组，类似于arr = np.random.randint(0,255,(243327132, 3), dtype=np.uint8)。
我试图得到数组中唯一的行。使用np.unique，我得到以下内存错误：
unique_arr = np.unique(arr,axis=1)
---------------------------------------------------------------------------
MemoryError Traceback (most recent call
浏览 12提问于2022-08-16得票数 2
我正在使用行和列的二进制(只有0和1)矩阵，这些矩阵大约有几千个。例如，行数在2000 - 7000之间，列数在4000 - 15000之间。我的电脑有超过100g的内存。
令我惊讶的是，即使有了这样的大小，我仍然可以通过以下代码获得MemoryError。为了重现性，我提供了一个比下面两个更小的矩阵(10*20)的例子，请注意引发这个错误：
import numpy as np
my_matrix = np.random.randint(2,size=(10,20))
tr, tc = np.triu_indices(my_matrix.shape[0],1)
ut
浏览 1提问于2016-05-11得票数 1
我正在从一个DataFrame文件中读取hdf5：
import pandas as pd
store = pd.HDFStore('some_file.h5')
df= store['df']
store.close()
使用info显示：
In [11]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 21423657 entries, 0 to 21423656
Data columns (total 5 columns):
date datet
浏览 2提问于2015-09-17得票数 1
回答已采纳
我有一个zarr文件，我想把它转换成netcdf，它太大了，不适合内存。我的电脑有32‘t的内存，所以写5.5GB的块应该不是问题。然而，在运行此脚本后的几秒钟内，我的内存使用量很快就超过了可用的~20 my，脚本就失败了。
资料来源：至zarr文件，包含美国2014年6月28日的雷达降雨数据，总数约为1.8GB。
代码：
import xarray as xr
import zarr
fpath_zarr = "out_zarr_20140628.zarr"
ds_from_zarr = xr.open_zarr(store=fpath_zarr, chunks={
浏览 14提问于2022-08-17得票数 1
回答已采纳
我尝试将形状为(1482535,67826)的scipy.sparse.csr.csr_matrix存储到数据帧中，但收到如下错误。我在Google Cloud平台上运行，有4个4CPU和208 GB内存。我不能再增加我的记忆了。我该如何解决这个问题？如有任何建议，欢迎光临。
type(x_train_bow_name)`
scipy.sparse.csr.csr_matrix
data1 = pd.DataFrame(x_train_bow_name.toarray())`
-------------------------------------
浏览 51提问于2019-11-05得票数 5
我使用的是python 3.5(64位)，我想加载并打印6.4‘m的numpy文件。我的朋友给我发了我想要的代码。她成功地加载了数据，但我看不到同样的结果。我成功安装了numpy 1.16.1。我将我的文件移动到本地磁盘以修复此错误。但它并没有起作用。
import numpy as np
data = np.load('C:/Users/papar/Desktop/processed_endomondoHR_proper_interpolate.npy')
print(data)
Traceback (most recent call last):
File
浏览 0提问于2020-05-20得票数 0
2回答
我正在加载这个，但上面写的是错误。
import pandas as pd
import numpy as np
userMovie = np.load('userMovieMatrixAction.npy')
numberUsers, numberGenreMovies = userMovie.shape
genreFilename = 'Action.csv'
genre = pd.read_csv(genreFilename)
MemoryError:无法为形状(487495360 )和数据类型float64的数组分配3.63 GiB，我能做什么？快
浏览 7提问于2022-07-03得票数 1
2回答
我最初的list_函数有200多万行代码，当我运行计算代码时，我得到了一个内存错误。有没有办法让我绕过它。下面的list_是实际numpy数组的一部分。
熊猫数据：
import pandas as pd
import math
import numpy as np
bigdata = 'input.csv'
data =pd.read_csv(Daily_url, low_memory=False)
#reverses all the table data values
data1 = data.iloc[::-1].reset_index(drop=True)
list_=
浏览 0提问于2021-01-18得票数 0
当我测试一个超过100MB的音频文件时，我得到了以下错误。我是python新手，所以我找不到解决方案：
Traceback (most recent call last):
File "C:\Users\opensource\Desktop\pyAudioAnalysis-master\audioFeatureExtractio
n.py", line 542, in stFeatureExtraction signal = numpy.double(signal)MemoryError
浏览 13提问于2017-07-17得票数 0
我试图计算两个大小分别为(162225,10000)和(10000,100)的numpy数组的点积。但是，如果我调用numpy.dot(A，B)，就会发生MemoryError。于是，我试着写我的实现：
def slower_dot (A, B):
"""Low-memory implementation of dot product"""
#Assuming A and B are of the right type and size
R = np.empty([A.shape[0], B.shape[1]])
浏览 5提问于2014-12-27得票数 4
回答已采纳
1回答
我想初始化一个非常大的XArray数据集(如果可能的话在磁盘上)，以便以后处理--数据集的各个部分(空间子集)将由不同的脚本填充。
这是行不通的，因为数据集显然不适合内存。
import numpy as np
import xarray as xr
xr_lons = xr.DataArray(np.arange(-180, 180, 0.001), dims=['x'], name='lons')
xr_lats = xr.DataArray(np.arange(90, -90, -0.001), dims=['y'], name='
浏览 6提问于2022-09-19得票数 0
回答已采纳
我正在一个24 on内存的Windows 8 64位系统上运行Python2.7(64位)。在对通常的Sklearn.linear_models.Ridge进行拟合时，代码运行良好。
问题:然而，当使用Sklearn.linear_models.RidgeCV(alphas=alphas)进行拟合时，我在执行拟合过程的行rr.fit(X_train, y_train)上遇到了如下所示的MemoryError错误。
如何防止此错误？
代码片段
def fit(X_train, y_train):
alphas = [1e-3, 1e-2, 1e-1, 1e0, 1e1]
rr
浏览 2提问于2013-05-02得票数 16
2回答
假设我想做一个用输入向量乘以输入矩阵的函数：
def MatMul(A,b):
return A.dot(b)
现在，我执行以下代码：
import numpy as np
A=np.array([[1,2,3],[4,5,6],[7,8,9]],dtype='float64')
b=np.array([4,5,6],dtype='float64')
c=np.zeros(3,dtype='float64')
c=MatMul(A,b)
在MatMul函数中会有额外的数组分配吗？我知道A和b将通过引用传递。注意，我已经预先分配了数组c。
浏览 39提问于2018-07-26得票数 3
回答已采纳
1回答
我正在尝试执行以下代码：
for i in Fil:
for k in DatArr:
a = np.zeros(0)
for j in Bui:
a = np.hstack([a,DatDifCor[k][i,j]])
DatDifPlt[k].update({i:a})
但是它给了我这个错误：
Traceback (most recent call last):
File "<ipython console>", line 5, in <modu
浏览 2提问于2011-05-11得票数 1
回答已采纳
我有一个用于无线电信号的巨大数据集()，其组织如下：
dataset是一个包含3个键(X、Y、Z)的.hdf5文件。
X:形状(2555904x1024x2)浮标over 2 Millions sample each has 1024 complex points (2 floats for real and imaginary parts)
Y:形状(2 555 904 X24)整型指向调制类型
Z:形状(2555904x1)整数信号噪声级(信噪比)
我将调制类型和信噪比组织为一个元组((mod,snr),(mod,snr),(mod,snr), ...)列表。
我的问题
浏览 1提问于2019-08-05得票数 0
回答已采纳
我试图将层次化聚类应用于图像的像素值。这是分配图像的不同区域，并提取具有相似颜色的片段。问题领域是只分割图像的近颜色，而不是的形状。我正在尝试类似的方式(假设图像被加载为数字数组的形状(256,256，3)，由于版权问题不能共享图片：
from scipy.cluster.hierarchy import dendrogram, linkage
ppp=img.reshape(img.shape[0]*img.shape[1],img.shape[2])
Z = linkage(ppp, method = 'ward')
dendrogram(Z,leaf_rotation=9
浏览 1提问于2018-03-31得票数 0
回答已采纳
1回答
MemoryError:无法为形状为(120000，20,95932)且数据类型为float64的数组分配1.68 TiB，这是导致问题的行：outs = np.zeros((context_1.shape[0], maxLen, vocab_size))
是否有解决此错误的方法？
浏览 0提问于2020-05-23得票数 0
我有C++的二维Numpy数组，我想把它们转换成二进制格式，可以用python读取，你知道，python中的二维数组是一维数组，有两个指针，用来定位元素。你能告诉我python中的哪个函数可以用来完成这项工作或其他任何解决方案吗？
浏览 18提问于2017-08-23得票数 0
回答已采纳
1回答
我正在使用.csv ()函数读取一个15 20的read_csv文件，包括迭代器/块功能，因为我需要大约20%的文件子集。
在PyCharm中，我将最大堆大小设置为18 9Gb (尽管我有16 9Gb内存)，并将最小分配内存设置为最大堆大小9GB的一半。在整个过程中，Pycharm表示我正在使用大约100 of到200 of的RAM，而Windows则表示我正在使用大约2.5Gb的RAM，其中包括PyCharm和process。我有大约45%的记忆在任务管理器中。
据我所见，没有任何迹象表明我正在失去记忆。尽管如此，在读取这些数据时，我仍然得到了一个内存错误，它告诉我：
MemoryError
浏览 0提问于2019-09-12得票数 1
如何更改此函数以使其更有效？我一直在找MemoryError
def vectorize_sequences(sequences, dimension=10000):
results = np.zeros((len(sequences), dimension))
for i, sequence in enumerate(sequences):
results[i, sequence] = 1.
return results
我在这里称这个函数为：
x_train = vectorize_sequences(train_data)
x_test = vec
浏览 1提问于2018-11-11得票数 2
回答已采纳
1回答
我写了一些代码来计算到的约简
V = []
m,n = A.shape
for i in range(m-1):
x = A[i+1:,i]
e1 = np.zeros(x.shape)
e1[0] = 1
v = sgn(x[0])*np.linalg.norm(x)*e1 + x
v = v/np.linalg.norm(v)
V.append(v)
vv = np.outer(v,v)
print(A[i+1:,i:]-2*vv @ A[i+1:,i:])
A[i+1:,i:] =A[i+1:,i:]-2*vv
浏览 0提问于2020-11-06得票数 0
对于我的项目，我需要同时在内存中存储两个大数组。我试图按以下方式创建它们：
matrix_for_words_train = numpy.zeros(shape=(435679, 542))
matrix_for_words_test = numpy.zeros(shape=(435679, 542))
然而，在我的台式机上，第二个字符串导致了MemoryError.When，我试图在我的笔记本电脑上执行这个操作，我成功了。令我困惑的是，台式机的内存是笔记本电脑的两倍(8GB对4)。这两台机器都运行在Ubuntu上，台式机有12.04台，而膝上型计算机有14.04台(都是32位)，在这两台机
浏览 6提问于2015-05-29得票数 3
回答已采纳
1回答
我正在为分类任务构建一个简单的FeedForward网络。我在AWSg2.2xLarge实例上使用theano之上的keras。我的网络配置如下：
batch_size = 32
nb_epoch = 50
dimof_input = 8100
dimof_middle = 16384
dimof_end = 16384
dropout = 0.2
dimof_output = 3
print('Build model...')
model = Sequential()
model.add(Dense(dimof_middle, input_shape=(dimof_inp
浏览 4提问于2016-03-03得票数 1
目前，我正在尝试使用的代码构建一个elm，但是我遇到的问题并不是elm特有的:当运行该行时
X_train = scaler.fit_transform(train.values[:, 1:])
使用sklearn，我得到以下错误：
numpy.core._exceptions.MemoryError: Unable to allocate 359. MiB for an array with shape (60000, 784) and data type float64
它告诉我，它不能分配359。相对较小的矩阵的MiB。前面的行仅用于额外的设置，如链接中的示例所示，因此没有什么可以最大限
浏览 0提问于2021-07-06得票数 0
回答已采纳
我最近正在处理一个安静的大数据集，我打算使用Tfidfvectorizer来分析它。
以前有过关于MemoryError在实现Tfidfvectorizer时的文章，但是在我的示例中，在将数据输入Tfidfvectorizer之前就会发生MemoryError。这是我的密码。
读取数据
data =pd.read_csv(.)数据“描述”是文本内容
过程数据
从sklearn.feature_extraction.text import TfidfVectorizer description_vectorizer = TfidfVectorizer(max_features=500，m
浏览 2提问于2018-04-21得票数 1
1回答
如何使用-学习在没有遇到内存问题的情况下训练大型csv数据(~75 on )上的模型？
我使用IPython笔记本作为编程环境，使用pandas+sklearn软件包分析kaggle数字识别器教程中的数据。
数据可以在上获得，链接到，下面是：
KNeighborsClassifier用于预测。
问题：
"MemoryError“发生在使用read_csv函数加载大型数据集时。为了暂时绕过这个问题，我必须重新启动内核，然后read_csv函数成功地加载文件，但是当我再次运行相同的单元时，同样的错误会发生。
当read_csv函数成功加载文件时，在对dataframe进行更改之后，
浏览 2提问于2012-07-29得票数 14
回答已采纳
4回答
我是Python的新手，不了解.dtype是做什么的。
例如：
>>> aa
array([1, 2, 3, 4, 5, 6, 7, 8])
>>> aa.dtype = "float64"
>>> aa
array([ 4.24399158e-314, 8.48798317e-314, 1.27319747e-313,
1.69759663e-313])
我认为dtype是aa的一个属性，它应该是int，如果我指定aa.dtype = "float64"
那么aa应该成为array([1
浏览 2提问于2012-02-27得票数 19
回答已采纳
在google计算引擎上，我运行以下命令：
z = np.zeros((10000, 32, 32, 3))
并获取
MemoryError跟踪(最近一次调用) in ->1z=np.zeros(10000，32，32，3)
MemoryError:无法分配234个。MiB用于形状(10000、32、32、3)和数据类型float64的数组
这看起来像当前的操作系统配置阻止我分配大数据块，这在我看来是很奇怪的。
如何获得需要分配的内存？
这是用于，用于将CIFAR-10加载到内存中。
浏览 2提问于2020-02-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
