我正在尝试创建一个大的numpy数组,比如说a=np.random.normal(size=(100000,10000))#This is just创建此数组后,我还需要进行操作,并将其用作机器学习中的训练数据(例如,xgboost或CART)。
所以我的问题是:1.如何创建这么大的数组而不出现内存错误,并且还可以让我进行计算?你能推荐一些我可以学习的包或链接吗? 2.假设这个数
我正在训练一个网络,它需要在每次迭代时从数据集中加载图像及其地面真实数据。目前,我使用下面的策略,每次从我的SSD读取图像和它的基本事实。问题是,我的图片是*png和大尺寸的(512x512x3),因此,它需要时间来阅读这些图片。此外,该策略重复读取数据集中的图像。我们有没有更好的策略来更快地完成它,即。将所有图像加载到RAM并从RAM访问它会更快吗?我使用的是python3和keras
class myDataset(Dataset