我有一个大约28 gb、1亿行的.txt文件，最初我们使用Python以及Pandas和SQLite3的混合将这些数据加载到我们可以查询的.db文件中。但是，我的团队更熟悉R，所以我们希望将.db文件加载到R中。然而，这是有内存限制的。是否有解决此错误的方法
浏览 29提问于2021-05-07得票数 0
回答已采纳
3回答
我从Kaggle获取了KDD数据集，并决定将一个大约2.5 on的3列track1文件加载到我的16 on高内存EC2实例的内存中：python会话耗尽了我所有的内存(100%)，然后就被杀死了。然后我使用R(通过read.table)读取相同的文件，它使用了不到5 5GB的
浏览 4提问于2012-04-22得票数 9
回答已采纳
2回答
我有一个ListView，每个单元格都包含一个从互联网上下载的位图。为了避免内存不足错误，我想知道处理这个问题的最好方法是什么。我已经查看了位图的软引用，但我想知道如果我在当前的活动中，应用程序开始耗尽内存会发生什么。它如何决定回收哪些位图？谢谢
浏览 0提问于2012-01-28得票数 2
回答已采纳
1回答
有没有一种方法可以匹配文件中的单词列表。我有两个文件，A和B。A有一个单词列表abcd和文件Babcdefgh abcdzswertyu xyzt输出将是zswertyu xyzt
我在perl中的for循环中使用grep尝试过这一点。但是它太慢了。我有超过100K<em
浏览 5提问于2013-07-10得票数 0
4回答
我正在编写审计跟踪的报告视图，并且我需要在.jsp中显示它。将数据库中的数据显示到屏幕上的“最佳”方法是什么？有什么想法不涉及在jsp中运行查询吗？
浏览 0提问于2008-09-18得票数 2
回答已采纳
1回答
我正在开发一个应用程序，在该应用程序中，我希望显示大量的图像，用户可以从其中选择全屏视图。图像的一个子集将在任何时间点对用户可见，其数量是由用户控制的，该控件将增加或缩小缩略图大小。目前，如果加载了太多的图像，应用程序自然会耗尽GPU内存。我正在考虑几种可能的办法，但我不知道哪一种方法是最好的：
将完整图像加载到内存中，使用CPU将图像大小调
浏览 1提问于2018-10-19得票数 0
1回答
我正在处理ALAsset的大型实例，并尝试将资产拆分为较小的块进行上传。
在不将整个文件加载到内存中的情况下，将大文件拆分成小块的好方法是什么？
浏览 0提问于2012-07-15得票数 1
回答已采纳
我正在使用预先签名的亚马逊网络服务S3 urls从一个内存有限的设备上传文件。但是，我偶尔会有需要上传的大文件。问题是将这些文件加载到内存中会导致内存不足异常。我发现可以直接将文件流式传输到S3 (例如， )，但我找不到任何有关如何使用预签名url实现此目的的信息。有没有一种方法可以使用预先签名的</e
浏览 5提问于2019-05-31得票数 0
每幅图像是512×512像素的size.The文件，我从实验中得到的是一个tiff单元16的数据。，tiff文件包含1000帧相同的点。。我在考虑写一个m文件，从tiff文件中读出1000帧，然后对它们进行平均，但似乎很快就会耗尽内存。
获得这1000帧的平均图像的更好方法是什么？如果唯一的方法是在将<
浏览 4提问于2011-04-16得票数 4
回答已采纳
1回答
在iOS上转码音频
、、、
我从iOS音乐库(作为NSData对象)获取歌曲数据，但是当数据不是MP3文件的数据时，我想对其进行转码。关于转码过程，我有两个问题：
是否有什么内置的东西可以做，比如M4A到MP3代码转换，或者我需要使用诸如ffmpeg或其他外部库？如果是后者，有没有在iOS上这样做的例子？没有把所有东西都加载到内存中的最好的方法是什么？显然，一个大的歌曲文件将耗尽
浏览 2提问于2011-03-13得票数 3
回答已采纳
1回答
我越关注这个问题，越多地在Node.js上阅读，我就越确信OOM不是因为内存泄漏而发生的，而是因为我没有将数据输入到系统中。Node处理此场景的惯用模式是什么？我是否应该将对csv文件的读取绑定到某种阻塞队列，这种阻塞队列一旦填满，将阻止文件阅读器
浏览 2提问于2016-04-08得票数 4
回答已采纳
2回答
假设我只有8G的堆空间，我想把一个比这个更大的文件分成一系列更小的文件。如果我试着 content = f.readlines()
我将耗尽内存，因为它试图加载整个文件。是否有一种方法可以打开文件而不将整个文件加载到内存中，只需从X行到Y行？
浏览 3提问于2017-04-10得票数 5
回答已采纳
2回答
在android中处理大量图像
、、、、
我正在将大约200张图片从MySQL数据库加载到我的安卓应用程序中。当我尝试将它们全部存储在位图和位图的ArrayLists中时，很快就得到了一个内存不足的异常。我想知道存储这些图像的最好方法是什么。我可以将它们全部保存在SD卡上，并且只将它们的路径保存在我的应用程序中。
但我也需要始终在ViewPager的页面中显示这些图像(每页大约显示8个图像)。如果我用资源中的</e
浏览 1提问于2012-12-19得票数 0
回答已采纳
2回答
我有一个新的应用程序项目，在开始之前，我想知道组织数据的好方法是什么。将问题存储在简单的文本文件中并加载到Flash (使用URL Loader)或XML文
浏览 2提问于2012-07-30得票数 2
3回答
我有一个PHP脚本，偶尔需要将大型文件写入磁盘。使用file_put_contents()时，如果文件足够大(在本例中约为2MB)，则PHP脚本将耗尽内存(PHP致命错误:允许########字节的内存大小耗尽)。我知道我可以增加记忆限制，但对我来说，这似乎不是一个完整的解决方案--必须有更好的方法，对吧？
用PHP将一个大文件写入磁盘的最好<e
浏览 2提问于2011-01-25得票数 15
回答已采纳
在python脚本中，我将一个数据集加载到一个环境变量中，这几乎会耗尽所有系统内存。 假设我对这些数据做了一些处理，我准备忽略它并加载另一个类似大小的数据集。现在，由于Pythons内部垃圾收集器和引用系统对变量的引用，从环境中删除该变量并因此释放内存以加载新变量并不是一件容易的事情。 做这件事的最好方法是什么？
浏览 17提问于2018-12-21得票数 0
2回答
实时图形绘制(波形)
、、、、
我想在将来用C# .NET 4.0做一些音频项目，所以我收集了一些用于录音，处理波形文件等的代码样本。但我还没有找到的是：谢谢!
浏览 1提问于2012-02-29得票数 8
回答已采纳
我有一个包含一百万个条目的文本文件。每个条目基本上是两个句子，平均20个单词。
为了完成一些任务，我将所有的单词加载到一个散列中。每个单词都是一个键，值是它在文本中出现的次数。我的问题是，在将它们加载到散列中时，我会耗尽内存。我在一台只有1 GB内存的机器上。有没有办法减少内存使用量？或者我应该使用Ruby散列之外的其他方法。
浏览 0提问于2012-12-21得票数 2
回答已采纳
1回答
delayed_array = [delayed(generator) for generator in list_of_generators]
my_bag = db.from_delayed(delayed_array我的问题是，当创建delayed_array时，生成器被消耗掉，内存耗尽。是否有一种方法可以将这些长列表放到Bag中，而不首先使用它们，或者至少以块的形式使用它们，这样就可以保持较低的内存使用量？NNB我可以
浏览 0提问于2018-06-14得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
