4回答
将大量数据加载到内存中-这是最有效的方法吗？
javascript、jquery、data-structures
我已经创建了必要的搜索数据文件，但需要加载大量数据，加载所有数据需要8-20秒。数据被分成40-100个文件，具体取决于需要搜索的文档。每个文件的大小在40-350kb之间。当网页加载时，我可以生成需要加载哪些搜索数据文件的列表。必须先加载整个列表，然后才能认为该网页是有效的。
有了前言，让我们看看我现在是如何做到这一点的。(2,[0,1,2,3,4,5,6,7,
浏览 1提问于2010-11-12得票数 21
回答已采纳
2回答
将SQL数据库用作词典
sql、database、database-design、dictionary
我正在创建一个手机游戏，它从用户那里获取单词，然后验证它们是否是英语词典中的有效单词。在过去，我使用加载到游戏本地内存中的字典创建了一个类似的游戏。
这种方法的问题是，我经常需要用新单词更新字典。由于字典在内存中，添加新单词需要我完全更新应用程序。如果我使用SQL数据库作为字典，我可以很容易地添加单词，而不必更新应用程序，并且必须依赖用户去下载新的更新。我
浏览 3提问于2012-05-20得票数 1
回答已采纳
1回答
非SQL数据源的存储库模式
c#、repository-pattern
我希望创建一个由业务层和存储库层组成的N层应用程序，它处理SQL数据库以外的数据源，例如，如果我想实现存储库，从文本文件或XML文件中读取数据，查询包含“C#”的行数或计算平均分数等等。看起来，如果用户每次想要查询文本文件中的数据时都从UI调用，那么对大型文件就没有效率，因为它每次都会通过层调用存储库，并且需要将所有数据加载到内存中</e
浏览 2提问于2017-04-21得票数 0
回答已采纳
1回答
核心数据可以在iOS上延迟获取BLOB属性吗？
core-data、ios
我将一张照片作为可转换属性存储在我的核心数据实体中，这是要加载到iPhone内存中的大量数据。如果我想要提供一个列出所有实体(可能是数百个或数千个)的TableView，但只需要显示它们的标题，核心数据是否仍然会在需要之前获取每张照片并将其存储在内存中？我想要做的是，只有当用户选择要在另一个ViewContro
浏览 0提问于2010-10-20得票数 4
回答已采纳
1回答
AVAudioPlayer是从磁盘流式传输文件，还是一次性将文件加载到内存中？
iphone、ios、ipad、avfoundation、avaudioplayer
我想播放长达一个小时的音频文件。AVAudioPlayer似乎是最简单的解决方案。但它也是有效的吗?还是在播放之前将整个文件加载到内存中？
浏览 2提问于2012-11-18得票数 0
1回答
使用Pyspark将巨大的csv文件加载到oracle数据库表中
python、oracle、pyspark
目前，我正在使用Python连接到RESTAPI，并从csv文件中提取大量数据。行数几乎是80 million。现在，我想将这些巨大的数据加载到Oracle数据库表中。我试图使用sql loader和ODI工具加载数据，但是加载这些数据需要几个小时。
我想尝试使用Pyspark作为加载大型数据集的好方法。但是，作为第一种方法，我对Pyspark并不确定，将如此庞大
浏览 4提问于2021-09-07得票数 1
回答已采纳
1回答
使用Spring批处理将大量数据存储到数据库
java、mysql、spring-batch、struts、batch-processing
我有大量的数据要核实。然后设置一个对象，然后一个一个地保存在数据库中。所以这需要很长时间。我计划使用Spring批处理在一次性处理后存储大量数据。这样我就可以省去每次和db交谈的时间了。我是否可以将整个数据存储在一个列表中并使用Spring批处理存储，或者有其他方法？请帮我举个例子。
数据库- MySql Serve
浏览 0提问于2018-12-11得票数 0
1回答
在OpenCV中有效地将大Mat加载到内存中
c++、opencv、mat、opencv3.0
是否有比FileStorage方法更有效地将大型Mat对象加载到内存中的方法？
我有一个很大的Mat，它有192列和100万行，我想在本地存储在一个文件中，然后加载到内存中，然后我的应用程序启动。使用FileStorage没有问题，但我想知道是否有更有效的方法来做到这一点。目前，使用Visua
浏览 2提问于2015-09-01得票数 19
回答已采纳
1回答
的内存使用
java、randomaccessfile
我试图从一个非常大的(>100 GB) ascii编码文本文件中访问数据(只读)。该文件主要包含坐标(16位浮点数，包括小数点)和其他一些次要信息(名称等)。因此，我考虑使用RandomAccessFile来避免将大量数据加载到内存中。(例如，我可以将一行数据缓存到内存中，以加快速度，但让我们将其留待以后使用，并假设时间不是问题，只要时间不接近无穷大)。问题
浏览 1提问于2017-01-15得票数 1
回答已采纳
2回答
OrmLite和greenDAO是否在后台线程中执行查询，并将结果部分加载到内存中？
android、orm、ormlite、greendao
为了避免阻塞主/UI线程，Android提供了访问数据库的。为了节省内存(RAM)，API不会将整个行(结果)加载到内存中，这样我们就可以在没有内存不足的情况下拥有包含这么多项的ListView。& 提供了这两种功能吗？如果没有，是否有任何方法可以执行异步查询和部分加载和交换，以将大量数据填充到ListView中</em
浏览 7提问于2014-06-05得票数 4
2回答
Apache在内存缓存中的火花
java、caching、apache-spark
火花将工作数据集缓存到内存中，然后以内存速度执行计算。有没有一种方法可以控制工作集在RAM中驻留多长时间？
我有大量的数据可以通过工作访问。最初将作业加载到RAM需要时间，当下一个作业到达时，它必须再次将所有数据加载到RAM中，这很费时。是否有一种方法可以将数据永久地(或在指
浏览 2提问于2014-11-11得票数 8
回答已采纳
1回答
PHPExcel -以区块为单位写入/追加
php、phpexcel
我正在使用PHPExcel框架试图从mysql查询中写出一个非常大的excel文档。Allowed memory size of xxx bytes exhausted (tried to allocate yyy bytes) in zzz on line aaa
我知道这是有文档记录的，而且我已经调整了服务器上的内存分配，但即便如此，我仍然遇到了问题。那么有没有一种方法可以写成小块，或者附加到excel文档中，这样我就不会耗尽内存分配？我想沿着页面
浏览 2提问于2012-03-16得票数 4
回答已采纳
2回答
将39567865个无符号字符加载到RAM:有效方法？
c++、optimization、storage
我已经用内存映射文件做了很多实验，数据的智能排序使得只需要读取很少的数据，等等。我只是不能让它工作得足够快，足够可靠。总是存在这样的情况，即文件中的磁盘访问和寻道似乎是瓶颈。我现在正在考虑将整个字节数据(无符号字符)加载到RAM中。但是，它是39567865个无符号字符。它可以在我的电脑上运行，但我希望它能在所有的电脑上运行。
谁能告诉我我的<e
浏览 1提问于2013-06-30得票数 0
回答已采纳
2回答
按需将数据从文件加载到集合的最有效方法是什么？
java、performance、collections、guava、memory-efficient
由于GUI不需要一次加载所有这些对象并将它们保存在内存中，因此我正在寻找一种从文件加载/卸载数据的有效方法，以便只有在用户请求数据时才将数据加载到集合中。
我现在只是在评估选项。我还想到了这样一种情况，在将数据子集加载到集合中并将其呈现在GUI上之后，重新加载先前观察到的数据
浏览 1提问于2010-03-13得票数 3
回答已采纳
3回答
存储NLP的好方法是什么?嵌入(nparray加上信息)
python、database、numpy
我考虑将所有这些信息存储在一个(PostgreSQL)数据库中，但是我担心搜索向量/嵌入可能会很慢。应用程序是相似搜索，因此找到与查询最相似的向量。
保存这些向量及其对应信息的最佳方法是什么？在本例中(document_ID、sentence_as_string、sentence_embedding)存储python是否有效？postgres数据库做这项工作吗？我还考虑过将所有嵌入存储为.
浏览 5提问于2019-11-25得票数 10
1回答
AngularJS，从json获取单个帖子
javascript、json、angularjs
我正在尝试学习AngularJS，但可能陷入了一个简单的问题。
到目前为止，我有一些硬编码的json文件，还没有“真正的”后端，其中有一些人。在我的表单中，我希望每次都显示一个人。我发现的所有示例都使用query来获取列表或使用参数调用REST服务。我不确定如何将其应用于我的原型？这段代码的工作方式是获取我的json文件并显示其中的单个实体，但是当有10个实体时，我想搜索一个。下一步将是进行“喜欢”搜索，并在模式列表
浏览 1提问于2013-11-18得票数 0
2回答
比较大型csv文件
python、pandas
比较两个大型(8GB和5GB) csv文件，哪种方法更有效？输出应该包含所有不在file1中的id。df = pd.read_csv(file)
df = df.merge(df1, on=['id'], how="outer", indicator=True).query('_merge=="left_only&quo
浏览 10提问于2022-09-15得票数 2
回答已采纳
1回答
我是否应该使用dataset类作为缓存来加速SQLite加载
winforms、sqlite、vb.net-2010
在我的WinForms应用程序中，我将大量数据从二进制文件加载到SQLite DB中。我在数据库上进行查找，以确定是否要添加每个新数据。我应该使用DataTable或DataSet类将数据加载到内存中，然后作为后台任务写入SQLite DB吗？或者，一次从DataTable对象插入多个行的成本会更低吗<
浏览 0提问于2012-11-25得票数 1
回答已采纳
1回答
使用R将存储在S3桶上的数据导入Server的最有效方法
r、sql-server、amazon-s3
我在亚马逊的S3桶上存储了大量的大型CSV文件(每个文件的容量从1.2-1.5GB不等)。我想将这些文件导入/加载到数据库中。我一直在尝试使用R中的aws.s3包来处理这个问题，但我希望了解如何在将数据加载到内存/将数据保存到物理驱动器方面最有效地做到这一点。
我也愿意听取其他关于如何在R.
浏览 0提问于2019-01-28得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
语音识别
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号