我有一个大的数据集23 GB的滴答，股票市场的数据，没有可变的名字作为标题，没有分隔符。请查看图像以了解我的数据集。数据必须拆分为具有变量名称和长度的列，如下所示
浏览 0提问于2018-11-16得票数 0
2回答
存储与处理时间
、、
客户端1需要完整的列表。客户端3将传递一个值，并期望返回一个键。问题是，既然Java集合使用指向实际对象的指针，而不是存储对象，那么是否值得再存储两个映射。为客户端3服务的Map<value, MyObject>。(java HashMap)
这将节省迭代整个列表(list<MyObject>)和查找匹配键或值所需的<
浏览 0提问于2015-04-15得票数 2
1回答
对于读取和写入存储在与给定ASP站点应用程序相同的文件夹结构中的文本文件，通过Scripting.FileSystemObject (FSO)将文本数据存储在传统的INI或“平面文件”结构中与将其存储在XML“平面文件”中以及使用XMLDOM相比，处理效率有多大的差异？这是关于IIS7或更高版本的。我听说从ASP/VBScript中解析和处理XML比通过
浏览 5提问于2013-05-04得票数 0
2回答
这个问题与数据库/RDBMS有关，在那里我对性能和记录处理知之甚少。
如果我们需要存储与某些记录相关的图像，那么更好的选择(性能)是什么？无论是将图像作为字段存储到数据库中，还是维护自己的文件并将文件路径存储到数据库中。我认为当前的关系型数据库应该能够很好地处理自己的图像文件，我们可以依靠those.
浏览 3提问于2012-06-23得票数 0
回答已采纳
4回答
我在这里有一个案例，我想听听专家们的一些意见:)I有一个具有“Int32 32”和“Double”值的数据结构，总共有108个字节。--我必须处理这个数据结构的一个大系列。是有用的，整个系列必须被处理。这不是全部就是什么都没有。系列数据将永远不会改变。内存消耗是而不是问题。我认为，现在，如果用户没有几十Mb在他的机器上，他可能有一个更深的problem.
浏览 3提问于2012-02-10得票数 2
回答已采纳
2回答
我在GCS中有越来越多的数据，并且将有一个批处理作业，比如说每天处理100万篇文章的增量。我需要从BigTable获得更多的密钥信息(包含数十亿条记录)。只对地图操作中的每一项进行查找是否可行？对这些查找进行批量处理并执行类似于批量读取之类的操作是否有意义？或者使用scio/beam来使用这个用例的最佳方法是什么？我在中发现，对每个请求执行查找是推荐的流方法，但我不确定是否会通过批
浏览 0提问于2019-03-25得票数 3
回答已采纳
2回答
我正在Spring上开发一个MVC应用程序，下面是它的包结构：
包' domain‘包含用于Redis的JPA实体和POJO；包“存储库”包含用于处理域模型的Spring数据存储库；包"services“包含服务层并与存储库一起工作；包”控制器“包含处理服务的REST控制器。但是通常，服务需要对特定于服务的数据使用一些POJO，并将其传递给控制器。
浏览 1提问于2015-07-19得票数 4
回答已采纳
1回答
使用Spark流的红移
、、、
我有一个Kafka - Spark流应用程序，可以每分钟摄取和处理60K个事件。我需要一个数据库来存储我转换后的数据帧，以供可视化层访问。Redshift可以与Spark Streaming一起使用吗?还是应该使用Cassandra？我将在每30秒的spark窗口中处理和存储数据帧。另外，我需要从每个窗口的数据存储中读取数据。我猜Redhsift
浏览 0提问于2017-09-28得票数 0
我需要在项目处理器之间传递与处理项目相关的数据，我不需要持久化数据，最好的方法是什么(注意，我目前使用StepSynchronizationManager访问stepExecution并将数据存储在ExecutionContext
浏览 2提问于2011-08-19得票数 1
回答已采纳
我有一个项目，处理与斯派克有关的EMR数据处理。
据我所知，人们通常将输入数据存储在某个文件系统(HDFS、S3或本地系统)上，然后对其进行操作。如果数据非常大，我们不想在本地存储这些数据。我的问题是，如果我生成了一堆数据，那么您如何将这些数据远程存储在S3或任何一种云文件系统上呢？在将数据存储在云端之前，我不
浏览 1提问于2018-06-20得票数 0
回答已采纳
1回答
我有一个rails应用程序，用户可以上传数据，然后后端处理数据，并创建更多的数据，并与记录一起存储。数据处理是异步的，并在rails应用程序之外处理。目前，我一直将未处理的数据存储在与处理过的数据相同的表中，然后在处理数据
浏览 0提问于2018-08-30得票数 0
回答已采纳
1回答
可能重复：
您是否在代码中使用时间戳并将其保存在INT字段中。您是否采用日期和格式来更正格式并将其存储在日期时间字段中？
哪种方式有优势？谢谢你的投入！
浏览 2提问于2011-02-28得票数 5
回答已采纳
由于存储操作非常昂贵，因此在区块链上存储持久数据的成本很高，那么从智能契约中将可变数据存储在区块链之外的解决方案是什么呢？我听说过IPFS和Swarm，但我并不真正理解它们是如何作为存储层与智能契约交互的。假设我们要设计一个虚拟的银行应用程序(DApp)，它可以处理一百万客户。我们需要读取/写入客户信息，包括持久化存储中的帐户余额。业务
浏览 0提问于2019-10-29得票数 3
2回答
在ARM微处理器中，唯一可用的存储空间是37个左右的通用和状态寄存器，还是在微处理器芯片中有一个单独的可访问存储空间？例如，在Atmel AVR微控制器中，据我所知，存储器与数据存储器、程序存储器(包含程序存储器)和EEPROM存储器在同一芯片内进行内部映射。这是否同样适用于ARM微处理器，或者具有ARM微处理
浏览 1提问于2013-04-17得票数 0
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据<
浏览 8提问于2016-03-14得票数 16
3回答
接收文件(MS docs、ODS、PDF)
我对第三和第四点感兴趣..。详细信息:应用程序正在交互地处理文档(一些分析-语言检测、单词计数等)+收集尽可能多的详细信息-都柏林核心+解析内容/事件处理)，以便将处理结果返回给用户，然后提取的
浏览 9提问于2011-03-01得票数 8
回答已采纳
Hadoop的卖点之一是数据与计算？这与WASB是如何工作的？在处理MapReduce作业时，map和reduce任务将在数据块所在的位置执行。这样就实现了数据的局部性。但在HDInsight的情况下，数据存储在wasb中。那么，在执行MapReduce时，是否将数据从wasb复制到每个计算节点，然后继续处理？如果是这样，那么将数据</e
浏览 2提问于2016-09-01得票数 0
2回答
我在WPF应用程序中使用数据集。Header="test" Width="*" Binding="{Binding test}"/> </DataGrid> { set { _fg = value; }}
数据</e
浏览 6提问于2020-05-19得票数 0
回答已采纳
我有一个任务端点，需要处理从前端请求上传的数据(例如>1MB文件)。但是，我认为我不能通过TaskOptions.Builder传递来自前端请求的数据，因为我会得到“任务大小太大”的错误。我需要某种“临时”数据存储的上传数据，可以删除一旦任务成功地处理它。
选项A：将上传的数据存储在memcache中，将密钥传递给任务。这很可能在大多数情况
浏览 7提问于2011-12-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
