我正在构建一个ETL管道，它将来自多个基于文本的源的数据集中到一个Neo4j图形数据库中。MySQL被用作管道中的“临时”存储。原始文件( CSV、TSV或XML)被加载到MySQL中。该数据用于更新“实体”的主存储，之后不再需要该数据。 虽然不再需要MySQL临时数据，但我希望将其保留在某个地方，以防有一天我需要参考它。做这件事最好的方法是什么？我意识到我可以转储它并将文本存储在某个地方，但这将意
浏览 14提问于2021-08-20得票数 0
2回答
这是语言不可知的(但我正在使用PHP和MySQL，如果有帮助的话)。如何高效地保存海量文本数据？例如，Google Docs会自动保存文档，并保存该文档的每个版本。我想他们不会存储每个版本，因为那会非常大。它们可能只是存储了一系列的差异。
有什么想法吗？
浏览 4提问于2011-05-19得票数 1
回答已采纳
2回答
实现注释系统(海量数据写入)的最佳方法是什么？
1)使用关系数据库数据库(如MySQL )，两个表一个用于主题，一个用于注释Pros，即插入新注释是快速、高效、简单、高效的索引。2)使用nosql数据库(如couchdb或mongodb )，Pros是指扩展(水平扩展)很容易，支持海量数据写入，无模式Cons，我认为插入新数据并不像RDBMS那样快速有效。此外，我认为couchdb就地更新，Mong
浏览 1提问于2013-05-09得票数 1
回答已采纳
我在我的项目中使用了两种数据库，mysql和neo4j。mysql中的内容，neo4j中的关系。我的问题是：(以博客为例)
1 .如果我使用neo4j进行全文搜索，那么我必须将title和description存储到neo4j DB并索引这两列，是否可以在neo4j DB中存储大量内容？2、mysql全文搜索的性能如何？与neo4j相比？
浏览 3提问于2013-11-16得票数 0
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
1回答
我有一列我保存电话号码。我已经添加了一个索引，查询按预期使用了它。但是这个索引是否有效呢？当我有数百万条记录时，它还会快吗？{ "nscanned" : 1,
"nscannedObjects
浏览 1提问于2014-05-20得票数 0
我试着自学数据库设计技术。由于facebook是大型数据处理系统的一个例子，我想知道如何处理这些海量数据。我知道他们使用MySQL作为核心数据库引擎，并使用‘Memcached’缓存数据和减少数据库访问。此外，如果任何人都能为像图像或视频这样的媒
浏览 10提问于2014-06-04得票数 0
回答已采纳
在MySQL数据库中保存10000+表可以吗？我正在编写一个消息/聊天脚本，所以我正在考虑将数据分区到多个表上，因为几天后它将是一个巨大的数据量。可以吗？或者它有一些效果？因为一个表可以容纳数百万行，所以我在想也许一个数据库也可以容纳大量的表我是MySQL的新手，请帮帮忙
浏览 1提问于2013-08-23得票数 1
1回答
我有一个要求，我需要获取USB海量存储元数据VID，PID和串行编号。现在我想要的是基于驱动器的字母，需要检索USB海量存储元数据。
提前感谢您的支持。
浏览 5提问于2014-04-10得票数 1
回答已采纳
我想把这些信息存储在sqlite数据库中。但我想不出用表格的形式存储这些海量信息的最佳方法是什么。我的意思是，我需要把所有的数据编码到我的src文件中？或者，该数据库中是否有任何图形用户界面(如MySql数据库)可以将数据写入表而不对其进行编码？我不确定你是否理解我的问题。如果你不这样做，请问一下我说的是什么意思。(提前感谢您的帮助:)
浏览 3提问于2014-05-11得票数 1
回答已采纳
2回答
我对mysql数据库中的二进制、十六进制和八进制系统非常感兴趣。首先，请给我一个建议，为什么我们在存储信息时需要它们，是因为海量的信息还是为什么？
另外，哪种类型的值必须存储在标记的系统中？
浏览 2提问于2012-05-17得票数 5
回答已采纳
我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？
谢谢!
浏览 0提问于2010-09-08得票数 4
回答已采纳
1回答
存储海量数据
、、、
我有很多数据，像300x68k这样的点存储为双精度，它代表磁场，我需要在我的Android应用程序中使用这些点。但是它大约是80MB，我认为这是一个巨大的数据，把它写到表中并不是很有效率。所以我有一个问题:我应该如何存储它才能以真正快速的方式访问这些数据？快，我是说女士。
浏览 1提问于2015-11-12得票数 1
1回答
持久性数据库(缓存) java
、、、、
我得到了数据库仓库，在那里我存储了去年的所有重要数据(海量数据)。我写入数据库的数据量取决于白天时间。问题是，在高峰时段，由于将数据插入数据库，我的应用程序变得非常慢。我的想法是在将数据插入到数据库仓库之前，创建一个持久化数据库(或缓存)来保存数据。你能为这个想法提出技术建议吗？我应该使用nosql还是缓存？(app是用java编写的，db是mysql</
浏览 3提问于2016-02-23得票数 0
回答已采纳
3回答
如何从大量的数据创建数组？
、、、、
我从我的mySQL数据库中选择了很多数据： $q->execute([$id]);我想将这些数据存储到一个数组中我现在的问题是，我有如此大量的数据，数组正在加载和加载，我的系统不堪重负。是否有一种方法可以创建一个具有更好
浏览 6提问于2018-05-08得票数 1
回答已采纳
3回答
似乎我不能在MYSQL表中使用JSON --在为字段选择数据类型时没有这样的选项-- phpMyAdmin ver 4.8.3。
浏览 3提问于2018-12-26得票数 0
回答已采纳
2回答
我有350 80的非结构化数据，按50-80列分类。
我需要将这些数据存储在NoSQL数据库中，并执行按40列过滤的各种选择和映射/还原查询。我想使用mongodb，所以我有一个确定的问题:这个数据库能够处理这个任务吗?在现有的提供者hetzner.de中，我需要什么来实现它的架构？
浏览 3提问于2012-01-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
