1回答
我正在抓取一个包含2M数据的网页，用Watir滚动页面，而不是用Nokogiri获取数据。我可以通过一次请求获取所有数据。或者首先，将数据存储在散列中，然后保存到数据库中？textend
# User.import(users, batch_size: 1000) -> i can use batching
我应该将其直接保存到数据
浏览 0提问于2019-08-22得票数 0
我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？
谢谢!
浏览 0提问于2010-09-08得票数 4
回答已采纳
我在将数千个数据导入phpMyAdmin时遇到了问题。我做了导入，它只会导致null。而且我不能一个接一个地手动输入。我需要一些对那个问题有帮助的东西。
如果你愿意帮我，谢谢。
浏览 1提问于2018-10-12得票数 0
1回答
Sqoop导入性能改进
、、、
每当我试图将海量数据从Teradata导入到Hive..。它在过去的两三个地图上被击中了两个多小时。我正在使用8个映射器-分离-有没有办法提高性能？由于我在prod，所以我使用的no.of映射器更少。
浏览 2提问于2018-07-14得票数 0
2回答
我们在AWS S3桶中有85 We的数据。把它搬到Azure的最佳选择是什么？去买AWS雪球边缘。我能从它导入数据到Azure吗？另一个难题是，数据是海量的小文件(图像)，如果我们选择各自的设备，AWS会对GET请求收费吗?对于PUT请求，AWS会收费吗？
浏览 0提问于2017-11-11得票数 4
1回答
我希望将一个海量数据集导入到mysql服务器中。问题是，前6列的名称很好，之后我有超过1000列的吸收值，我宁愿不坐在那里输入‘吸收-x’几个小时。
浏览 16提问于2019-10-22得票数 0
作为snowflake的新手，有一个潜在的snowflake/sql服务器集成项目(用于SSAS)，我想知道是否有一些成熟的ODBC或OLE驱动程序用于将Snowflake中的数据摄取到SSAS中，或者转储数据到文本文件是否是导入到SSAS中的唯一高速/海量数据机制，特别是对于旧版本，如SSAS 2014 (同时考虑升级路径)。
浏览 38提问于2021-11-20得票数 1
回答已采纳
我在2个不同的服务器上有2个数据库。源数据库是一个海量房地产数据库，第二个是Wordpress数据库。我必须将数据从源导入到Wordpress数据库的post和postmeta表中。目前，我正在从源数据库中取出所有内容，然后循环遍历这些结果，使用另一个嵌套查询将它们插入到posts表中，以使用post insert中的插入id将每个字段作为元值插入。
浏览 1提问于2012-12-11得票数 1
回答已采纳
3回答
我使用的是grails 2.3.7和最新的excel导入插件(1.0.0)。我的要求是，我需要将excel工作表的内容完全复制到数据库中。我的数据库是mssql server 2012。最初，我遇到了一个数据内存不足的异常。我将堆大小增加到8 8GB，但现在线程继续运行，不会终止。不会生成任何错误。
请注意，这只是一次操作，将由确保此操作不会妨碍其他并行运行的操作的人员执行。当记录数量达到10,000个且列数相同时，数据大约在5分钟内被复制。如果我现在有50,000行，那么理想情况下所用的时间应该是5倍左
浏览 1提问于2014-11-07得票数 1
我必须将日志文件导入到SQL Server数据库。文件很大，大约有6MB，有40000行。导入的任务每天都要用日志来完成。日志文件的每一行都包含许多字段，我必须将这些字段导入到Database中的正确列中，以便进行后处理。使用海量复制-Write C#应用程序非常感谢。但每天收到日志文件后，我的程序必须自动将其导入数据库。我该怎么做呢？
浏览 0提问于2009-07-16得票数 1
回答已采纳
1回答
我正在开发一个应用程序，使用户可以使用iCloud驱动器/iCloud文档/iCloud将核心数据记录导出到文档中，他可以在另一个设备上导入和访问这些文档。我指的是在使用相同应用程序的设备中导出/导入文档。文档可以通过用于导入的唯一文档名来标识。3) 密钥-值存储.(少量数据)
我已经成功地使用iCloud文档实现了导
浏览 7提问于2015-03-27得票数 2
回答已采纳
4回答
我有一个MySQL数据库，我想从多个csv文件导入数据。对于数据，我提供了一个表，我希望在该表上将多个文件合并为一个文件(join)。不幸的是，我有一个问题，那就是我的数据太大了，因此在我将所有数据都存储到表中之前，这是相当耗时的。因此，问题是:处理海量数据的最佳方法是什么？
我为每个csv文件创建了一个临时表，并将数据加载到其中。到目前为止，我使用datagrip的GUI和sql-console导入这些文件。
浏览 4提问于2019-09-16得票数 1
2回答
我有多个海量(几十亿字节)的数据集需要导入到Rails应用程序中。这些数据集目前都在我的开发机器上各自的数据库中，我需要读取它们，并根据它们包含的信息在我的Rails数据库的表中创建行。我的Rails数据库中的表将与源数据库中的表不完全相同。我在考虑迁移，但我不确定如何将迁移连接到数据库，即使这是可能的，也会慢得离谱吗？
浏览 4提问于2010-03-13得票数 1
我有一个wordpress网站，一个视频主题加载。我的电脑上有大约1000个视频，我需要把它们上传到wordpress媒体(为每个上传的视频做一个标题和缩略图)。我已经搜索了很多插件，允许读取一个目录和上传视频，并为他们生成一个标题和缩略图。因为如果我需要上传每一段视频，我要花一整年时间。
浏览 1提问于2017-05-06得票数 0
回答已采纳
2回答
海量导入图像Magmi
、、、
我将如何群发上传产品与图像的所有一次。假设我有1000个图片产品，我可以一步一步上传所有的产品吗？而不是一次单独上传一个产品和图像。
浏览 0提问于2015-01-19得票数 0
回答已采纳
我们的数据库大小约为450 GB。由于空间问题，我们需要按日期删除.mdf数据。请告诉我如何删除数据。
浏览 2提问于2016-02-04得票数 0
4回答
我想把整个东西都移到Azure上，但是由于没有BCP的“文件”，有人能评论一下如何从Azure应用程序中获取批量数据到SQL Azure中吗？谢谢。
浏览 0提问于2011-06-15得票数 16
回答已采纳
我有一个相当大的MySQL数据库，它是从公共数据存储库导入的CSV值。最近我注意到他们偶尔更新。正确的)数据，通常来自过去几个月内发表的记录。而且，当我更新我的数据时，我只提取了最后几个月的数据(不再是整个数据库)。
我试图找出一种方法，定期导入最近的数据，如果它与新数据发生冲突，它将用新数据覆盖当前数据。我也不喜欢每个月简单地覆盖整个数据库，因为它是一个大文件。
浏览 0提问于2017-04-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
