1回答
处理来自大型数据抓取器的数据
、、、、
我已经从archive.org下载了一个很大的(>75 or )数据抓取，其中包含了2020年6月以来的大部分或全部推文。存档本身由31个.tar文件组成，每个文件包含嵌套文件夹，最低级别包含几个压缩的.json文件。我需要一种从Python应用程序访问此存档中存储的数据的方法。我想使用MongoDB，因为它基于文档的数据库结构似乎非常适合这个归档文件中的数据类型。这样做<e
浏览 6提问于2021-01-19得票数 1
我需要处理存储在SQLite中的大型表格。并且处理需要将数据写回SQLite数据库。它说明我当前正在使用sqlite3 npm包不允许暂停提取导致内存不足的行。
有没有可以暂停查询结果抓取的库？
浏览 0提问于2016-06-01得票数 0
10回答
屏幕抓取看起来像是一个有用的工具--你可以进入别人的网站并窃取他们的数据--多么棒！即使在web上，大多数应用程序数据也是特定于该应用程序的。例如，假设我从StackOverflow上刮掉了所有的问题和答案，或者从谷歌上刮掉了所有的结果(假设这是可能的)--我剩下的数据并不是很有用，除非我有一个竞争对手的问答网站(在这种情况下，被盗的<e
浏览 1提问于2009-08-14得票数 3
回答已采纳
2回答
甚至在告诉你我的问题之前，我会告诉你这是一个非常模糊的问题。但是如果你有类似的想法，请让我知道。
实际上，我正在尝试用ASP.Net在本地写一个我自己的网站。实际上，我想尝试并模拟一个包含交易和股票细节的网站。我想要从一些是实际获取的细节。请让我知道是否有可能从另一个网站获取数据，或有任何网站，我可以获取这样的细节。请让我知道任何这样的想法，我可以利用。非常非常感谢你们所有人。您的任何意见都将不胜感激。
浏览 3提问于2008-11-24得票数 2
回答已采纳
1回答
我目前正在尝试从网站上抓取数据，并从中构建一个大型(可能会随着时间增长)的数据集。我想知道在处理、保存和加载大型数据集时，是否有什么好的做法可以采用。更具体地说，当我想要保存的数据集太大而无法存储在RAM中时，我应该怎么做，然后一次性写入磁盘；并且一次写入一个数据点太低了？有没有比一次写一次中等大小的文件更聪明的方法呢？
谢谢您抽时间见我!
浏览 15提问于2017-08-17得票数 2
回答已采纳
1回答
这是使用Java处理来自MySql的大数据的最佳方法。我找了，但我找不到最好的解决办法。在处理过程中确实希望锁定表。
浏览 5提问于2011-12-08得票数 0
1回答
磁盘缓存机制有多智能？
、、、、
Linux的磁盘缓存(页面缓存) 用于缓存文件数据，并尽可能多地使用内存。在升级了服务器的RAM之后，我能够比磁盘允许的速度更快地下载大型文件。但是，只有在以前下载过一次文件，这对我来说是完全符合逻辑的：第二次下载(仅部分来自缓存？)：
第三下载：
但这是否意味着，与我的缓冲区大小一样大或更大的文件，它将覆盖所有更频繁访问的好缓存文件？或者，是否有一种智能机制，在<e
浏览 0提问于2019-09-05得票数 3
回答已采纳
1回答
我的应用程序在PHP中的后端向其他服务器发送HTTP请求并接收来自它们的大型响应。目前，我使用curl_setopt($curlResource, CURLOPT_FILE, $fileResource);来避免将响应存储在内存中，因此不必增加脚本的内存限制。我想要实现的是我的脚本接收来自其他服务器的HTTP响应，并实时地处理它，丢弃已经处理过<
浏览 2提问于2013-12-07得票数 0
回答已采纳
我们有一个使用分页的DataTable --没问题。需要包含一个"Export“按钮。因此，我们添加了“按钮”扩展，并将数据导出得很好。问题是:它只是导出当前页面的数据，而不是整个数据集。我怎样才能得到整个数据集？有可能吗？
浏览 1提问于2015-10-05得票数 2
回答已采纳
我正在使用python中的Scrapy库来抓取数据，并且我计划在将来使用R进行很少的分析。
在未来，它可能是一个拥有数百万项的大型数据库，使用mongoDB和其他数据库有什么区别？我已经读过了以SQL或NoSQL方式存储的区别，但我无法决定在后面的R中哪个更容易处理。
浏览 0提问于2016-01-26得票数 0
回答已采纳
1回答
我正在编写一个python脚本，在其中连接多个服务器的数据库，并对所有服务器执行相同的查询。现在，问题是某些服务器上的数据库被锁定了，因此需要了解如何解锁相同的锁，或者我们是否可以使用超时跳过很少的服务器，并在剩余的服务器上不间断地运行查询。
浏览 1提问于2017-07-07得票数 0
回答已采纳
我曾经相信scikit-learn的分类器(以及)会在训练前自动标准化我的数据。我过去认为这是因为正则化参数C传递给LogisticRegression构造函数:应用正则化(据我理解)没有特性缩放是没有意义的。为了使正规化正常工作，所有的功能都应该在可比较的尺度上。因此，我过去常常假设，当在训练数据LogisticRegression.fit(X)上调用X时，fit方法首先执行特性缩放，然后开始训练。为了测试我的假设，我决定手动缩放X的</em
浏览 2提问于2016-05-26得票数 4
如果我的所有数据抓取器都直接返回POJO而不是CompletableFuture，那么整个GraphQL执行会发生在同一个线程上吗？
浏览 20提问于2019-06-05得票数 2
回答已采纳
3回答
我试图从一个应用程序获取数据，并在处理数据后将其发送到另一个应用程序(大型机)。application001AThis 0024 0024这是来自另一个数据的处理
小数值0024
浏览 1提问于2020-05-07得票数 0
It took {}".format(time.time() - st))根据输出时间，我发现N个任务花费的时间是
浏览 1提问于2021-09-12得票数 0
3回答
我正在做一个项目，在这个项目中，我需要从头开始实现http；我必须将来自数据包的文件放在一起，而不是使用wget或cURL等预先构建的文件抓取器。有没有简单的框架(跨平台或unix)来处理数据包？谁有他们自己在数据包级实现的GET或PUT方法的例子？
浏览 1提问于2011-11-29得票数 1
回答已采纳
2回答
我在django数据库中有一个大型数据集(基于数字的数据，例如，200,000行数字)，客户端将传入另一组数据，例如100-500个基于数字的数据，然后服务器需要从传入的数据中找出数据库中已经有哪些数字假设号码数据是电话号码。如果我只是做常规的数字比较，服务器甚至不能处理来自客户端的<
浏览 2提问于2012-02-06得票数 1
回答已采纳
首先，关于FirstResponders工具包，我不能说出足够好的东西。这是我的“去”，无论什么时候，在SQL服务器上看起来很有趣。我还使用sp_BlitzFirst将数据捕获到表中，以便进行自己的报告。处理器"%处理器</e
浏览 0提问于2020-12-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
