为了我的大学项目，我用nodejs和puppeteer做了一个维基百科的刮板。除了一个链接之外，它对所有的链接都有效。在抓取了该页面中表的几乎一半的数据之后(我正在使用console.log查看当时哪些数据被抓取了)，它什么也不做。它不会显示任何错误。它不会停止执行，只是在那
浏览 7提问于2019-03-02得票数 0
回答已采纳
2回答
我是个刮东西的新手。我写了一个 刮板 它将擦伤 Maplin 商店。我使用Python语言和BeautifulSoup来抓取存储。我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。所以，我写<e
浏览 40提问于2014-12-28得票数 7
回答已采纳
8回答
我刚刚有了这个想法，想知道是否有可能爬行整个网络(就像大男孩一样！)在单个专用服务器上(如Core2Duo，8G内存，750 on磁盘100 like)。我曾经读过一篇论文，题目是done....but，我想不起来这篇论文的标题了。这就像是在一台专用服务器上使用某种统计模型抓取整个网络。无论如何，想象一下从大约10,000个种子URL开始，然后进行详尽的爬
浏览 2提问于2010-01-17得票数 36
回答已采纳
我正在尝试从中抓取数据，但遇到了一些困难。我在过去通过网络抓取创建csvs时也设置了一些类似的程序，但这个程序给我带来了一些麻烦。我一直在一个特定的for循环中得到一个TypeError，但我有一个本质上相同代码的不同程序工作得很好。我确信有一个简单的方法可以解决这个问题，但我一直找不到。我已
浏览 0提问于2019-10-26得票数 0
1回答
我正在做一些api来爬虫从许多来源(与数百万条记录)，但我有问题涉及到内存不足。我用谷歌搜索了一下，找到了一些资源，但没有解决我的问题。没有解决我的问题的function getContent() {
array.forEachasync.pa
浏览 6提问于2017-06-16得票数 0
回答已采纳
1回答
我有一个抓取网页的php脚本，并将抓取的数据插入到数据库中。有时，在脚本运行很长时间后，php脚本就会停止执行，不会显示任何错误。ini_set('display_errors',1);但是在php脚本停止执行后，我没有得到<e
浏览 2提问于2014-12-10得票数 0
1回答
用Soup抓取JS元素是行不通的
、、、、
我正在尝试使用这个github中的python网络爬行器，但是自从这个爬行器被编写后，网站发生了轻微的变化，所以它不能工作，我不知道为什么。')[5].get_text() 没有从这个网页(https://bitinfocharts.com/comparison/transact
浏览 25提问于2020-12-22得票数 0
4回答
当特定的if条件为真(如scrap_item_id == predefine_value )时，是否有机会停止爬网。我的问题类似于，但我想“强制”我的抓取蜘蛛在发现最后一个抓取的项目后停止爬行。
浏览 0提问于2010-12-15得票数 35
我有一个抓取的爬行器，它使用psycopg2将抓取的数据写入PostgreSQL数据库。我有Scrapyd运行和项目导出器，一切都设置得很好。我正在抓取craigslist的劳动部分，查找帖子的url、标题和创建日期。我想在新帖子上创建通知，因此为了实现这一点，我将PostgreSQL
浏览 33提问于2019-08-20得票数 0
回答已采纳
我一直想学一门比java更好的语言。所以我开始尝试使用python。我已经读过了“潜入python”，所以我现在对python有了一个不错的了解。我听说python很适合网络爬行，但是我在dive into python中没有看到这一点。社区可以建议如何</
浏览 2提问于2009-07-08得票数 10
我最近开始用Haxe开发一个游戏，它的目标是Flash平台。我可以说我真的不太习惯Flash以及它是如何工作的，很明显它是为动画设计的。但不管怎样，现在我正在制作的游戏已经开始变得很大，它需要几秒钟的时间才能加载，所以我想有一个很好的预加载器，在用户等待的时候给人一个好的印象。我找到了
浏览 1提问于2010-10-10得票数 2
回答已采纳
我正在编写一个新的应用程序，我看到这条错误信息到处乱发，上面写着:重启模拟器。不幸的是，在我的例子中，这似乎不是答案，用objective编写的老应用程序似乎使用的方法完全相同，但当我对Api (我们的)进行NSUrlConnection调用时，它似乎不适用于新的应用程序。响应是一个适当的200与一些json数据</em
浏览 8提问于2015-03-31得票数 1
回答已采纳
1回答
事实上，我现在正在我的电脑上写这个。点击一个网站失败，玩游戏失败，流媒体音乐失败。问题是，我家里的所有其他设备在同一个网络上都可以很好地使用互联网，所以，看看我的电脑发生了什么事。我尝试过编辑我的DNS到谷歌和OpenDNS的服务器。我从这个网站上跟踪了很多指南，比如sudo iptables -F和sudo dhclient
浏览 0提问于2021-05-15得票数 0
我正在构建一个小API，我将调用它并接收有关目录的JSON数据。它在我的dev box上运行得很好，但是当我把它放到我需要它的服务器上时，它在应用程序中运行了一半，然后就停止了。没有抛出异常，控制台输出不做任何事情，我也没有从GET请求中收到对服务器的响应。插件就会停止。
这
浏览 0提问于2013-11-18得票数 0
2回答
运行chkdsk，它似乎修复磁盘错误并允许访问ntds.dit文件，但esentutl仍然失败。(将驱动器附加到另一台服务器以运行esentutl)访问源数据库“的复制路径/ntds.dit”失败，Jet 1022。操作在0.170秒后以错误终止-1022 (JET_errDiskIO，磁盘IO错误).
此错误发生在我将文件复制到包含C:\WI
浏览 0提问于2010-03-05得票数 0
5回答
我需要捕获一个网站，并寻找一个适当的库或程序来做这件事。该网站使用Java脚本和推送更新到页面，我需要捕获这些以及页面本身。我使用curl来捕获页面本身，但我不知道如何捕获更新。
浏览 0提问于2008-12-27得票数 2
回答已采纳
1回答
我用Qt为另一个应用程序写了一个库(一个插件)。在这个库中，我使用gstreamer来解码音频/视频数据。直到今天，我还在使用动态链接Qt。现在我尝试链接Qt static (编译，添加Qt-Creator，制作并使用新的工具包)。编译工作正常，但gstreamer什么也不做。我没有更改项目文件中的<
浏览 4提问于2015-12-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
