作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。例如，当使用http代理抓取时，如何检查异常(如前面提到的超时)是由于代理还是由于请求端点？
浏览 5提问于2013-06-29得票数 0
回答已采纳
1回答
我有一个Python + Selenium脚本，可以帮助我抓取信息。然而，网页不时会遇到错误，然后我需要刷新页面并再次抓取。
浏览 20提问于2017-08-29得票数 0
我们选择Callable而不是Runnable的原因是为了利用Callable抛出检查异常的能力，因为我们没有真正的结果。在迁移到Findbugs 2.0之后，对提交的调用被标记为违规，因为我们忽略了异常返回值。我只是想检查一下这是否是一个公平的违规--因为在检查返回值方面我并不想做太多的事情。
提前感谢！
浏览 1提问于2012-09-13得票数 2
回答已采纳
我以前用过很多次ImportHTML，从来没有遇到过任何问题，但出于某些原因，我似乎无法从篮球参考中提取特定的表，即使我已经从那里提取了其他表。我想要的表是this page上下方的杂项统计表。我尝试了函数中从1到30的所有索引，但超过7的索引都没有引入任何数据。我正在使用的函数如下，其中1更改为我正在尝试的任何索引： =IMPORTHTML("https://www.basketball-reference.com/leagues/NBA_2019.html", "table", 1) 我尝试在Chrome的控制台中使用以下代码来查找页面的索引，但它没有返回
浏览 27提问于2019-03-07得票数 0
根据我对网页的理解，当用户加载网页时，浏览器请求第一个文档(例如，index.html)，当它接收到超文本标记语言时，它会找到需要包括的其他资源(图像，CSS，JS)，并同时请求这些资源。由于某些原因，我不能让它每5秒抓取超过2到5页。我正在为我制作的每一个HttpURLConnection创建一个新的线程。看起来我应该至少能够每秒抓取20-40页。如果我尝试旋转100个线程，我会得到疯狂的I/O异常。知道是怎么回事吗？
浏览 1提问于2009-09-04得票数 2
回答已采纳
1回答
我正在尝试将每日体育直播赔率导入到谷歌电子表格中。我使用的是importhtml，但我相信我使用的网站已经更新为XML。我喜欢把它组织成电子表格的简单性，而不是去网站，这也有助于我比较赔率。更具体地说，我需要(通过每场比赛)球队名称，现场得分/结果，当前线和收入线。任何帮助都是非常感谢的。提前谢谢。
浏览 24提问于2019-11-09得票数 0
我正在尝试将几千家公司上季度的研发费用从他们的财务报表中导入到google sheets中。虽然我想从财务报表中导入几个不同的元素，但上个季度的研发费用目前是相关的(可能是前3个季度)。 我已经尝试了几个不同的网站(雅虎金融，彭博社等)，但最简单的网址似乎来自stockrow.com，因为我可以简单地自动替换网址中的股票代码。 为了获得xpath，我检查了元素并使用浏览器复制了xpath (已经在Chrome和Firefox上尝试过)。 我在googlesheets上使用了IMPORTXML，并在最后一次尝试中使用了以下输入：=IMPORTXML("https://stockrow.
浏览 18提问于2019-12-14得票数 0
1回答
我有一个laravel应用程序，它使用来抓取js加载的网页。
有什么办法可以解决这个超时异常呢
浏览 12提问于2022-06-23得票数 1
回答已采纳
我该如何处理这个异常，我从文档中读到这是如何关闭爬行器的，它没有提到如何处理它
2019-08-10 14:55:56 [scrapy.utils.signal] ERROR: Error caught
浏览 10提问于2019-08-10得票数 0
1回答
ctx.drawImage(img, 10, 10);uncaught exception: [Exception...nsIDOMCanvasRenderingContext2D.drawImage]" nsresult: "0x80040111 (NS_ERROR_NOT_AVAILABLE)" location: "JSframe :: http://localhost:8080/static/js/Gallery.<
浏览 1提问于2011-04-18得票数 1
回答已采纳
1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
1回答
在hibernate/JPA中的双向关系中，哪个实体(或两者都有？)您是否指定了fetch模式和级联类型？举个例子：@Table(name="EMPLOYER"){ private Set<Employee> employees;@Table(name="EMPLOYEE")
public Employee implements
浏览 3提问于2014-05-07得票数 0
1回答
标识python中的特定异常
、、、、
我在识别异常时遇到了问题。except Exception as e:type(e).我猜我可以通过某种方式从我的异常中获得errno编号，从而识别它。但我不知道该怎么做。
浏览 1提问于2015-09-16得票数 0
1回答
考虑这个链接：https://www.reddit.com/r/todayilearned/comments/6x6iz8/til_princess_diana_on_live_tv_shook_the_hand_of/?ref=share&ref_source=linkhttp://www.bbc.com/news/av/magazine-39490507/how-princess-diana-changed-attitudes-to-aids
浏览 0提问于2017-09-01得票数 1
我正在抓取流行状态，需要根据历史堆栈中的current和originalEvent来做各种事情。但是，我不知道如何获得当前状态以进行比较，但是originalEvent可以工作。这是我的JS密码。第一个IF语句抛出未定义e.state.id的异常.
浏览 5提问于2015-06-24得票数 6
1回答
我正在使用jsoup从网站上抓取数据。我想知道当我从中抓取数据的网站宕机时，会抛出哪个异常。
是SocketException还是NoHttpResponseException或者其他什么？
浏览 1提问于2017-01-10得票数 1
我试图从facebook中提取数据，但在抓取时，我被unicode类型错误卡住了。实际上，我试图抓取的文本包含如下信息：driver.find_elements_by_xpath('//p').text
克服这个问题的任何提示。
浏览 17提问于2018-07-21得票数 2
回答已采纳
我正在构建一个java web媒体抓取应用程序，用于从各种流行的网站提取内容: youtube、facebook、rapidshare等等。当为程序提供URL时，它决定使用哪种抓取器来获取内容；例如，youtube watch链接返回YoutubeScraper，Facebook粉丝页面链接返回FacebookScraper，依此类推。我猜工厂会保存一个抓取器实现列表，并且会将链接与每个抓取器进行匹配，直到找到合适的一个为止。如果没有合适的异常，它会抛出一个异常。
浏览 1提问于2010-03-25得票数 0
回答已采纳
1回答
对于我自己的一个小项目，我正在尝试从一些比赛中获得结果。我可以访问包含结果的页面，并从页面中的表中下载数据。然而，每个页面只有20个结果，但幸运的是，网址是按逻辑构建的，所以我可以创建它们，并在循环中访问这些页面并下载数据。但是，每个类别都有不同数量的参赛者，因此可以有不同的页数。我想避免手动检查每个类别有多少参赛者。nrs <- rep(seq(1,5,1),2)
sex <- c("M","M","M","M","M&#
浏览 0提问于2016-08-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
