1回答
被网站屏蔽的抓取
、、
(或者甚至是我可以获取索引的另一个页面) from bs4 import BeautifulSoupurl = "https://www.nasdaq.com
浏览 37提问于2021-07-02得票数 0
回答已采纳
我想在Scrapy中调试ConnectionRefusedError处理。如果不能模拟错误，我就不能进行调试。如何模拟ConnectionRefusedError？
浏览 11提问于2020-05-27得票数 0
我是一名具有零开发操作经验的Java工程师。最近，我第一次使用linux服务器，并在我的selenium项目中使用了docker，并面临这样的问题：此外，我只在Linux机器中被阻塞，所有东西都在本地dev env中工作，具有相同的docker映像，所以我认为它是“服务器故障”。
有什么想法吗?我的Lin
浏览 0提问于2022-01-31得票数 1
我试图使我的WordPress网站出现在谷歌，但没有任何运气。我已经签署并验证了网站管理员工具，在那里提交一个站点地图，检查robot.txt和.htaccess文件，检查没有索引，没有跟踪，也没有检查在WordPress阅读设置的劝阻搜索引擎。有一些爬行统计数据，但是站点：www.example.co.uk给出0的结果，site:example.co.uk只给出cPanel子域(?)。
必应和雅虎从一开始就对页面进行了索引。还有其他方法可以检查这是来自WordPress安装或主机端的错
浏览 0提问于2016-03-16得票数 0
我试着使用Scrapy来抓取一些网站上大约70k个项目。但每次它抓取了大约200个项目后，其余的项目都会弹出错误：我相信这是因为我的爬虫被网站屏蔽了，我试着使用随机用户代理建议
浏览 5提问于2016-02-03得票数 0
1回答
我抓取了一个授权抓取机器人规则的网站，但有时我会被屏蔽。所以我编辑了环境文件：在这个列表中，我插入了一个随机选择的代理列表：
proxies_list <- c("128.199.109.241download.file(url_proxy, d
浏览 1提问于2018-09-05得票数 1
我正在尝试用python插件scrapy从booking.com上抓取酒店评论。这是我的蜘蛛：
class FeedbacktestSpider
浏览 12提问于2021-03-07得票数 1
我正在尝试使用Scrapy和Python从我公司的IT和网络中抓取一些页面。我从这里的开始使用scrapy教程。当我尝试与教程页面上的代码相同的代码时，我得到错误：import scrapy
class QuotesSpider(scra
浏览 36提问于2018-01-24得票数 1
1回答
在aws EC2服务器中使用python3向此网站()发出get请求时，我收到了403响应。但我在本地系统中使用相同的代码获得了成功响应。import requests<Response [403]>
在我的本地系统中
浏览 3提问于2019-08-30得票数 0
我正在尝试使用下面的代码抓取一个网站。
然而，该函数永远不会返回(我怀疑是因为机器人在网站上被屏蔽了)。有什么解决方法吗？
浏览 0提问于2020-05-25得票数 1
我正在尝试抓取一个网站"https://coinatmradar.com/“。我正在使用请求、漂亮的汤和selenium (在需要的地方)来抓取数据。但过了一段时间，我的ip被网站屏蔽了，因为它正在使用cloudflare保护。response=requests.get(country_url, headers=headers)
soup=BeautifulSoup(response.conte
浏览 79提问于2021-07-05得票数 1
回答已采纳
1回答
我正在尝试网络抓取一个网站，他们的robots.txt文件是这样写的：User-agent: *
DisallowDisallow: /huur/*,*Disallow: /recreatie/*,*这是否意味着我不能抓取任何
浏览 1提问于2019-11-03得票数 1
我正在优化网站的爬行体验，因为很大一部分网站没有被抓取。我的问题；如果会的话，是否还有其他替代办法
浏览 0提问于2020-03-04得票数 2
1回答
我正在尝试使用google-apps-script中的UrlFetchApp.fetch获取网址。这是我的代码： var response = UrlFetchApp.fetch("https://www.fastlane.co.il/Mobile.aspx{muteHttpExceptions:true});}
我已经在代码的每一行上设置了一个断点如果我将U
浏览 13提问于2017-12-18得票数 0
2回答
如何众包我的网页抓取
、、、
我的web应用程序需要从指定的用户URL下载内容。目前这个请求通过我的服务器，这是低效的，可能会使我的服务器IP被阻塞。
有没有办法让用户直接下载URL内容？
浏览 7提问于2009-10-24得票数 3
我正在抓取一些网站，检查它们是否被屏蔽，所以我比较了不同的反应。我得出的结论是，一些脚本在脚本标记中有一个特定的函数，我不知道如何捕捉到这一点。我尝试了几种解析响应的方法，但都做不到……提前感谢！！下面是脚本的一部分(在正文中)： <script> function ShowPopupRegistration(reason) {
fancyAlert(...........
浏览 15提问于2020-07-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
