1回答
我想知道您使用SCRAPY向API发出POST请求所使用的方法。 如果你认为这个问题不在Stackoverflow的标准中，请容忍我。 非常感谢您的帮助。我正在抓取一个用API显示数据的网站，但不幸的是，我不能抓取它。 网址：https://www.sla.org.sg/hive/sla/membershipDirectory ?
浏览 16提问于2020-09-06得票数 2
我使用scrapy(Python)从中抓取所有地址。“城市/城镇”下拉列表包含许多城市。每当我选择一个城市时，都会显示新的地址。
但是，没有向服务器发出任何请求。我使用了firebug和Chrome中的开发工具。没有向服务器发出POST/GET请求。我的问题是如何获得这个javascript代码的html代码，这样我就可以使用scrapy提取它
浏览 6提问于2015-05-28得票数 3
回答已采纳
如何在python scrapy中获取动态表数据的请求头？有没有一种方法可以在不使用点击模拟的情况下获得数据？
浏览 0提问于2020-04-04得票数 0
1回答
使用xpath解析属性页URL
、、、、
我也知道API (https://jf6e1ij07f.execute-api.eu-west-1.amazonaws.com/p/search)，但是在响应中，我看不到属性的URL，这就没有用了。
浏览 17提问于2020-12-16得票数 0
回答已采纳
登录(沃尔玛)在使用FormRequest.from_response()时返回412错误。 412描述了前提条件中的一些错误，因此我尝试手动传递所有标头。没有起作用。上述网站有表单，但它将它的值传递给它的登录API，所以我尝试使用postman向API的url发出POST请求，它确实起作用了，将想法转移到Scrapy，没有起作用，而且，使它违背了刮板的目的，在登录时使用网站的功能我把日期和时间藏起来了 <da
浏览 235提问于2019-10-16得票数 0
2回答
等待Scapy回调函数
、、、
我对一般的Scrapy和Python都很陌生。(url, callback=self.parse_api, formdata=formdata, headers=headers)
'Author': user_name,
'Body': post['content'],'app': 'pl
浏览 3提问于2020-12-03得票数 1
回答已采纳
我目前正在使用Scrapy库。我在教程()中测试了它，它在那里正常工作。你认为如何？是因为我请求了一个API<
浏览 5提问于2017-12-27得票数 1
回答已采纳
1回答
我试图向URL发出post请求，但是scrapy没有发送post请求。我没有得到正确的回答。 下面是我的代码。import scrapy
name = 'main'
directory = 'https://www.constructionenquirer.com'sector':
浏览 18提问于2020-11-30得票数 0
回答已采纳
1回答
我使用以下代码连接到.Net Web API，但据我理解，我使用的是POST方法，因为我使用的是HttpPost对象，但是api说：private boolean POST(List<NameValuePair>[] nvPair) {
HttpClient httpclient = new DefaultHttpClient
浏览 1提问于2013-10-27得票数 0
回答已采纳
1回答
我试图从这个页面获得所有评论(无限滚动)：但是，当我尝试使用scrapy命令行时，我无法得到正确的响应。from scrapy import FormRequest
fetch("https://www.temporel-voyance.com/voyance/planning/consultations-voyants-en-privee
浏览 1提问于2018-10-20得票数 1
回答已采纳
1回答
我需要使用Google发出以下帖子请求：Content-Type: application/json "Content-Type": "application/json", }
respons
浏览 5提问于2022-03-24得票数 1
回答已采纳
我希望在每个请求的基础上旋转代理，并从返回单个代理的api中获得代理。我的计划是向api发出请求，获得一个代理，然后使用它来根据以下内容设置代理：
http://stackoverflow.com/questions/4710483/scrapy-and-proxiesRequest('htp//sitetoscrape.com', headers= self.
浏览 0提问于2016-09-10得票数 0
回答已采纳
我从中提取数据的其中一个数据源以JSON响应的形式通过REST API提供访问。这很棒，因为我得到了已经结构化的数据，也就是说，减少了抓取和解析非结构化HTML文档的痛苦。但是，它们使用速率限制来限制HTTP流量:每分钟/小时/月/IP/用户电子邮件的请求数。
当我使用Scrapy抓取HTML文档时，我可以很容易地配置每秒请求的数量、后续请求之间的延迟、线程数量等。它在Scrapy中的工作方式是，我生成一些HTT
浏览 6提问于2019-11-06得票数 0
我正在尝试学习如何使用python scrapy，我想知道我是否可以从vscode调试控制台手动请求网站。通常情况下，我会使用python请求和BeautifulSoup来获取网站html，并且我会键入以下内容 resp = requests.get(website) 在vscode中直接进入调试控制台。从那里我可以向网站发出更多的请求，而不需要重新启动调试器。然而，当我使用scrapy时，我找不到
浏览 23提问于2021-11-01得票数 0
2回答
问题是，使用刮伤链，它想要检查篮子的次数，就像我在篮子里有项目一样。 method='POST', formdata, callback=self.checkoutBasket,
浏览 2提问于2018-06-11得票数 0
回答已采纳
1回答
假设url是我正在尝试使用Postman向以下API发出post请求。我不明白这是什么意思。是不是应该把api作为key，把/sample1放在params里？或将它们放在标题中？谢谢
浏览 0提问于2017-03-15得票数 0
回答已采纳
1回答
我有一个网站，需要刮数据"“，但我不能检索所有的数据，它也有分页和它的使用javascript以及。
你知道我会怎样刮掉所有的物品吗？
浏览 1提问于2019-04-16得票数 0
回答已采纳
1回答
我正在尝试scrapy来抓取ajax网站。我检查页面的元素。它看起来是这样的：，所以我想提取与模式/存储/应用程序/详细信息的所有链接?
浏览 5提问于2016-02-09得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
