问题是，即使我覆盖了parse方法的默认行为，也很难向start_url发送GET请求。537.36',
for url in self.start_urls:
print json.loads(response.tex
浏览 25提问于2019-07-01得票数 1
回答已采纳
我有一个包含数据的python请求，我必须用一个scrapy请求来替换它，但是我无法找到一种方法，将这些数据放在scrapy请求中的位置。data = '{"username":"xyz@gmail.com","password":"123"}'
response = requests.post('https://my.matterport
浏览 3提问于2019-09-17得票数 0
登录页面是一个GET请求方法 ? 如您所见，这是一个GET方法，没有显示id和passeword的任何属性。 ?但在HTML代码中，有一个链接(当我在浏览器的url栏中写它时，它不起作用)，它指示一个POST方法method="post"。但当我登录时，在浏览器控制台的网络中没有出现POST文件。
浏览 24提问于2019-02-09得票数 0
回答已采纳
我是Scrapy的新手，我遇到了一个问题。我正在尝试从使用此类型按钮的网页中提取信息： <a id="" href="#" ... onclick="function()..."我一直在寻找示例，但它们都可以使用href。有解决方案吗？我需要使用其他工具来完成这项工作吗？ 谢谢
浏览 38提问于2021-07-21得票数 0
当我使用scrapy时，Post请求会通过：> 2017-05-21 22:44:20 [scrapy.core.engine] DEBUG: Crawled (200) <GET
> http://www.australianschoolsdirectory.com.au//s
浏览 3提问于2017-05-21得票数 1
回答已采纳
2回答
然后当我找到我想要的物品时，我会把它加到篮子里。 params = getShopList() yield scrapy.FormRequest=param)
def addToBasket(s
浏览 2提问于2018-06-11得票数 0
回答已采纳
1回答
我用python在Scrapy中做了一个简单的爬虫，从一些网站获取标题。我得到了这个405错误，可以在一个网站的照片中看到，另一个很好，它返回了200。你知道问题出在哪里吗？我为这个问题找了很久，但就是没找到。如果你能给我一个完整的答案或只是一些链接，我将不胜感激。它与这里链接的内容不同，因为我遇到了验证码...
浏览 1提问于2018-12-01得票数 0
1回答
我试图向URL发出post请求，但是scrapy没有发送post请求。我没有得到正确的回答。 下面是我的代码。import scrapy
name = 'main'
directory = 'https://www.constructionenquirer.com//@value').<em
浏览 18提问于2020-11-30得票数 0
回答已采纳
1回答
我知道Developer方法的存在，因为工具显示正在传递的标头和正确的响应。但是当在Scrapy中完成时，我得到“这个方法要么没有用AjaxMethod标记，要么不可用。”下面是使用的shell命令：request=FormRequest(url='https://www.carwale.com,"Ty
浏览 2提问于2017-04-18得票数 1
回答已采纳
/usr/bin/env python3
print(failure)
print(response)
callback=callback在python3中使用scrapy</e
浏览 2提问于2020-01-11得票数 0
Scrapy有很好的调试功能。但是我找不到方法来调试FormRequest.from_response发送的头部、get、post参数
有没有办法，让我看看那些帖子的数据？我特别关注它是否从隐藏字段发送值。
浏览 3提问于2014-06-16得票数 3
2回答
import scrapyfrom scrapy.http import Request, FormRequest我尝试使用方法参数，从响应到强制刮除使用POST<
浏览 4提问于2016-12-01得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy从"“中抓取产品列表。import scrapy
name = "intel_eg_eastasiaeg_com_py"
浏览 3提问于2016-08-18得票数 3
回答已采纳
1回答
我在页面上有以下输入：<input name="ct92" valuesubmit">
<input name="ct87" value="" id="ct87" class="GetData" typ
浏览 1提问于2016-01-21得票数 3
回答已采纳
我对"scrapy“非常陌生，我正在废弃一个网站，因为我有一些锚标记，其中包含了带有java脚本SubmitForm函数的href属性。当我单击javascript函数时，需要从中获取数据的页面正在打开。我使用了Xpath，并为特定的锚标记找到了href，但无法执行包含javascript函数的href属性。有人能告诉我如何在scrapy python.My HTML代码中执行javascript提交锚标记的函数吗？T=20120517011617&", def parse(self, respo
浏览 7提问于2012-05-18得票数 5
1回答
当我检查Network中的页面时，我看到这个页面使用AJAX请求(类型POST)将其数据获取到API，这些请求是在加载布局后由浏览器完成的。因此，我试图构建一个蜘蛛，它使用请求中给出的form_data向网页发送帖子请求。我已经使用下面的shell命令进行了快速测试，并获得了数据。All-Small+ex+Invt+Trust%2C%3AUKXDUK%2CFTSE+100+Total+Return+Declared+Dividend%2C%3A&
浏览 0提问于2018-10-02得票数 0
回答已采纳
我正在尝试从这个page中抓取以下表单数据的内容： 我需要将County:设置为George's，并将DateOfFilingFrom设置为01-01-2000，因此我执行以下操作： % scrapyshell
In [1]: from scrapy.http import FormRequestIn [2]: request = FormRequest(url='https://registers.maryland.gov/RowNet
浏览 24提问于2020-08-24得票数 1
回答已采纳
1回答
我希望向API端点发送100K-300K的POST请求-这些请求来自我正在迭代的JSON对象列表。不幸的是，我能使用的最大区块大小是一次10个事件，这大大降低了发送所有我想要的事件的速度。在我定义了JSON对象列表之后：for i in xrange(0, len(list_of_JSON), chunkSize):
chunk = list_of_JSONapi_key=" + api_key + "&event=&qu
浏览 12提问于2016-08-18得票数 1
2回答
等待Scapy回调函数
、、、
我对一般的Scrapy和Python都很陌生。formdata = { } 'Author': user_name,
'Body': post['content'],'app
浏览 3提问于2020-12-03得票数 1
回答已采纳
注意，在我的例子中，我只知道第一页的URL。第二页的URL只能在访问第一页之后才能获得。同样，(i+1)第四页的网址隐藏在第一页中。from bs4 import BeautifulSoup
name = "test2"syntax=cloudsearch"]
浏览 0提问于2017-06-16得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号