我正在使用Scrapy在一个更大的项目中编写一个刮板，并且我试图使它尽可能地最小化(而不是创建一个完整的scrapy项目)。这段代码正确地下载了一个URL： import scrapy """
https://docs.s
浏览 12提问于2021-01-26得票数 0
1回答
我希望向API端点发送100K-300K的POST请求-这些请求来自我正在迭代的JSON对象列表。不幸的是，我能使用的最大区块大小是一次10个事件，这大大降低了发送所有我想要的事件的速度。api_key=" + api_key + "&event=" + str_event print r.con
浏览 12提问于2016-08-18得票数 1
1回答
我正在尝试抓取一个使用调用HTML的API的网站，因此为此，我需要抓取API，然后从API抓取HTML结果 我已经使用这篇文章设法获得了API响应，并从中获得了HTML。resp = json.loads(response.text)
selector= scrapy.Selector(text=resp['results'], type="html&
浏览 10提问于2020-12-16得票数 1
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
2回答
我现在正在尝试抓取instagram帖子查询的纯文本("")，但只得到了403和301个回复。有人知道我如何绕过这些响应或抓取数据吗？
浏览 3提问于2018-05-06得票数 1
1回答
我正在开发一个PyQt4工具，这是使用抓取网站抓取。我启动了一个新的进程多进程，以便从ui运行Scrapy爬行器。一切正常~ ui是阻塞的，Scrapy是抓取的。我希望有一个非阻塞的ui，尽管我希望在PyQt主循环中集成Twisted事件循环。
有没有人知道如何尽可能简单地实现这一点？我不熟悉Scrapy / PyQt / Multiproce
浏览 2提问于2013-02-24得票数 1
回答已采纳
我是Python & Scrapy的初学者。我刚刚创建了一个带有多个爬虫的Scrapy项目，在运行"scrapy crawl ..“它只运行第一个爬虫。提前谢谢。
浏览 0提问于2014-04-11得票数 2
1回答
如何使用Scrapy更新价格
、、、、
我正在开发价格下降通知应用程序，我正在考虑使用Scrapy，但是，我不确定如何使用它，我是否需要在特定间隔后定期检查产品价格，或者有任何其他方法来做到这一点。
浏览 2提问于2021-06-13得票数 0
与这个问题类似：我可以在python ok中使用mongoDB，我已经可以构建包含爬虫的抓取项目，但现在只是将它们合并到一个应用程序中。我想运行一次应用程序，并且能够从我自己的程序中控制多
浏览 0提问于2012-06-28得票数 8
回答已采纳
1回答
我一直在尝试使用scrapy-crawlera作为使用scrapy抓取一些数据的代理。我在settings.py中添加了以下行：CRAWLERA_ENABLED= True 在新更改<e
浏览 10提问于2021-03-09得票数 1
我需要从Excel中给出的域列表中抓取数据；问题是我需要从原始网站(让我们举个例子：)和从similartech ()抓取数据。我希望它们同时被抓取，这样我就可以接收它们，并在最后格式化它们一次，之后我将直接转到下一个域。
理论上，我应该在scrapy中以异步方式使用2个爬行器？
浏览 2提问于2020-02-10得票数 1
我们知道，在浏览器中，可以查看->网络-> XHR -> Headers和get Request Header。然后可以将这些标头添加到Scrapy请求中。但是，有没有一种方法可以使用Scrapy请求自动获取这些请求头，而不是手动获取？我尝试使用：response.request.headers，但此信息还不够：
{b'Accept': [b'text/html,application/xhtml+xml,application/
浏览 50提问于2021-05-21得票数 0
回答已采纳
我正在使用scrapy从这个中抓取作业数据。一个作业页面看起来像。静态数据可以很容易地被scrapy抓取，但是google地图apis生成的动态数据，如“距离”和“时间”，给我带来了问题。当我在chrome中打开控制台，然后在脚本部分的网络选项卡中，我可以看到一个对googles map api发出的java请求("DirectionsService.Route")，所有我需要的值都是JSON格式
浏览 1提问于2015-02-05得票数 0
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交
浏览 3提问于2014-04-17得票数 1
回答已采纳
1回答
Scrapy有物品限制吗？
、、、、
在那些日子里，我用Python用Scrapy制作了一个蜘蛛。它基本上是一个简单爬行器类，用于对Html页面中的某些字段进行简单的解析。我不使用starts_url[] Scrapy字段，但我使用如下的个性化列表：def __init__(self, url, data):
浏览 3提问于2015-10-16得票数 0
例如，我有一个站点"www.example.com"，实际上我想通过保存到本地系统来抓取这个站点的html。parse(self, response): hxs = HtmlXPathSelector(response)最后，我的意图是抓取保存在本地系统中的
浏览 0提问于2012-06-05得票数 31
有一个网页是用JS：生成的默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
3回答
用python刮网站
、、、、
我已经看过多个教程和博客，最常见的库是漂亮汤和scrapy。如果有一种方法可以在不使用任何第三方库(如beautifulsoup和scrapy )的情况下抓取一个网站，那么就可以使用beautifulsoup。
浏览 1提问于2020-06-09得票数 1
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
