我正在开始使用Scrapy，我正在尝试从一个网站获取数据。具体地说就是电话号码元素，它位于一个具有id的div元素中。我注意到，如果我发送一个请求到这个页面，我可以得到它。在本例中，基本url为https://www.otomoto.pl/ajax/misc/contact/multi_phone/ID/0/ https://www.otomoto.pl
浏览 26提问于2020-06-14得票数 1
回答已采纳
1回答
我正在尝试从https://www.ta.com/portfolio/business-services中使用scrapy抓取数据，但是响应为空。js-portfolio-tiles中使用代码response.css("div.tiles.js-portfolio-tiles a::attr(href)").extract()我认为这与之前出现的:
浏览 10提问于2020-01-17得票数 0
回答已采纳
1回答
具有动态内容的抓取足球统计数据
、、、、
我将使用scrapy从squawka.com中抓取一些数据。代码如下所示。首先，我转到结果页面。在这里，我搜索来自德国德甲的详细的比赛统计链接，它还爬行所有的分页链接并发送一个请求。所有的工作都很好，但只有在"for Liga in Ligas循环“中，我提出了一个不能很好工作的请求，因为后面有动态的东西。/div@class='team2-data'/text()").extract()是空的</em
浏览 0提问于2015-07-23得票数 1
我遇到过带有Ajax隐藏元素的页面，我需要爬行这些元素。我发现了这个简洁的教程，它展示了如何在没有对服务器的额外调用的情况下使用Selenium来完成此操作(我也是这样)。然而，这个和其他来源提到了为此目的使用Selenium的性能成本。在本例中，驱动程序是在构造函数中启动的，所以我假设对蜘蛛的所有请求都将通过Firefox进行？我只涉及到一小部分Ajax
浏览 5提问于2015-11-20得票数 0
回答已采纳
1回答
facebook上的新图表搜索允许您使用查询令牌搜索一家公司的现有员工- Current Google (例如)。import sysfrom scrapy.http import FormRequ
浏览 3提问于2013-05-31得票数 5
2回答
我正在使用Scrapy抓取一个网站。一些页面使用AJAX，所以我得到了AJAX请求来获取实际数据。到目前一切尚好。这些AJAX请求的输出是JSON输出。现在我想解析JSON，但是Scrapy只提供了HtmlXPathSelector。有没有人成功地将JSON输出转换成HTML，并能够用HtmlXPathSelector解析它？
非常感谢你提前
浏览 1提问于2013-04-10得票数 4
尽管我对scrapy框架还不熟悉，但我能够使用scrapy编写优秀的蜘蛛。最近，我遇到了，在那里输入地址，在提交时，我必须捕获纬度和经度。有人能帮忙吗？此代码适用于正常的帖子请求： formdata={'username':'john', 'password': 'secre
浏览 3提问于2012-08-09得票数 1
不知道是否有人可以使用scrapy向HTML表单提交带有隐藏字段的示例项目，如果表单的操作页与表单本身的地址不相同，那么就不知道了。
在Scrapy中，最简单的方法是什么？我可以看到，您可以编写两个蜘蛛-一个首先用表单获取html，然后选择所有隐藏字段，然后再一个使用信息和隐藏字段来提交表单。我想知道这是否有一个1步的过程( Scrapy请求文档
浏览 2提问于2015-05-04得票数 1
回答已采纳
2回答
我正在尝试在ajax请求之后抓取加载的数据。scrapy shell https://www.youtube.com/user/te
浏览 1提问于2015-10-24得票数 1
1回答
如何使用scrapy从抓取产品列表？https://www.amazon.cn/gp/profile/A34PAP6LGJIN6N/more?
浏览 5提问于2016-07-21得票数 0
回答已采纳
1回答
我正在尝试scrapy来抓取ajax网站。我检查页面的元素。它看起来是这样的：，所以我想提取与模式/存储/应用程序/详细信息的所有链接?现在，我可以抓取前120个链接与淀粉修改和“格式数据”添加的人告诉我，但没有更多的链接之后。
有人能帮我吗？
浏览 5提问于2016-02-09得票数 1
在html5中编写一个页面应用程序时，我使用transform: translate3d在不同的页面之间导航。这适用于android和所有桌面浏览器，甚至safari，iphone只在页面出现后加载列表。因此，与调用Ajax =>注入隐藏页不同，=>显示<em
浏览 6提问于2014-09-13得票数 0
回答已采纳
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
2回答
我一直在努力刮网站def parse(self, response): 'User_Agent': user_agent('https://fbschedules.com/wp-admin/admin-ajax.php&
浏览 0提问于2018-09-02得票数 5
1回答
目的是给爬行蜘蛛编程，使其能够：2)遵循所有这些URL的AJAX调用，找出包含我想刮掉的数据的最终(“AJAX”)URL from scrapy.spider import Spider from cordis.items
浏览 1提问于2014-02-13得票数 1
2回答
这是我用来爬行网页的代码。我想刮的站点已经启用了图像延迟加载，所以刮伤只能抓取100个图像中的10个，其余的都是placeholder.jpg。在Scrapy中处理延迟加载映像的最佳方法是什么？class MasseffectSpider(scrapy.Spider):allowed_domains = ["amazon.com"] 'file
浏览 2提问于2016-04-30得票数 3
回答已采纳
Javascript隐藏了一些元素，但是当我使用scrapy抓取数据时，这些元素会被抓取，就好像它们没有被Javascript隐藏一样。链接1：链接2：
例如:当我使用Scrapy和xpath (//div@id='productDetails'/ul@class='details'/li@id='add_to_cart_li'/a@id='add_
浏览 0提问于2014-05-30得票数 0
1回答
当您看到Price DOM的视图源时，如下所示：而且它肯定是通过JavaScript设置的。如何通过刮伤获取正确的值？price = hxs.select('//*[@id="display_price"]/span[2]/text(
浏览 3提问于2015-04-10得票数 1
回答已采纳
1回答
我正在尝试使用Scrapy的facebook。我尝试使用firebug并检查XHR。我得到了这个：我试图检查所有这些请求的响应，但它们都没有包含posts的实际数据。提前感谢
浏览 0提问于2014-04-04得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
