Scrapy无法解析链接

文章/答案/技术大牛

发布

1回答

python、redirect、xpath、scrapy

无法正确收集链接。保持从页面获取部分链接。如何让我的解析器工作？import scrapy name = 'globaldriveru' #yield scra

浏览 20提问于2019-04-29得票数 1

回答已采纳

2回答

刮刮图像数据

python、xpath、scrapy

我使用Scrapy在amazon.com上擦拭与产品相关的图像。如何解析图像数据？指向该项的链接是：

浏览 3提问于2017-10-01得票数 9

回答已采纳

1回答

如何使用CrawlSpider通过以下链接抓取整个网站？

scrapy

我意识到使用带有LinkExtractor规则的CrawlSpider只能解析链接的页面，而不能解析起始页面本身。例如，如果http://mypage.test包含指向http://mypage.test/cats/和http://mypage.test/horses/的链接，爬虫将在不解析http://mypage.test下面是一个简单的代码示例： from scrapy</

浏览 16提问于2019-06-17得票数 0

1回答

抓取爬行器规则不适用于下一页

python、scrapy

我正在尝试使用爬行器爬行下一个页面链接，但如果我将解析函数更改为其他功能，则无法获得任何结果。我的规则不起作用，我只能用解析function.Where获取当前页面，我错了。这是我的naukri_spider.py文件from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.link

浏览 0提问于2016-05-02得票数 0

回答已采纳

1回答

抓取:努力实现爬行蜘蛛

python、web-scraping、scrapy

通过使用普通的scrapy.spider类，我成功地解析了它。然而，我想有一个强有力的方式，通过链接提取器的链接爬行。下面是我当前的设置：from scrapy.spiders import CrawlSpider, Rule data["point"] = point[each

浏览 2提问于2020-03-16得票数 0

1回答

Python Scrapy不爬行网站

python、scrapy、web-crawler、scrapy-spider

我的items.py class WikiItem(scrapy.Item):我的wikip.py (蜘蛛)from wiki.items import WikiItem name = "wikipitem['title'] = sel.xpath('/

浏览 4提问于2016-05-19得票数 0

2回答

多次解析

python、python-3.x、scrapy、web-crawler

我正在尝试一个解析域，其内容如下所示第2页-包含10篇文章的链接等等..。到目前为止，我已经能够遍历页面，解析和收集到文章的链接。我被困在如何开始解析这个列表上了。import scrapy</

浏览 0提问于2020-02-02得票数 2

回答已采纳

2回答

如何在登录后刮页

python-2.7、authentication、scrapy、scrapy-spider

我试图找到一种方法来刮和解析更多的页面，在中在中签名。这些示例链接可以从我要解析的签名中访问。 #http://example.com/seller/demand/?我想要创建一个蜘蛛，它可以打开每个链接，然后解析它们。我已经创建了另一个蜘蛛，它可以打开和解析，其中只有一个是。当我试图创建"for“或"while”以使用其他链接调用更多请求时，它不允许我因为不能将更多返回放入生成器中而返回错误。我也试

浏览 5提问于2016-07-27得票数 1

回答已采纳

2回答

刮伤机构或规则不起作用

python、scrapy、web-crawler、scrapy-spider

我一直试图让Scrapy的链接提取器工作，但没有结果。我想要它找到任何链接，然后调用一个不同的方法，它只是打印出一些东西，以表明它是有效的。这是我的蜘蛛from scrapy.linkextractors import LinkExtractor当我使用命令“”运行蜘蛛时:我得到了“解析！”，所以它只属于解析函数，而不是细节方法。

浏览 8提问于2017-08-01得票数 0

回答已采纳

1回答

抓取爬行器递归解析数据

python、python-3.x、web-scraping、xpath、scrapy

我用python编写了一个脚本来解析来自网站的不同产品的“名称”和“价格”。它首先从主页面的上边栏中抓取不同类别的链接，然后跟踪每个类别并到达它们的页面，然后从那里解析不同子类别的链接，最后到达目标页面并从那里解析上述数据。以下是我尝试过的：import scrapy name = "sephorasp"class Seph

浏览 0提问于2017-08-05得票数 2

回答已采纳

2回答

如何获取刮伤壳中的刮伤响应

python、python-2.7、scrapy、ipython、scrapy-spider

我对Scrapy项目很陌生，我读过很多教程。它们似乎都假设您知道如何立即解析响应对象，并且可以立即调用响应回调(例如scrapy.Request(url=url, callback=self.parse))。如何取回Scrapy响应对象，以便能够交互地操作它？

浏览 4提问于2017-04-09得票数 2

回答已采纳

2回答

无法在方法之间传递参数而不发送请求

python、python-3.x、selenium、web-scraping、scrapy

我在python中创建了一个脚本，它使用scrapy和selenium来解析不同餐馆的主页链接，然后从内部页面解析每个餐馆的名称。import scrapyfrom scrapy.crawle

浏览 2提问于2019-05-14得票数 0

1回答

为什么我不能使用scrapy选择亚马逊页面中的某些元素？

python、html、xpath、scrapy、selector

我正在尝试从以下页面解析亚马逊标准识别码(ASIN)。 from scrapy.crawler import CrawlerProcess name= 'amazon.com' yie

浏览 2提问于2018-09-26得票数 1

1回答

Scrapy Crawler多个域在检索源页面后没有错误地完成

python-3.x、scrapy

尝试让Scrapy抓取多个域。我让它工作了很短时间，但有些东西改变了，我不知道是什么。我的理解是，带有规则的"CrawlSpider“应该遵循任何允许的链接，直到深度设置或域名耗尽。import scrapyfrom scrapy.linkextractors import LinkExtractorimport scrapy from scrapy.spiders i

浏览 29提问于2018-06-03得票数 1

回答已采纳

1回答

从链接中提取刮痕

python、scrapy、scrapy-spider

我试图在某些链接中提取信息，但我不能进入链接，我从start_url中提取，我不知道为什么。这是我的代码：from scrapy.contrib.spiders import CrawlSpider, Rule name = "dmoz" allowed_domains = [&q

浏览 3提问于2015-06-10得票数 1

回答已采纳

2回答

离线(本地)数据上的Python Scrapy

python、scrapy、web-crawler

是否可以使用Scrapy在本地对此数据集进行爬网？多么?

浏览 0提问于2013-10-16得票数 17

1回答

Scrapy跟踪urls，但不会导出数据

python、web-scraping、scrapy、scrapy-spider

我可以抓取所有的数据，但我似乎无法导出.. 访问超链接，比如说，example.com/puppers/partment1。它也从这里获取了一些信息，但我似乎无法返回这些数据来将其包含在我的HousingItem()类中。= scrapy.Field() url = scrapy.Field() buildY = scrapy.Field() on_m

浏览 3提问于2018-07-19得票数 0

回答已采纳

1回答

Python Scrapy* - Selenium -请求下一页*

python、selenium、scrapy

我试图使一个网络爬虫，去一个链接，并等待Javascript内容加载。然后，在进入下一页之前，它应该获得所有指向列出的文章的链接。问题是它总是从第一个url ("")抓取，而不是遵循我给它的url。我没主意了.from scrapy.http.request import Requestfrom selenium.webdriver.common.byTimeoutException from selenium

浏览 2提问于2017-06-14得票数 1

1回答

为什么不对页面上的所有链接进行迭代，即使xpath是正确的？

python-2.7、xpath、web-scraping、web-crawler、scrapy

当我通过extract()[0]或extract()时，这段代码非常好--它为我提供了它解析的第一个链接的输出，我无法理解它为什么这样做，bcs当我用这段代码爬行其他网站时，它是非常好的。有了这个网站，它只刮了第一个link.If，我就改变了extract()[1]，然后它会给我第二个链接，比如.Why，它不会在循环中自动工作吗？import scrapyfrom scrapy.selector

浏览 0提问于2015-04-19得票数 0

回答已采纳

2回答

scrapy中的Selenium不起作用

python、python-2.7、selenium、selenium-webdriver、scrapy

我有一个scrapy Crawlspider，它可以很好地解析链接并返回html内容。然而，对于javascript页面，我使用Selenium来访问“隐藏”内容。问题是，虽然Selenium可以在简陋的解析之外工作，但它不能在parse_items函数内部工作from scrapy<

浏览 3提问于2016-06-16得票数 0

点击加载更多