在Scrapy Amazon中更新Xpath
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。它提供了强大的工具和库，使开发者能够轻松地编写和运行爬虫程序。
Amazon是全球最大的电子商务平台之一，提供了各种商品和服务。在Scrapy中更新Xpath是指在使用Scrapy框架爬取Amazon网页数据时，需要更新或调整Xpath表达式来准确地定位和提取所需的数据。
Xpath是一种用于在XML文档中定位节点的语言。在Scrapy中，Xpath通常用于定位HTML元素，以便从网页中提取所需的数据。通过使用正确的Xpath表达式，可以准确地选择和提取目标数据。
更新Xpath可能是因为网页结构的变化或者需要提取不同的数据。当网页结构发生变化时，原先的Xpath表达式可能无法准确地定位到目标数据，此时需要更新Xpath表达式以适应新的网页结构。另外，如果需要提取不同的数据，也需要更新Xpath表达式来选择新的目标数据。
在Scrapy中更新Xpath的步骤如下：
- 打开Scrapy项目中的爬虫文件，通常是以
.py为后缀的文件。 - 定位到需要更新Xpath的代码块。
- 使用合适的Xpath表达式替换原有的表达式。
- 运行Scrapy爬虫程序，检查是否能够正确地提取目标数据。
以下是一个示例的Xpath表达式：
response.xpath('//div[@class="product-title"]/a/text()').get()这个表达式用于从包含商品标题的<div>元素中提取文本数据。
对于Scrapy Amazon爬虫，可以使用以下腾讯云产品来增强和优化爬虫的性能和稳定性：
- 腾讯云云服务器（CVM）：提供可靠的虚拟服务器实例，用于部署和运行Scrapy爬虫程序。
- 腾讯云对象存储（COS）：用于存储和管理爬取到的数据，提供高可靠性和可扩展性。
- 腾讯云内容分发网络（CDN）：加速数据传输，提高爬取速度和用户体验。
- 腾讯云数据库（TencentDB）：用于存储和管理爬取到的结构化数据，提供高可用性和可扩展性。
- 腾讯云弹性MapReduce（EMR）：用于大规模数据处理和分析，可用于对爬取到的数据进行深入挖掘和分析。
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和项目要求进行评估和决策。更多关于腾讯云产品的详细信息和介绍，请访问腾讯云官方网站：腾讯云。
相关·内容
1回答
我正在尝试使用scrapy从amazon获取数据，我可以在CSV中获得数据，但是我无法在mysql数据库中插入数据，请找到我的代码，我的蜘蛛是。
import scrapy
from craigslist_sample.items import AmazonDepartmentItem
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class AmazonAllDepartmentSpider(scrapy.Spider)
浏览 6提问于2014-12-05得票数 1
回答已采纳
我想用Scrapy和Selenium从亚马逊网站上提取产品的信息。
下面的源代码连接到Amazon网站，然后通过字母"A“进行搜索。然后恢复搜索结果集的链接。但是，当我循环到每个搜索结果时，什么都不会发生(它只是连接到第一个结果)。谢谢你帮我更正这段代码。
源代码“蜘蛛”
from scrapy.contrib.spiders import CrawlSpider
from selenium import webdriver
from selenium.webdriver.support.select import Select
from time im
浏览 3提问于2015-07-20得票数 0
1回答
我对python和scrapy很陌生
在抓取过程之后，我尝试将数据库保存到mysqlite，下面是src：(来自)。
我的问题是数据库已成功创建，但由于process_item未调用，无法将项插入数据库
编辑
我在setting.py上面粘贴github链接的源代码
ITEM_PIPELINES = {
'amazon.pipelines.AmazonPipeline': 300
}
pipelines.py
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forg
浏览 4提问于2018-09-18得票数 0
回答已采纳
1回答
我无法理解我得到的这个错误->实例方法没有属性getitem。我只是试着刮这个网站，以提取部门名称。
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from urlparse import urljoin
from amazon.items import AmazonItem
class delhi
浏览 3提问于2015-01-27得票数 1
回答已采纳
这是一个新手问题(对Scrapy来说是个新问题，也是关于Stackoverflow的第一个问题)：
我现在有一个爬行器来爬行下面的亚马逊页面()。
我正在努力弄清楚电视的标题和主要(列出的)价格。我可以成功地解析电视名称。然而，在列出的一些Amazon电视上，它们并不都有相同的Xpath元素；有些有主(列出)价格，有些有"as New“价格，还有一些还有”使用时“的价格。
我的问题是，当电视没有主(列出)价格时，我的CSV输出不会记录该项目的空值，而是使用下一个XPATH项，后者有主价格。
是否有一种方法可以检查XPATH内容中是否存在项，如果没有，是否可以让爬行器或管道记录NULL或
浏览 2提问于2015-04-12得票数 0
1回答
我正在尝试使用Scrapy一些信息从amazon.co.uk使用绝对路径如下所示。但奇怪的是，没有任何价值回报。我对Scrapy很陌生：
scrapy shell http://www.amazon.co.uk/product-reviews/B0042EU3A2/
response.xpath('//*[@id="productReviews"]/tbody/tr/td[1]/a[1]/@name').extract()
在本例中，我希望它返回name属性为：RI4HGFJCSI04W。
浏览 1提问于2015-04-28得票数 2
回答已采纳
1回答
现在和Scrapy一起工作。
我在MySQL数据库中存储了一个URL列表。蜘蛛访问这些URL，捕获两个目标信息(score和count)。我的目标是，当Scrapy完成抓取时，它会在移动到下一个URL之前自动填充相应的列。
我是个新手，我似乎无法使节省的部分正常工作。成功地将score和count传递到数据库。但是它被保存为新行，而不是与源URL相关联。
这是我的代码: amazon_spider.py
import scrapy
from whatoplaybot.items import crawledScore
import MySQLdb
class amazonSpider(scr
浏览 0提问于2015-09-19得票数 5
回答已采纳
1回答
Scrapy是用来解析html页面的。我的问题是，为什么scrapy有时会返回我想要的响应，但有时不会返回响应。是我的错吗？下面是我的解析函数：
class AmazonSpider(BaseSpider):
name = "amazon"
allowed_domains = ["amazon.org"]
start_urls = [
"http://www.amazon.com/s?rh=n%3A283155%2Cp_n_feature_browse-bin%3A2656020011"
]
def
浏览 8提问于2013-11-29得票数 3
1回答
我试着先得到这本书的链接，然后进入那个链接，抓住书的标题。最后，我希望将标题存储在列中，链接存储在csv文件中的另一列中。我就是这样写这本书的。我只得到链接，而不是标题。
import scrapy
class AmazonSpiderSpider(scrapy.Spider):
name = 'amazon_spider'
allowed_domains = ['www.amazon.com']
start_urls = ['https://www.amazon.com/s/ref=dp_bc_3?ie=UTF8&n
浏览 0提问于2018-03-27得票数 0
回答已采纳
我正试图在亚马逊上构建一条关于“与此项目相关的赞助产品”的规则，但是，每个产品的ASIN都嵌入到xpath //ol/li/div/@data-asin中，我希望从其中生成以下链接格式f"https://www.amazon.com/dp/{ASIN} (对于与此项目相关的赞助产品中的每一项)
scrapy shell https://www.amazon.com/gp/product/B07PB5M8DS
from scrapy.linkextractors import LinkExtractor
#Rule(LinkExtractor(restrict_xpaths='
浏览 0提问于2019-07-25得票数 0
回答已采纳
相信你做得很好。我需要你的帮助，我得到了这个错误，但我不知道为什么：
File "C:\Users\Luis\Amazon\mercado\spiders\spider.py", line 14
yield scrapy.Request("https://www.amazon.es/s/ref=sr_pg_2?rh=n%3A1951051031%2Cn%3A2424922031%2Ck%3Afebi&page=1&keywords=febi&ie=UTF8&qid=1535314254",self.parse_item)
浏览 0提问于2018-09-01得票数 0
我尝试运行此代码并将其另存为csv文件，但在csv中什么也不包含。代码中有什么错误吗？请帮帮忙。提前感谢
from scrapy.spider import Spider
from scrapy.selector import Selector
from amazon.items import AmazonItem
class AmazonSpider(Spider):
name = "amazon"
allowed_domains = ["amazon.com"]
start_urls = [
"http://www.amazon.com/s/re
浏览 2提问于2014-02-01得票数 0
1回答
这是我的第一个scrapy项目，我需要帮助来返回parse_details的输出并在主parse中使用 import scrapy,csv,requests
from scrapy.crawler import CrawlerProcess
from scrapy.selector import Selector
import re
class PythonEventsSpider(scrapy.Spider):
name = 'hello'
start_urls=['https://www.amazon.com/s?me=A3JBCFF24SVI6
浏览 18提问于2019-04-17得票数 0
回答已采纳
2回答
我根据下面alexce的建议做了改进。我需要的是像下面的图片。但是，每一行/每行都应该是一个评论:带有日期、评级、评论文本和链接。
我需要让项目处理器处理每个页面的每个评论。
目前，TakeFirst()只对页面进行第一次审查。所以10页，我只有10行/行，如下图所示。
爬虫代码如下：
import scrapy
from amazon.items import AmazonItem
class AmazonSpider(scrapy.Spider):
name = "amazon"
allowed_domains = ['amazon.co.u
浏览 3提问于2015-04-29得票数 18
回答已采纳
2回答
每页仅抓取两个结果
、、、
首先，非常感谢您的帮助！
我不知道为什么我每页只能得到两个结果。你能帮帮我吗？代码如下：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from mercado.items import MercadoItem
class MercadoSpider(CrawlSpider):
name = 'mercado'
item_count = 0
浏览 4提问于2018-09-06得票数 0
我想从亚马逊提取数据。
这是我的源代码：
from scrapy.contrib.spiders import CrawlSpider
from scrapy import Selector
from selenium import webdriver
from selenium.webdriver.support.select import Select
from time import sleep
import selenium.webdriver.support.ui as ui
from scrapy.xlib.pydispatc
浏览 0提问于2015-07-22得票数 0
我试图收集所有的网址为每一个视频从亚马逊网站下面。
https://www.amazon.com/video-Prime/s?ie=UTF8&page=1&rh=n%3A2858778011%2Ck%3Avideo
我正在使用scrapy来交互测试我的代码。我像下面这样开始刮壳。我
scrapy shell 'https://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Dinstant-video&field-keywords=video&rh=n%3A2858778011%2Ck%3Avide
浏览 1提问于2018-01-27得票数 1
回答已采纳
2回答
抓取亚马逊交易页面
、、、、
我需要从亚马逊页面的hrefs链接获得ASIN。ASIN是由10个字母和/或数字组成的唯一块，用于标识项目。
特别是我尝试用scrapy (python)来抓取。在这个页面中有很多包含ASIN的链接。
<a id="dealImage" class="a-link-normal" href="https://www.amazon.it/Marantz-TT5005-Giradischi-Equalizzatore-Incorporato/dp/B008NIV668/ref=gbph_img_s-3_c128_ca594162?smid=A11IL
浏览 5提问于2018-09-05得票数 0
我正在尝试使用python Scrapy抓取一个网站。xpath表达式在从scrapy shell运行时提供所需的输出，但在从爬行器运行时不提供。未返回错误，但已进行调试爬网(200)。以下是我的代码：
import scrapy
import logging
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class amazon(scrapy.Spider):
name = "automate"
start_urls = [
浏览 7提问于2017-01-05得票数 0
1回答
我对Python上的web抓取非常陌生。目前正试图翻阅亚马逊的最新书籍。与许多教程一样，我使用了随机用户代理中间件，如本所示。
起初，我设法爬上了网页。然而，在过去的几天里，python只返回"Spider错误处理“。也许是因为Amaz0n阻塞了用户代理，或者我的代码中缺少了一些我找不到的东西。
以下是终端返回的内容：
2020-10-22 01:37:59 [scrapy.utils.log] INFO: Scrapy 2.3.0 started (bot: scrapyamazon)
2020-10-22 01:37:59 [scrapy.utils.log] INFO: Vers
浏览 2提问于2020-10-21得票数 0
回答已采纳
我正在使用这个链接：，我想帮助从亚马逊检索产品标题。我已经尝试过无数种xpath和css方法，无法检索这些项的产品标题。我在网上查看了其他人是如何做到的，但是html与这个链接上的html不同。(对不起，如果缩进关闭，尝试手动完成它的粘贴而没有适当的缩进)。
import scrapy
from scrapy import Spider
class SSDSpider(scrapy.Spider):
name = "SSD_spider"
start_urls = ['https://www.amazon.ca/ssd/s?ie=UTF8&pag
浏览 0提问于2018-07-14得票数 0
回答已采纳
3回答
作为学习使用Scrapy的一部分，我曾尝试爬取亚马逊，但在抓取数据时出现了一个问题。
我的代码输出如下：
2013-02-25 12:47:21+0530 [scanon] DEBUG: Scraped from <200 http://www.amazon.com/s/ref=sr_pg_2?ie=UTF8&page=2&qid=1361774681&rh=n%3A283155>
{'link': [u'http://www.amazon.com/ObamaCare-Survival-Guide-Nick-Tate/dp/0
浏览 4提问于2013-02-25得票数 2
回答已采纳
1回答
我在Scrapy是新手，我正在尝试爬行这个page并从项目中获取价格，问题是scrapy返回的值是无序的，我不知道为什么。 这是我的简单代码 import scrapy
from ..items import AmazonItem
from scrapy.http import Request
import time
class QuotesSpider(scrapy.Spider):
name = "main"
def start_requests(self):
urls = [
'https://www.
浏览 20提问于2020-04-15得票数 0
回答已采纳
1回答
我是新刮刮，我试图刮amazon.in的细节有关不同的笔记本电脑。我试过这段代码，但我得到了一个错误。我提供了代码以及下面的错误。你们能提出解决办法吗？
蜘蛛：
# -*- coding: utf-8 -*-
import scrapy
class AmazonLaptopsSpider(scrapy.Spider):
name = 'amazon_laptops'
allowed_domains = ['www.amazon.in']
#start_urls = ['https://www.amazon.in/s?i=com
浏览 3提问于2020-06-08得票数 0
回答已采纳
3回答
我正在通过下面的代码训练使用python进行web抓取。
但是其中一个数据有两个xpath，我想知道是否有一种使用" if“条件来捕获两者的方法，但是我不知道如何将它插入到我的代码中。有人能指引我吗？
例如，如果其中一个xpath为null，则肯定是另一个xpath。我不知道它是否解释得很好，但是如果我有a和b，如果a是空的，那么b。
“vlr_atual”可以分别为：
product.xpath(".//span[@id='priceblock_ourprice']/text()").get()
product.xpath(".//span[
浏览 2提问于2021-03-13得票数 0
回答已采纳
1回答
我正在尝试抓取亚马逊，但我获得的file.csv是空白的。看看我的代码：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.exceptions import CloseSpider
from mercado.items import MercadoItem
class MercadoSpider(CrawlSpider):
name = '
浏览 0提问于2018-03-25得票数 1
2回答
试着用刮擦来擦拭桌子
、、、
from scrapy import Spider
from scrapy.http import Request
class AuthorSpider(Spider):
name = 'book'
start_urls = ['https://www.amazon.com/s?k=school+bags&rh=n%3A1069242&ref=nb_sb_noss']
def parse(self, response):
books = response.xpath("//h2/a/@href&
浏览 6提问于2022-01-22得票数 0
回答已采纳
1回答
我正试着从亚马逊上搜集衬衫上的信息。我的爬虫当前接受一个关键字列表，并使用它们在Amazon上执行搜索。对于每个搜索页面，我都会调用parse函数。我想获取每个结果项，并使用scrapy的"reponse.follow(...)“进一步检查它们。方法。 我目前正在尝试使用"response.css('.s-result-item')“来获取所有结果。我也尝试过使用“response.css(‘.sg-col’)。不管怎样，它都会得到一些结果，但不是全部，有时每页只能得到两到三个。如果我把.extract()添加到语句中，它就完全失败了。下面是我的解析方法： d
浏览 16提问于2019-09-05得票数 0
我正在使用VS code + git bash将这些数据收集到JSON中。但是我没有将任何数据放入JSON中，或者我没有从JSON中获得任何数据。JSON文件为空。
import scrapy
class ContactsSpider(scrapy.Spider):
name= 'contacts'
start_urls = [
'https://app.cartinsight.io/sellers/all/amazon/'
]
def parse(self, response):
for c
浏览 2提问于2019-11-18得票数 0
我想知道为什么response.xpath()在中返回一个空数组[]，即使我使用response.xpath('//div').extract()！示例：
$ scrapy shell https://www.amazon.cn/b/2127529051
...
>>> response.xpath('//div').extract()
[]
我可以从主页上得到一些结果，但是我不能从很多其他页面中得到任何结果。
顺便说一句，我不是想爬亚马逊什么的，这只是为了学习。
我也尝试过其他网站，但没有面对这个问题，所以我想知道为什么。
有什么想法吗？
谢
浏览 4提问于2016-06-17得票数 0
1回答
我试图从amazon.com中寻找有800多个评论的产品的链接，但是我一直从下一个页面按钮获得相同的页面链接，它会一次又一次地返回页面2，我应该在其中得到页面3、4等等。
我将A IF条件设置为溢出，并将检查字符串(如1,020 )转换为整数，并根据该页面比较如果大于800或NOT的话
这里是代码
# -*- coding: utf-8 -*-
import scrapy
from amazon.items import AmazonItem
from urlparse import urljoin
class AmazonspiderSpider(scrapy.Spider):
浏览 3提问于2017-05-04得票数 1
回答已采纳
我想刮一下亚马逊的的客户评论。
我知道，虽然amazon可能会说有5900条评论，但只有5000条评论是可能的。(在page=500之后，不再显示每页10个评论的评论)。
对于前几页，我的爬行器每页返回10个评论，但后来缩到一个或两个。这只导致了大约1300次评论。添加变量"helpul“和”验证“的数据似乎有问题。两者都抛出以下错误：
'helpful': ''.join(helpful[count]),
IndexError: list index out of range
任何帮助都将不胜感激！
我试着实现if语句，以防变量为空或包含一个列表，但它
浏览 0提问于2019-04-22得票数 1
回答已采纳
1回答
我试图在项中使用序列化器属性，就像文档中的示例：
爬行器工作时没有任何错误，但是序列化不会发生，函数中的打印也不会打印。这就像remove_pound函数从未被调用过一样。
import scrapy
def remove_pound(value):
print('Am I a joke to you?')
return value.replace('£', '')
class BookItem(scrapy.Item):
title = scrapy.Field()
price = scrapy.Field(
浏览 0提问于2020-11-14得票数 0
回答已采纳
我对python和web抓取很陌生，我想知道是否有可能用刮伤从产品页面中抓取。
示例:我在amazon.com上搜索监视器，我希望scrapy转到每个产品页面并从那里刮取，而不是只是从搜索结果页面中抓取数据。
我读过一些关于xpath的文章，但我不确定是否可以使用这个方法，而且我发现的所有其他资源似乎都在使用其他东西，比如漂亮的汤等等。我正确地拥有了一个从搜索结果页面中抓取的刮擦项目，但是我想将它改进为从产品页面中刮取。
编辑：
以下是我根据您的建议修改的spider.py：
class TestSpiderSpider(scrapy.Spider):
name = 'testscra
浏览 3提问于2020-11-10得票数 0
回答已采纳
当我检查Google搜索结果页面上的源代码时，我看到了我正在寻找的URL。就像这样：
<a href="https://www.amazon.co.uk/<product_name>/dp/<product_code>" ping=...> </a>
但是，当我用以下选择器使用Scrapy检索相同的URL时：
response.xpath("//a[contains(@href, 'amazon.com')]/@href").get()
我得到了以下不起作用的URL：
'/url?q=htt
浏览 3提问于2020-11-08得票数 0
我对刮擦很陌生。是否有可能在蜘蛛运行时更改CLOSESPIDER_ITEMCOUNT？
class TestSpider(scrapy.Spider):
name = 'tester'
custom_settings = {'CLOSESPIDER_ITEMCOUNT': 100,}
def start_requests(self):
urls = ['https://google.com', 'https://amazon.com']
for url in urls:
浏览 15提问于2022-02-04得票数 0
回答已采纳
2回答
我目前正在开发一个Scrapy脚本，从Amazon页面中提取产品信息。我正在运行的问题是异常处理，它只删除输出中的错误字段，而不是整个项/行。
当前蜘蛛：
from scrapy.spider import Spider
from scrapy.selector import Selector
from dirbot.items import Website
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["amazon.co.uk"]
start_urls =
浏览 3提问于2015-03-30得票数 1
回答已采纳
提前谢谢你抽出时间。我真的很感激。
我试图从亚马逊的产品评论，评级和其他信息。下面是相同的代码。我得到的问题是：
第一页有10个评论。
在爬行的数据中，所有的评论只来自这10个客户。
10行评论数据，然后空行，然后再这10，等等。共有196条线路以同样的方式。
此外，如果任何评论中有“输入”用户在其中使用的间隔，那么只有文本之前的间隔是在审查中。如下图中以黄色突出显示的那样。
链接到刮除-
我的代码：
import scrapy
class ReviewspiderSpider(scrapy.Spider):
name = 'reviews
浏览 3提问于2020-06-23得票数 0
1回答
在我的爬虫中，我从一个excel文件中获得了startURL。
我在这里尝试的是我从亚马逊网站上得到的不同的鞋子变体。我首先刮掉普通的鞋子，例如，耐克女鞋，一旦我进入那个页面，我就得到了每一种变体(鞋的尺寸和颜色)。
像这样的页面
从这个页面上，我得到了每个变体与每个产品代码与变体相关联，但在这个网址我不能刮价格和图片，因为这些数据只出现在我选择一个特定的鞋码和颜色。
在我尝试抓取价格时，我所做的是格式化一个亚马逊链接，这会显示价格(从亚马逊上尝试urls，我发现这是有效的)
例如，从这个url：
我手动选择一个大小和颜色，我得到：
我可以格式化此Url (插入不同的产品代码)并显示价格。
浏览 2提问于2019-01-29得票数 0
1回答
我有一个蜘蛛和管道，并编写一个代码从web中提取数据并插入到正在运行的MySQL中。
class AmazonAllDepartmentSpider(scrapy.Spider):
name = "amazon"
allowed_domains = ["amazon.com"]
start_urls = [
"http://www.amazon.com/gp/site-directory/ref=nav_sad/187-3757581-3331414"
]
def parse(self,
浏览 1提问于2014-12-11得票数 2
回答已采纳
1回答
from scrapy import Spider
from scrapy.http import Request
class AuthorSpider(Spider):
name = 'book'
start_urls = ['https://www.amazon.sg/s?k=Measuring+Tools+%26+Scales&i=home&crid=1011S67HHJSEW&sprefix=measuring+tools+%26+scales%2Chome%2C408&ref=nb_sb_noss']
浏览 6提问于2022-01-25得票数 0
回答已采纳
有以下蜘蛛：
import scrapy
class ScrapeNames(scrapy.Spider):
name='final2'
start_urls = [
'https://www.trekearth.com/members/'
]
def parse(self, response):
for entry in response.xpath('//table[@class="member-table"]'):
for na
浏览 0提问于2018-05-13得票数 1
回答已采纳
我正在学习NLP，为此，我使用Scrapy抓取了一篇亚马逊书评。我已经提取了所需的字段，并将它们输出为Json文件格式。当此文件作为df加载时，每个字段都被记录为一个列表，而不是一个单独的逐行格式。我如何拆分这个列表，以便df对每个项目都有一行，而不是将所有项目条目记录在单独的列表中？代码：
import scrapy
class ReviewspiderSpider(scrapy.Spider):
name = 'reviewspider'
allowed_domains = ['amazon.co.uk']
start_urls
浏览 66提问于2018-07-08得票数 0
回答已采纳
2回答
我试图使用scrapy和selectorlib来刮掉amazon的优惠页面(www.amazon.it/gp/goldbox)
这是我的蜘蛛密码：
amazon.py
# -*- coding: utf-8 -*-
import scrapy
import os
import selectorlib
class AmazonSpider(scrapy.Spider):
name = 'amazon'
allowed_domains = ['www.amazon.it']
start_urls = ['https://www.am
浏览 2提问于2019-12-08得票数 1
我正在使用刮刮一些网站的数据。但我无法正确地获得我的数据。
这是我的代码的输出(参见下面的代码)：
在命令行中：
scrapy crawl myspider -o items.csv
输出：
asin_product product_name
ProductA,,,ProductB,,,ProductC,,, BrandA,,,BrandB,,,BrandC,,,
ProductA,,,ProductD,,,ProductE,,, BrandA,,,BrandB,,,Br
浏览 0提问于2019-04-01得票数 0
回答已采纳
当我试图使用以下代码刮取pissedconsumer.com项时：
import scrapy
class PissedreviewsSpider(scrapy.Spider):
name = 'pissedreviews'
allowed_domains = ['pissedconsumer.com']
start_urls = ['https://lazada-malaysia.pissedconsumer.com/review.html']
def parse(self, response):
浏览 1提问于2020-04-11得票数 0
回答已采纳
1回答
我试着从这个网站上抓取数据：
我为原始数据制作了以下脚本：
import scrapy
class WaiascrapSpider(scrapy.Spider):
name = 'waiascrap'
allowed_domains = ['clsaa-dc.org']
start_urls = ['https://aa-dc.org/meetings?tsml-day=any&tsml-type=IPM']
def parse(self, response):
rows = resp
浏览 0提问于2021-08-20得票数 1
回答已采纳
我试着从亚马逊上搜集笔记本电脑的数据。
我的代码：
class AmazonData(scrapy.Spider):
name = 'amazon_laptops'
allowed_domains = ['https://www.amazon.com/']
# generate link from dataframe
start_urls = ['https://www.amazon.com' + str(i) for i in df.link.values]
def parse(self, respo
浏览 2提问于2020-05-04得票数 0
回答已采纳
1回答
class AmazonSpider(scrapy.Spider):
name = 'Amazon'
start_urls = ['https://www.amazon.com/s?me=A39K8Q77DNOTN8&marketplaceID=ATVPDKIKX0DER']
def parse(self, response):
file_name = response.xpath('//title/text()').extract_first().replace(' @ Amazon.co
浏览 0提问于2019-06-15得票数 1
回答已采纳
2回答
我是新刮刮，目前正在学习如何从一个名单刮刮的URL信息。我已经能够从一个网址上抓取信息，通过在刮伤网站上的教程。然而，即使在谷歌在线搜索解决方案之后，我也面临着从url中刮出的url列表中的信息的问题。
我在下面写的刮刀可以从第一个网址刮起。但是，它不成功地从刮过的URL列表中抓取。这个问题从def parse_following_urls(self，response)开始:这样我就无法从被刮掉的URL列表中抓取
有人能帮忙解决这个问题吗？提前谢谢。
import scrapy
from scrapy.http import Request
class SET(scrapy.Item):
浏览 7提问于2016-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
