Scrapy loader数据在输入处理器中“消失”
Scrapy是一个用于爬取网站数据的Python框架，而Scrapy loader是Scrapy框架中的一个组件，用于加载和处理爬取的数据。在Scrapy中，loader可以通过输入处理器（Input Processor）对数据进行预处理，例如清洗、格式化或提取所需的字段。
然而，有时候在使用Scrapy loader时，数据可能会在输入处理器中“消失”。这通常是由于以下几个原因导致的：
- 数据提取规则错误：在编写数据提取规则时，可能存在错误导致数据无法正确提取。这可能包括选择器表达式错误、属性名称错误或者数据位置错误等。在这种情况下，需要仔细检查提取规则并进行修正。
- 输入处理器错误：输入处理器是用于对数据进行预处理的组件，如果输入处理器的配置有误或者处理逻辑有问题，可能会导致数据在处理过程中丢失。需要检查输入处理器的配置和逻辑，并确保其正确性。
- 数据类型转换问题：Scrapy loader在处理数据时，会根据提取规则自动进行数据类型转换。如果数据类型转换失败或者转换结果不符合预期，可能会导致数据在处理过程中丢失。在这种情况下，可以尝试手动指定数据类型或者调整提取规则，以确保数据能够正确转换和处理。
总结起来，当Scrapy loader数据在输入处理器中“消失”时，需要检查数据提取规则、输入处理器配置和逻辑，以及数据类型转换等方面的问题。通过逐步排查和调试，可以找到并解决数据丢失的原因，确保数据能够正确加载和处理。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 腾讯云物联网平台（IoT Hub）：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发平台（MPS）：https://cloud.tencent.com/product/mps
- 对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Tencent XR）：https://cloud.tencent.com/product/xr
相关·内容
我有一个有太多蜘蛛的大项目，我用机器人进行数据处理，而不是使用items和item-loaders，我想重构整个项目机器人，并按项目分配数据处理，但问题是我想定期更新我的机器人，而我爬行的每个网站都是不同的，所以数据处理也是不同的，如果我想在项目中实现数据处理，就必须有很多功能，而且在未来会花费我很多钱，所以我正在寻找一种最好的实践方法来完成我的数据处理。此外，数据库在机器人的文件，它将是完美的删除他们。任何建议都有很重要的意义。
样品，机器人
import scrapy
from tutorial.items import SampleScraper
from scrapy.loader
浏览 4提问于2021-10-29得票数 1
我想我的问题是由于对一些scrapy概念的误解造成的。所以，如果有人能向我解释这件事，我会很感激。
让我们想象一下，我有以下蜘蛛：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.loader import ItemLoader
from reddit.items import RedditItem
from scrapy.loader.processors import TakeFirst
class RedditspiderSpider(scrapy.Spider):
name = "redditspider"
浏览 3提问于2017-02-20得票数 1
回答已采纳
我是Scrapy的新手，并尝试使用Scrapy抓取几个链接作为测试。每当我运行scrapy crawl tier1时，我得到"TypeError: object()不带参数“，如下所示：
Traceback (most recent call last):
File "/Users/btaek/TaeksProgramming/adv/crawler/lib/python2.7/site-packages/twisted/internet/defer.py", line 653, in _runCallbacks
current.result = callb
浏览 14提问于2017-08-23得票数 2
回答已采纳
我在试着跟踪。
我希望我的desc字段是一个单字符串，规范化为单个空格，大写字母。
dmoz_spider.py
import scrapy
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python
浏览 3提问于2016-05-16得票数 6
回答已采纳
在中，据说一旦接收到提取的数据，当使用先前收集的数据调用输出处理器(并使用输入处理器进行处理)时，输入处理器就会处理提取的数据。输出处理器的结果是分配给项的最终值。
在scrapy中我应该如何选择input_processor和output_processor，我现在真的很困惑。
另外，在itemloader类中定义处理器和在字段中定义处理器有什么不同？
浏览 1提问于2019-02-28得票数 1
我正在使用/学习scrapy，python框架来抓取我感兴趣的几个网页。在这个步骤中，我提取页面中的链接。但在大多数情况下，这些联系是相对的。我使用了urljoin_rfc，它存在于scrapy.utils.url中，以获得绝对路径。效果很好。
在学习过程中，我遇到了一个叫做Item Loader的特性。现在，我想使用项目加载器进行同样的操作。我的urljoin_rfc()在用户定义的函数_urljoin(url,response)中。我希望我的加载器现在引用函数_urljoin。所以，在我的装载机类中，我做了link_in = _urljoin()。所以我把我的_urljoin声明转到了_u
浏览 1提问于2013-11-14得票数 0
回答已采纳
我正在尝试创建一个输入处理器，以基于堆栈溢出post，将刮过的相对urls转换为绝对urls。我正在与loader_context的概念作斗争，我可能在这里混合了一些东西。有人能指出我的正确方向吗？
我在items.py中有以下内容
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose
from urlparse import urljoin
def convert_to_baseurl(url, loader_context):
respo
浏览 4提问于2018-02-19得票数 1
回答已采纳
2回答
为了理解中的“朴素方法”示例
我正在尝试复制这段代码。这个想法是在每个字段都来自不同的网站的地方填充一个单独的项目。
我试图理解为什么当我运行下面的代码并使用scrapy crawl compSpider -o prices.csv将结果导出到csv文件中时，我会从下面的代码中获得以下行为。
代码实际上用相关的价格填充了nic_price，但它不会用tester_price做同样的事情。
我认为它应该这样做，因为项加载器对象在请求元字段中从创建项加载器对象的第一个回调firstRequest传递到第二个回调parseDescription1，在第二个回调an中，项加载器对象最终被加载到一个项中
浏览 1提问于2016-10-18得票数 1
我将重构我为抓取等APK下载页面而编写的爬行器。这是目前为止的蜘蛛：
DEBUG = True
import scrapy
from scrapy.spiders import SitemapSpider
from apkmirror_scraper.items import ApkmirrorScraperItem, ApkmirrorItemLoader
class ApkmirrorSitemapSpider(SitemapSpider):
name = 'apkmirror-spider'
sitemap_urls = ['http://w
浏览 2提问于2017-04-25得票数 1
1回答
我的代码的最后一部分是将数据从我的刮伤管道加载到我的熊猫数据中。
抽样结果如下：
{"Message": ["\r\n", " Profanity directed toward staff. ", "\r\n Profanity directed toward warden ", " \r\n "], "Desc": "https://www.tdcj.state.tx.us/death_row/dr_info/nicholsjoseph.jpg"}
当加载到datafram
浏览 0提问于2016-05-21得票数 2
回答已采纳
1回答
我定义了一个刮擦蜘蛛，它可以刮掉所有的名字和一些故事，而定义的xpath不能从捕捉故事，
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.selector import XmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from canc
浏览 1提问于2016-02-08得票数 1
回答已采纳
我很难用Scrapy的图像管道来检索图像。从错误报告中，我认为我给Scrapy正确的image_urls。但是，Scrapy没有从它们下载图像，而是返回错误: ValueError:缺失方案( request : h )。
这是我第一次使用图像管道功能，所以我怀疑我犯了一个简单的错误。尽管如此，我还是希望能帮你解决这个问题。
下面将找到我的蜘蛛、设置、项和错误输出。它们并不完全是MWEs，但我认为它们很简单，也很容易理解。
Spider:从scrapy.spiders导入CrawlSpider导入刮伤，从scrapy.linkextractors导入LinkExtractor，从ngameda
浏览 1提问于2016-04-24得票数 0
回答已采纳
我正在尝试使用scrapy抓取amazon，除了作者字段之外，一切都很好，我得到的输出如下，
{'author': ['Somasundaram Chenrayan',
'B. Latha B. லதா',
'Mugil முகில்',
'ஜே. சி. குமரப்பா',
' and ',
'மீ. விநாயகம்',
'\n
浏览 18提问于2020-05-08得票数 0
我正在尝试利用重构一只抓取蜘蛛。我已经从一个XPath表达式中提取的数据中填充了几个字段，为了简洁起见，我想使用。
这是目前为止的蜘蛛：
from scrapy.spiders import SitemapSpider
from apkmirror_scraper.items import ApkmirrorScraperItem, ApkmirrorItemLoader
class ApkmirrorSitemapSpider(SitemapSpider):
name = 'apkmirror-spider'
sitemap_urls = ['htt
浏览 2提问于2017-04-25得票数 2
假设CrawlSpider如下：
import scrapy
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from tutorial.items import TestItem
from scrapy.http import HtmlResponse
class TestCrawlSpider(CrawlSpider):
name = "test_crawl&#
浏览 0提问于2016-06-17得票数 3
1回答
嘿，所以我有一些抓取html的经验，但从不使用json，所以我需要使用scrapy，来抓取下面的网页，并且我在网上找到了一个教程，它使用scrapy和jmspath从web上刮取json数据。我得到了教程的工作，但我试图改变它与我的网站工作，没有运气。没有错误，但它不返回任何数据。任何帮助都将不胜感激！
items.py
import scrapy
class NameItem(scrapy.Item):
"""User item definition for jsonplaceholder /LoginSpider endpoint.""&
浏览 0提问于2019-06-28得票数 2
回答已采纳
我正在用Scrapy编写我的第一个爬虫，并尝试遵循文档。我已经实现了ItemLoaders。爬行器提取数据，但数据包含许多行返回。我尝试了许多方法来删除它们，但似乎都不起作用。replace_escape_chars实用程序应该可以工作，但我不知道如何在ItemLoader中使用它。还有一些人使用(unicode.strip)，但同样，我似乎不能让它工作。一些人试图在items.py中使用它们，而另一些人则在爬虫中使用它们。如何清除这些行返回的数据(\r\n)？我的items.py文件只包含项目名称和字段()。爬虫代码如下：
from scrapy.spider import BaseSpid
浏览 2提问于2013-04-16得票数 5
回答已采纳
2回答
刮擦蜘蛛没有在后记上写字
、、、
我正在尝试从一个网站的几页废品到一个postgres数据库。我试过不同的密码，但仍然不能工作，我的数据库仍然是空的.
如何将网站页面中的项目报废到Postgres数据库？我的代码怎么了?
我向您展示该代码的最新版本：
Myspider.py
#!/usr/bin/env python
#-*- coding: utf-8 -*-
import scrapy, os, re, csv
from scrapy.spiders import CrawlSpider, Rule, Spider
from scrapy.linkextractors import LinkExtractor
from
浏览 1提问于2017-10-23得票数 0
回答已采纳
2回答
我编写了一个Scrapy蜘蛛，我试图从位于另一个目录中的python脚本中运行它。我从中使用的代码似乎运行了爬行器，但是当我检查postgresql表时，它还没有创建。只有当我使用scrapy命令时，蜘蛛才能正确地输送已刮过的数据。我尝试将脚本放置在scrapy项目的目录中，并且与config文件位于同一个目录中，而且似乎都没有创建表。
下面是脚本的代码，后面是蜘蛛的代码。我认为这个问题涉及脚本应该位于的目录和/或我在蜘蛛文件中使用的代码，以便从脚本中运行蜘蛛，但我不确定。在脚本中调用的函数是否有问题，还是需要在设置文件中进行更改？如果有必要，我可以提供管道文件的代码，谢谢。
脚本文件(只有3
浏览 2提问于2015-07-24得票数 2
我从某些网站抓取的数据中得到空数组，这可能是什么问题？ import scrapy
from scrapy.loader import ItemLoader
from jumia.items import JumiaItem
class LaptopsSpider(scrapy.Spider):
name="laptops"
start_urls = [
'https://www.jumia.co.ke/laptops/'
]
def parse(self, response):
for
浏览 2提问于2019-06-12得票数 0
回答已采纳
为了分析不同产品的价格，我创建了一个函数，通过scrapy库下载它们，但是，当我执行例程时，会返回一条错误消息。
我将scrapy.exe文件保存在运行.py文件的同一个工作目录中。
这是我的密码
import scrapy
from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.loader.processors import MapCompos
浏览 12提问于2022-09-11得票数 0
1回答
我在一个scrapy项目中编写了一个爬行器，它正确地从url和管道中抓取数据--响应到postgresql表中，但只在使用scrapy命令时。当从项目根目录中的脚本运行蜘蛛时，似乎只调用蜘蛛类的解析方法，因为仅使用python命令运行脚本时不会创建表。我认为问题在于，爬行命令有一个特定的协议，用于查找和调用蜘蛛包上面目录中的特定模块(例如模型、管道和设置模块)，当从脚本运行蜘蛛时，这些模块不会被调用。
我遵循了中包含的说明，但在数据被刮掉后，它们似乎不处理流水线数据。这就引发了一个问题:我甚至应该尝试运行一个脚本来运行蜘蛛，或者我是否应该以某种方式使用scrapy命令。问题是，当用户以一种形式
浏览 3提问于2015-07-26得票数 2
回答已采纳
我正在尝试使用scrapy项目加载器，我过去只使用项目，我希望我的代码较少例如:如果我想从页面解析汽车信息列表，我需要car_name，car_color...but用于某些汽车，颜色是None，我过去写成这样：
cars = response.xpath(carsxpath)
for car in cars:
car_name = car.xpath(car_name_xpath)
car_color = car.xpath(car_color_xpath)
item = CarItem()
item['car_name'] = car_nam
浏览 11提问于2017-01-20得票数 2
我使用Scrapy创建了一个webscraper，以从这个获取音乐会门票数据。我已经成功地为一些选择器抓取了数据，这些选择器本质上只是html文本，但是其他一些选择器正在收集任何东西。当我试图从每个票证中刮取音乐会日期时，响应中会返回一个空数组，尽管我使用的xpath在开发人员控制台中运行时返回所有正确的日期。我在类定义中定义项的方式有问题吗？如能提供任何帮助，将不胜感激：
from scrapy.contrib.spiders import CrawlSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.selec
浏览 3提问于2015-06-27得票数 2
回答已采纳
我有一个试图用itemLoader填充的对象：
{
"domains": "string",
"date_insert": "2016-12-23T11:25:00.213Z",
"title": "string",
"url": "string",
"body": "string",
"date": "2016-12-23T11:25:00.213Z",
"autho
浏览 3提问于2016-12-26得票数 2
1回答
我正在尝试解决在链接和评论项中使用item_loader.add_css来处理缺失值的问题。它应该是每项8个值，但它是6，并且在critic中不提取任何内容。 我的代码是： rotten_spyder.py class RottenSpiderSpider(scrapy.Spider):
name = 'rotten'
start_urls = ['https://www.rottentomatoes.com/m/toy_story/reviews?type=top_critics&sort=&page=2']
de
浏览 19提问于2020-04-23得票数 0
1回答
我正在做我的第一个蜘蛛，我需要输入一个特定的类别，输入出版物并获得所需的数据，然后遍历这个类别的各个页面，但是我发现了下面的错误，我无法解决。
当我必须添加分页时，这个错误就开始了。
谢谢你的帮助
item.py
进口刮伤
class ReporteinmobiliarioItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
titulo = scrapy.Field()
precio = scrapy.Field()
pass
s
浏览 0提问于2018-09-11得票数 0
回答已采纳
我正在创建一个从etf.com收集etf数据的刮取机器人。我试图将收集到的数据导出到sqlite数据库，但是每次这样做，我都会收到以下错误消息(对于我试图添加的每一项)：
sqlalchemy.exc.InterfaceError: (sqlite3.InterfaceError) Error binding parameter 0 - probably unsupported type.
[SQL: INSERT INTO etf (ticker, name, issuer, aum, expense_ratio, tr, segment) VALUES (?, ?, ?, ?, ?, ?,
浏览 5提问于2022-08-20得票数 0
回答已采纳
2回答
我开始学刮痕了。我想使用项目加载器并将一些数据写入MySQL。当我在TakeFirst中对输出处理器使用参数"TakeFirst()“时，下面的代码非常好。但是，我需要将所有条目都输入到MySQL，而不仅仅是第一个条目。当我使用参数"MapCompose()“时，我会得到以下与MySQL相关的错误消息：
错误1241:操作数应包含1列
如何修改代码才能将所有条目写入MySQL？
test_crawlspider.py：
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scra
浏览 7提问于2016-06-08得票数 0
回答已采纳
1回答
我正在尝试使用scrapy从amazon获取数据，我可以在CSV中获得数据，但是我无法在mysql数据库中插入数据，请找到我的代码，我的蜘蛛是。
import scrapy
from craigslist_sample.items import AmazonDepartmentItem
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class AmazonAllDepartmentSpider(scrapy.Spider)
浏览 6提问于2014-12-05得票数 1
回答已采纳
1回答
我将代码放在scrapy中，以测试xpath，一切看起来都很好。但是，我不明白为什么0是爬行。下面是日志输出：
2019-02-27 18:04:47 scrapy.utils.log信息: Scrapy 1.5.1已启动(bot: jumia) 2019-02-27 18:04:47 scrapy.utils.log INFO:版本:l4.3.0.0，libxml2 2.9.9，cssselect 1.0.3，parsel 1.5.1，w3lib 1.20.0，Twisted 18.9.0，Python2.7.15+(默认，2018年11月28日，16:27:22) - GCC 8.2.0
浏览 1提问于2019-02-27得票数 0
我在scrapy中开发我的第一个爬虫时遇到了一个问题。我能够在scrapy shell中获得适当的信息，但是当我在代码中实现它时，它不能工作。我在这里读过类似的帖子，但我仍然不能找出我做错了什么。 import scrapy
from scrapy.loader import ItemLoader
from ..items import ScrapingamazonItem
class AmazonSpiderSpider(scrapy.Spider):
name = 'amazon_spider'
start_urls = ['https://ww
浏览 15提问于2020-09-26得票数 0
回答已采纳
为什么我的蜘蛛爬行700+项目，实际上有245个项目？多么?
没有超过245个条目，但是我的蜘蛛是如何抓取700+项的，即使我使用for循环只抓取选定的页面，并试图在setting.py中设置我的CLOSESPIDER_ITEMCOUNT = 244
有什么解决办法吗？
这是我的密码。
import scrapy
import json
from ..items import HmsItem
from scrapy.loader import ItemLoader
class HmSpider(scrapy.Spider):
name = 'hm'
allo
浏览 6提问于2022-09-23得票数 1
回答已采纳
在使用Scrapy时，当将处理器传递到add_value或add_xpath()调用时，按如下顺序调用：
...
foo_loader.add_xpath('title', '//title/text', TakeFirst(), Join(), etc etc)
...
从这个例子来看，在Scrapy文档中：
>>> loader.get_value(u'name: foo', TakeFirst(), unicode.upper, re='name: (.+)')
'FOO`
我假设它们是从左到右调用
浏览 1提问于2014-08-06得票数 1
回答已采纳
我正在玩Scrapy，并试图将蜘蛛生成的项传递给ItemPipe。THe问题是，当输入管道时，永远不会调用实际的process_items方法。尽管已经调试了蜘蛛，并看到它正确地产生了引号项目。总之，当我调试quotes_spider.py时，我可以看到我返回的'item‘对象是Quote类型的，作者/引号有期望值。类似地，管道被正确加载并创建了json文件，我从来不输入process_items方法或写入这样的文件。有什么建议吗？
quotes_spider.py
import scrapy
from scrapy.loader import ItemLoader
from tuto
浏览 2提问于2017-06-27得票数 0
回答已采纳
2回答
我已经创建了在同一文件内的网页蜘蛛，从不同的网站刮擦数据。当我单独运行每个蜘蛛时，我可以从models.py文件中成功地将已抓取的数据输到postgresql表中。但是，当我使用同时运行两个蜘蛛时，会为每个蜘蛛创建表，但由于某种原因，无法将任何数据收集到它们中。我认为这可能与每次运行蜘蛛时调用已定义管道类的方式有关，但很难判断，因为文档没有真正显示实现的内部结构。根据我提供的代码，是否有正确的设置将数据流水线到两个不同的表中？
Models.py
from sqlalchemy.orm import sessionmaker
from models import Tickets, Ticket
浏览 0提问于2015-07-12得票数 0
回答已采纳
1回答
我使用Scrapy并尝试输出一个json文件。当我不使用item，但我想使用它们时，它工作得很好。 所以我的爬虫代码是： import json
import scrapy
from scrapy.loader import ItemLoader
from ccv_spiders.items import AuctionItem
class GlenMarchSpider(scrapy.Spider):
name = 'auction_results'
def __init__(self, *args, **kwargs):
with op
浏览 20提问于2019-03-18得票数 1
回答已采纳
1回答
我使用scraper制作了一个网络刮刀，从获取音乐会门票数据。我已经能够成功地从页面上每个票证的元素中刮取数据，除了只能通过单击“票证”按钮进入票务页面并从页面上的票证中抓取票价才能访问的价格之外。
经过广泛的谷歌搜索，我发现Scrapy.js (以Splash为基础)可以在Scrapy中与页面上的JavaScript交互(比如需要单击的按钮)。我已经看到了一些关于Splash如何与JavaScript交互的基本示例，但没有一个使用了Splash与Scrapy的集成(甚至在文档中也没有)。
我一直遵循这样的格式:使用项目加载器将刮过的元素存储在解析方法中，然后通过调用第二个解析方法，发出请求，
浏览 2提问于2015-06-29得票数 6
我正在尝试从一个工作列表站点的HTML元数据中生成数据列。我使用scrapy Item Loaders清理HTML字符串，并将元数据转换为JSON对象。然后，我想使用该JSON中包含的信息来填充我的爬虫中的其他字段。
下面是到目前为止的爬虫，它爬行最近的100个工作列表：
import scrapy, json
from ..items import EthjobsScrapyItem, EthJobsLoader
class EthioJobsSpider(scrapy.Spider):
name = "EthioJobs"
allowed_domains
浏览 2提问于2019-12-11得票数 0
3回答
我试着废除和爬行一个网站。数据在tbody标记(事件名)中。当我检查google控制台时，tbody标记有文本数据，但是当我试图将它报废时，它会返回一个空答案(也是在scrapy shell中测试的)。我检查了AJAX方法，因为它可以对脚本进行bug，但它似乎没有。
，您知道为什么答案是空的，而tbody标记在源代码中有文本吗?
这里是我的代码
nom_robot = 'ListeCAP'
domaine = ['www.justrunlah.com']
base_url = [
"https://www.justrunlah.com/run
浏览 0提问于2018-03-08得票数 2
回答已采纳
1回答
我已经在Scrapy中编写了一个webscraper，它最初会转到网页，为每一张票抓取票证信息，并爬到“票证”按钮重定向到的每个链接。在票证页面上，为了获得价格，必须请求一个JSON (现在这不是什么问题)，文件中的第一个价格需要提取并保存到Scrapy项目加载器中。
我尝试使用以下语句在scrapy shell中找到price对象：
jsonresponse = json.loads(response.body_as_unicode())
jsonresponse["p"]
和
jsonresponse["lp"]
和
jso
浏览 2提问于2015-07-06得票数 1
回答已采纳
我还在学习刮痕，我已经做了一只蜘蛛。我一直收到一个错误"AttributeError:模块'scrapy‘没有属性'field'“
这是我的items.py：
import scrapy
class QuoteItem(scrapy.Item):
text = scrapy.field()
author = scrapy.field()
tags = scrapy.field()
这是我的蜘蛛
import scrapy
from scrapy.loader import ItemLoader
from testing.i
浏览 0提问于2019-08-08得票数 0
回答已采纳
我是Python和Scrapy的新手。因此，我不知道是否可以实现以下情况。所以，如果可能的话，让我知道。
我知道这是通常刮起的工作方式：
import scrapy
from scrapy.loader import ItemLoader
from ..items import Allitems
class newspider(scrapy.Spider):
name = "my_code"
start_urls = ['URL_Name']
def parse(self, response):
class_name
浏览 3提问于2020-08-10得票数 0
回答已采纳
items.py文件正如我所知道的，image_urls和图像字段。它没有造成任何问题。
import scrapy
from scrapy.loader.processors import TakeFirst
class BooksToScrapeItem(scrapy.Item):
image_urls = scrapy.Field()
images = scrapy.Field()
book_name = scrapy.Field(
output_processor = TakeFirst()
)
pipelines.py文件我认为get
浏览 0提问于2020-02-20得票数 2
回答已采纳
1回答
链接页面中的刮擦额外字段
、、、
我正在努力刮一些在主页面上的帖子，在那里我需要的几乎所有东西都在那里。但是在链接(Ed)页面上，我还需要一个日期字段。我尝试了以下回调：
from scrapy.spider import BaseSpider
from macnn_com.items import MacnnComItem
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.loader import XPathItemLoader
from scrapy.contrib.loader.processor import MapCompose,
浏览 3提问于2013-06-17得票数 0
回答已采纳
我的蜘蛛: autospd.py
class AutospdSpider(scrapy.Spider):
name = 'autospd'
start_urls = ['http://news.dayoo.com/guangzhou/150960_2.shtml']
dt_ft = "%Y-%m-%d %H:%M"
def parse(self, response):
list_objs = response.css("div.dy-list>div")
f
浏览 1提问于2019-06-19得票数 0
我实现的Scrapy解析方法给出了错误：
UnboundLocalError:赋值前引用的局部变量“链接”
作为一个比较新的刮刮者，我对我在这里做错了什么不太清楚。我希望有空间为新的网站，我将在未来添加，但我如何实现xpath特定于该网站，以便它刮刮它的内部链接？
X路径是正确的，并在shell中工作。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from rvcalin
浏览 1提问于2018-02-22得票数 0
我正在尝试抓取多个表，这些表的表名都存储在h3标记下。有一些数据列我可以抓取，没有问题，当我提供下一个url时，我可以将这些数据附加到csv文件中。我不能解决的问题是获取表头并将其相对于表的每一行进行存储。这样做的原因是，当下一个表被输入时，我需要知道它属于哪个表。是否可以使用len循环来建立表的长度，然后将表头写到每一行？可以使用项目导出吗？
这是我的代码spider.py
from bigcrawler.items import BigcrawlerItem
from scrapy import Spider, Request, Selector
from scrapy.selector
浏览 0提问于2017-11-16得票数 0
意图/预期行为
从页面：返回链接的文本
在CSV格式和shell中。
误差
我得到了一个KeyError：'title'，尽管我已经在item.py项目加载器中定义了键。
全追溯
Traceback (most recent call last):
File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\utils\defer.py", line 102, in iter_errback
yield next(it)
File "C:\Users\phili\An
浏览 2提问于2017-01-21得票数 1
回答已采纳
1回答
我相信，我的xpaths编码方式不正确，因为我只得到一个结果的每个url。然而，每个网址总共有25个职位(不包括在下一页中的)。如何纠正我的xpath以获得所有的结果？
这是我的刮刀：
from scrapy.item import Field
import scrapy
from scrapy.loader import ItemLoader
from scrapy.crawler import CrawlerProcess
from itemloaders.processors import TakeFirst
import pandas as pd
from collections im
浏览 2提问于2022-01-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
