Scrapy:所有的刮板都失败了。包含语法错误的爬行器
Scrapy是一个开源的Python框架，用于快速、高效地爬取网站数据。它提供了一套强大的工具和库，帮助开发者编写可扩展、可维护的爬虫程序。
Scrapy的优势包括：
- 高效性：Scrapy采用异步处理和多线程机制，能够同时处理多个请求，提高爬取效率。
- 可扩展性：Scrapy提供了丰富的中间件、插件和扩展接口，方便开发者根据需求进行定制和扩展。
- 灵活性：Scrapy支持多种数据解析方式，包括XPath、CSS选择器等，可以根据网页结构灵活提取所需数据。
- 自动化：Scrapy提供了自动处理重试、请求调度、数据存储等功能，减少了开发者的工作量。
- 调试工具：Scrapy提供了强大的调试工具，如Scrapy Shell和Scrapy Debugger，方便开发者调试和测试爬虫程序。
对于包含语法错误的爬行器，可能会导致爬取失败。解决这个问题的方法包括：
- 语法错误修复：通过仔细检查代码，找出并修复语法错误，确保代码的正确性。
- 日志调试：使用Scrapy的日志功能，查看详细的错误信息和调试信息，帮助定位问题所在。
- 异常处理：在爬虫程序中添加适当的异常处理机制，捕获和处理可能出现的异常情况，避免程序中断。
- 数据解析验证：检查数据解析部分的代码，确保解析规则正确，能够正确提取所需数据。
- 网络连接检查：检查网络连接是否正常，确保能够正常访问目标网站。
腾讯云相关产品中，推荐使用的是腾讯云的云服务器（CVM）和云数据库（CDB）来支持Scrapy的运行。云服务器提供了高性能的计算资源，可以部署和运行Scrapy爬虫程序。云数据库提供了可靠的数据存储和管理服务，可以存储爬取到的数据。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云云数据库（CDB）产品介绍链接：https://cloud.tencent.com/product/cdb
相关·内容
有时我得到失败的所有刮刀时，在一个刮刀存在一些错误。例如:我有语法错误的刮板，这是遗漏的。self response): print urldef parse(self response):
蜘蛛MySpiderWithSyntaxErro
浏览 2提问于2018-01-12得票数 2
回答已采纳
我有一个有30只蜘蛛的项目，都是通过cron作业来安排的。每当我想要部署一个项目时，我都会把它推到生产中，在那里会有一个钩子将文件放在适当的位置。现在，我开始研究刮板，这似乎是通过将刮刀和将其部署到生产环境中，以一种更轻松的方式来完成的。从代码上看，这个项目在大约3年前就已经停止了。与之形成对比的是，刮伤本身接收正则更新。
你会建议使用剪贴吗?如果是，为什么？
浏览 5提问于2020-05-02得票数 1
回答已采纳
以下是文件spyder.py：from scrapy_spider.items import JobsItem
第一个链接中有<10项，第二个链接有>1000项。作业列表的视口比例设置为25，因此第一个链接没有子页面，第二个链接有10+子页面。
我设法
浏览 3提问于2021-05-14得票数 0
回答已采纳
2回答
我发现了很多Scrapy教程(如)，它们都需要下面列出的步骤。结果是一个项目，有很多文件(project.cfg +一些.py文件+一个特定的文件夹结构)。(而不是一个包含大量文件、一些.cfg文件等的完整项目，而不得不使用scrapy crawl myproject -o myproject.json__.顺便问一下，scrapy似乎是一个新的shell注意：，但不幸的是，它被废弃了</e
浏览 4提问于2015-01-02得票数 5
回答已采纳
1回答
刮擦蜘蛛运行，但o页爬行
、、、
我是新的网络刮刮，并试图运行一个简单的蜘蛛收集名称，品牌和价格信息，从一个网站销售山地自行车。我试图建立和运行蜘蛛所有的脚本，因为我认为这是更简单的人在我的水平。爬行器运行，但得到的.csv文件为空。我已经测试了我的代码中的Urls，我测试了css定位器，它识别了我想从站点html中提取的信息(我也尝试使用xpath代替xpath)，并且我尝试了几种不同的
浏览 22提问于2022-09-28得票数 0
当我从命令行运行它时，我的刮取器工作得很好，但是当我试图在python脚本中运行它(使用使用Twisted的方法概述 )时，它不会输出它通常所做的两个CSV文件。settings.py __init__.py sitecrawler_spider.py
刮板似乎在所有其他方面都正常工作命令行末尾的输出表明，预期<em
浏览 3提问于2013-07-20得票数 6
回答已采纳
1回答
我试图尝试使用Scrapy和PyCharm来抓取一个房地产网站，但不幸地失败了。预期结果：
获取所有href链接并抓取所有href注意:我尝试过使用BeautifulSoup进行网络抓取，但是每次列表大约花了1-2分钟，使用for循环刮掉所有的列表需要2到3个小时。一位社区成员向我推荐了</em
浏览 1提问于2021-11-04得票数 0
回答已采纳
1回答
我有一个有多个蜘蛛的项目。有些需要几分钟，有些需要几个小时，以及介于两者之间的任何东西--然而，每次运行所用的时间通常都是相同的-因此，您可以假设刮板X的运行时间与刮板Y和Z的运行时间大致相同。我想要做的不是从T0开始并行运行所有的任务，我想在开始时开始抓取器1,2,3，然后是链抓取器4,5,6在2次完成之后，然后在3次完成之后7,8,9，以平滑
浏览 42提问于2021-09-16得票数 3
这是一个简单的电子商务网站，我很容易做到“重新发明轮子”(主要是在一个大的html字符串上工作)，但是当我不得不在这个叫做刮痕的模型中工作时，它就是不起作用。在这个插件中，一切都很好，但是当我创建我的代码时(甚至当我使用这个破壳时)，它就不能工作了。`scrapy.spider` is deprecated, use `scrapy.spiders` insteadC-\projects\c
浏览 2提问于2017-09-17得票数 1
回答已采纳
3回答
我需要实现一些刮板爬行一些网页(因为网站没有开放的API)，提取信息并保存到数据库。我目前正在使用漂亮的汤来编写这样的代码：discount_price= float(re.findall('[\d\.]+', discount_price_text)[0]);
我猜这样的代码
浏览 3提问于2014-01-21得票数 11
回答已采纳
2回答
我正在尝试实现一个超级简单的刮板，从一个网站上刮起公寓价格和面积。我使用Python + scrapy来实现这一点，并且只有一个问题:当返回为响应和包含的所有内容(div、span等)时，该部分似乎是空的。也不能通过CSS查询来解决。这是一个网站：import scrapy
class Brandon251Spid
浏览 0提问于2018-10-02得票数 0
回答已采纳
我正在使用一个数据刮板，我知道的只是足够的代码，不知道我在做什么。刮刀是免费的，有爬行限制。无法从终点恢复爬行。我要把书上所有的李都刮掉。这个程序只允许我选择1或全部李的，我正在尝试开发一个手动选择器或xpath，允许我从nth-child(200)开始选择。有什么帮助或建议吗？
浏览 13提问于2022-10-25得票数 2
我有一个能很好地收集信息的刮板，但是当我试图实现规则来爬行“下一个”页面时，我会被卡住。使用Scrapy 0.22 (我现在无法升级)。import reimport dateutil from scrapy.selectorFalse
yield [link.url for link in link_extractor.e
浏览 2提问于2015-09-30得票数 3
标题和元标记是通过ember-cli-meta-tags处理的，当网页在web浏览器中打开时，它们似乎被正确地呈现。下面是我网站上的一个例子：在另一个仿真器站点上测试此页面时，我得到的呈现与在index.html上以
浏览 0提问于2018-09-03得票数 1
回答已采纳
1回答
我将刮过的内容存储在csv文件中。每一行都包含一个项的唯一ID和描述。当我再次刮我的网站，我想我的脚本检查唯一的ID是否已经存储在csv文件中，如果不是，我会添加新的行，
浏览 0提问于2019-03-25得票数 0
1回答
我目前有一个scrapyd实例，并在我的机器上本地运行。此scrapyd实例需要在我的雇主网络上的其他PC上可用。我读过关于刮刮云()和其他基于云的服务的文章。然而，我更愿意在我们的网络上托管scrapyd，因为我构建的爬虫从我们服务器上存储的csv文件中提取数据。
我搜索了scrapyd文档()，了解了如何安装和运行scrapyd。我也喜欢将scrapy项目上传
浏览 13提问于2017-02-03得票数 0
回答已采纳
1回答
我对Scrapy的经验是有限的，每次我使用它，它总是通过终端的命令。我如何从django模板中获取表单数据(一个要被刮掉的url )来与scrapy通信，从而开始进行抓取？到目前为止，我只考虑从django的视图中获取表单的返回数据，然后尝试将表单数据的url添加到爬行器的spider.py中。从那里开始，我真的不知道如何触发实际的爬行，因为我习
浏览 1提问于2014-11-14得票数 11
回答已采纳
1回答
嗨，我想用Scrapy CrawlSpider类()爬行所有网页。我想知道有没有办法，这样我就只能刮一定数量的层。比如说只刮第一层(直接从www.abc.com派生的链接)？(2)由于我在allowed_deomains中定义了只有abc.com urls才会被刮除。所以我不需要在规则中重新定义它？')
(3)如果我使用爬行器，如果我不在蜘蛛类中定义规则，会发生什么情况？它会沿着所有的页面
浏览 4提问于2013-09-19得票数 3
回答已采纳
对于一个scrapy项目，我开发了多个爬行器，并将它们存储在同一个爬行器文件夹中。我使用以下命令通过cmd运行所有的抓取器: scrapy crawl spidername
然而，我注意到它遵守了项目或文件夹中的所有爬虫，尽管它们存储在不同的python文件中，具有不同的文件名，不同的爬行器名称，不同的类名和不
浏览 0提问于2015-01-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
