我的Scrapy Crawler找不到嵌套的a href标签
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地抓取和提取网页数据。它提供了强大的工具和机制，使开发者能够灵活地定义爬取规则和数据提取方式。
针对您提到的问题，如果您的Scrapy爬虫无法找到嵌套的<a href>标签，可能有以下几个可能的原因和解决方法：
- 爬取规则错误：请确保您的爬取规则正确设置。在Scrapy中，您可以使用XPath或CSS选择器来定位和提取页面元素。首先，您可以使用浏览器的开发者工具检查网页结构，确定目标
<a href>标签的XPath或CSS选择器路径。然后，在Scrapy的爬虫代码中使用正确的选择器来定位目标标签。 - 动态加载内容：有些网页使用JavaScript动态加载内容，这可能导致Scrapy无法直接找到目标标签。在这种情况下，您可以尝试使用Scrapy的动态加载支持，如Splash或Selenium。Splash是一个JavaScript渲染服务，可以在Scrapy中集成，以便处理动态加载的内容。Selenium是一个自动化测试工具，可以模拟用户操作浏览器，也可以与Scrapy结合使用。
- 网页反爬虫机制：有些网站会采取反爬虫措施，如验证码、IP封锁等，这可能导致Scrapy无法正常访问和解析页面。在这种情况下，您可以尝试使用代理IP、用户代理伪装、延时请求等策略来规避反爬虫机制。另外，您还可以使用Scrapy的下载中间件来自定义处理请求和响应，以适应特定的反爬虫策略。
总结起来，解决Scrapy爬虫找不到嵌套的<a href>标签的问题，您可以检查爬取规则是否正确、处理动态加载内容、规避网页反爬虫机制等。根据具体情况选择合适的解决方案。
腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储、人工智能等。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品的详细信息和使用指南。
相关·内容
2回答
Scrapy中的If条件
、、、
我正在使用scrapy抓取给定url中的标签，并检查标签中的url链接是否与网站的url匹配。我想将结果导出到csv，其中有一列指示是否存在匹配。
我有以下代码，但不确定如何添加匹配条件：
import scrapy
import pandas as pd
import csv
from scrapy.crawler import CrawlerProcess
class urlsitem(scrapy.Item):
status=scrapy.Field()
url=scrapy.Field()
canonical=scrapy.Field()
class U
浏览 1提问于2019-07-03得票数 0
1回答
为什么cc.start()上有下面的代码块？crawler.py包含类似于的代码。
import scrapy
import threading
from subprocess import Popen, PIPE
def worker():
crawler = Popen('python crawler.py', stdout=PIPE, stderr=PIPE, shell=True)
while True:
line = crawler.stderr.readline()
print(line.strip())
cc =
浏览 1提问于2016-03-11得票数 0
回答已采纳
我正试图开始我的第一个刮擦项目，但我被一个奇怪的问题困住了。对于一些网站，我的爬虫工作良好，对其他一些，它不遵循的规则提取链接。我搜索了一下，发现其他人也有类似的问题，但在他们的例子中，他们的allow参数格式很差，导致了一个Filtered offsite request，而这并不发生在我身上。我的日志在这里 (首先是失败的url，然后是一个运行良好的url，因为我不能发布超过2个链接.)。
我的蜘蛛是通过使用API的Python脚本来控制的：
# -*- coding: utf-8 -*-
from twisted.internet import reactor
from scrapy.
浏览 0提问于2014-11-04得票数 1
回答已采纳
我试图将url传递给我的爬行器，但在查看其他人在堆栈溢出中所做的事情后，我总是得到以下错误：
raise TypeError('Request url must be str or unicode, got %s:' % type(url).__name__)
有人能解释一下我做错了什么吗？我只是想学习如何使用这个api。
import scrapy
from drinkRecipe.items import DrinkrecipeItem
class RecipeSpider(scrapy.Spider):
name = "recipe"
al
浏览 0提问于2017-11-04得票数 0
2回答
我刚刚安装了Python，开始用Scrapy做一些实验。找到了一个教程，第一次安装Miniconda，与此，我能够安装Scrapy。现在的问题是，我试图运行的软件也需要Twisted。所以我安装了扭曲的pip。
扭曲似乎已经安装正确，但我仍然收到一个错误，当运行脚本，扭曲模块是找不到的。
Python 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 17:26:49) [MSC v.1900 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()"
浏览 4提问于2017-12-16得票数 4
回答已采纳
1回答
我可以在python脚本中使用wiki中的以下菜谱运行爬行：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
from scrapy.utils.project import get_project_settings
spider = FollowAllSpider(domain='scrapinghub.com
浏览 2提问于2015-02-24得票数 8
回答已采纳
遵循，我可以从Python脚本运行scrapy，但我无法获得scrapy结果。
这是我的蜘蛛：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from items import DmozItem
class DmozSpider(BaseSpider):
name = "douban"
allowed_domains = ["example.com"]
start_urls = [
"http
浏览 1提问于2013-07-10得票数 6
回答已采纳
我希望将从蜘蛛收集的所有数据存储到一个单独的输出文件中，该文件存储为json格式。但是，我得到了以下错误：
'MemoryStatsCollector‘对象没有属性'get_all’
：：文档中提到stats.get_all是如何获得所有商店的。这方面的正确实现方法是什么？
import scrapy
from scrapy import signals
from scrapy import crawler
import jsonlines
class TestSpider(scrapy.Spider):
name = 'stats'
浏览 6提问于2022-07-05得票数 0
我的起始网址是。
我使用了以下代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from urlparse import urljoin
class StreetViewSpider(CrawlSpider):
name = "streetview"
allowed_domains = ["geographic.org"]
start_urls = ["ht
浏览 12提问于2017-07-09得票数 0
1回答
我想知道有没有办法重启抓取爬虫。下面是我的代码： from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerProcess
results = set([])
class SitemapCrawler(CrawlSpider):
name = "Crawler"
start_urls = ['www.example.com']
allowed_domains =
浏览 16提问于2020-12-30得票数 2
回答已采纳
1回答
CSV出口不起作用
、、、、
这是我的蜘蛛课：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
from scrapy.crawler import CrawlerProcess
from scrapy.linkextractors.sgml import SgmlLinkExtractor
import csv
class StackItem(scrapy.Item):
浏览 1提问于2015-08-13得票数 0
回答已采纳
1回答
我的项目名是NOTHS。
下面的脚本是我使用的spider.py和items.py。
spider.py
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from NOTHS.items import NOTHS
class MySpider(BaseSpider):
name = "main"
allowed_domains = ["notonthehighstreet.com"]
start_urls = ["
浏览 7提问于2014-09-09得票数 3
回答已采纳
在尝试运行我的刮取程序时，我一直收到以下错误: TypeError:此构造函数不带参数。我四处寻找，但找不到任何东西来帮助解决我的问题。我不知道我是否只是有一个错误，我错过了或类似的东西，但任何帮助将不胜感激。附加的代码是middlewares.py中给出错误的部分，而不是整个文件。
# middlewares.py
import random
from copy import copy
class ProfileMiddleware:
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
浏览 0提问于2019-05-23得票数 1
回答已采纳
1回答
我不知道是什么导致了这个错误。错误发生在craig.py文件的第3行，但我没有看到任何差异。
文件夹结构
克雷格(文件夹)
蜘蛛(文件夹)
init.py
init.pyc
craig.py
craig.pyc
- **init**.py
- **init**.pyc
- pipelines.py
- settings.py
- settings.pyc
- scrapy.cfg
项目名称：：Craig.py名称:Craig.py
Craig.py
from scrapy.spider import BaseSpider
from scr
浏览 2提问于2014-12-10得票数 0
回答已采纳
1回答
我只是试着制作一个简单的蜘蛛，使用scrapy从XML文件中获取数据。这就是我想出来的：
from scrapy.contrib.spiders import XMLFeedSpider
class MySpider(XMLFeedSpider):
name = 'testproject'
allowed_domains = ['www.w3schools.com']
start_urls = ['http://www.w3schools.com/xml/note.xml']
itertag = '
浏览 1提问于2015-04-24得票数 0
回答已采纳
1回答
我编写了一个非常小的脚本，可以使用scrapy和selenium结合使用库，从网页中解析不同餐馆的名称。
我的settings.py文件包含：
from shutil import which
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = which("chromedriver")
我的蜘蛛包含：(在爬虫过程中使用中间件引用)
import scrapy
from scrapy.utils.project import get_project_settings
from sc
浏览 0提问于2019-05-21得票数 0
回答已采纳
我正在使用scrapy 1.5，并试图通过python脚本以编程方式运行scrapy爬虫进程。作为其中的一部分，我需要导入爬虫设置并覆盖它的一些参数。 我发现这个import语句做了我需要的事情： from scrapy.conf import settings 问题是，这是可行的，但也会产生以下弃用警告： ScrapyDeprecationWarning: Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead 所以我猜这是针对某个老版本的。按照警告，我试图访问scrapy.crawler.s
浏览 346提问于2019-02-16得票数 0
回答已采纳
crawler在命令行中运行良好，并显示以下错误：
2016-03-30 03:47:59 [scrapy] INFO: Scrapy 1.0.5 started (bot: scrapybot)
2016-03-30 03:47:59 [scrapy] INFO: Optional features available: ssl, http11
2016-03-30 03:47:59 [scrapy] INFO: Overridden settings: {'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Window
浏览 3提问于2016-03-30得票数 5
2回答
我试着用蜘蛛爬虫代码来获取一些房地产数据。但它一直让我犯这个错误：
回溯(最近一次调用)：
文件"//anaconda/lib/python2.7/site-packages/twisted/internet/defer.py"，第1301行，在_inlineCallbacks结果=g.send(结果)中
文件"//anaconda/lib/python2.7/site-packages/scrapy/crawler.py"，第90行，在爬行six.reraise(*exc_info)中
文件"//anaconda/lib/python2.7/site
浏览 1提问于2017-04-15得票数 0
我在蜘蛛文件夹的8个.py文件中建立了8个爬虫。现在，我想创建一个文件，比方说init.py，它负责在输入时调用爬虫函数。我该怎么做呢？
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapycrawler.items import ScrapycrawlerItem
我也这样做过：
process = CrawlerProcess({
'FEED_FORMAT': 'CSV',
'FEED_URI': 'output.csv',
浏览 1提问于2020-05-12得票数 0
1回答
我正在尝试从python脚本运行爬行器，下面是一个抓取的文档：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
from scrapy.utils.project import get_project_settings
spider = FollowAllSpider(domain='scrapinghub.co
浏览 2提问于2014-04-17得票数 0
我试着运行多个爬虫，就像中说的那样。脚本是通过调用scrapy crawl crawler运行的。
现在，通过python crawler.py调用它，我得到了以下错误：
从crawler.items导入LinkItem
ModuleNotFoundError:没有名为“爬行器”的模块；“爬虫”不是一个包
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerP
浏览 3提问于2017-09-28得票数 1
回答已采纳
在命令行上，我执行以下简单尝试来调用scrapy：
scrapy version
我得到以下错误：
$ scrapy version
Traceback (most recent call last):
File "/Users/nathanielford/virtualenvironments/crawler/bin/scrapy", line 11, in <module>
sys.exit(execute())
File "/Users/nathanielford/virtualenvironments/crawler/lib/pyth
浏览 0提问于2016-12-07得票数 5
回答已采纳
1回答
我是新来姜戈的。我正在尝试通过django视图运行我的抓取爬行器。当我通过命令提示符运行时，我的scrapy代码运行得很好。但是当我尝试在django上运行它时，它失败了。错误消息: signal只在主线程中工作。
django视图中的代码(如下所示)
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.crawler import CrawlerProcess
from scrapy import log, signals
from Working.spiders.workSp
浏览 1提问于2016-03-10得票数 23
我正在开发一个粗糙的api。我的一个问题是扭曲的反应堆不能重新启动。我使用crawl runner而不是crawl process修复了这个问题。我的蜘蛛从一个网站中提取链接，验证它们。我的问题是，如果我在reactor.run()之后添加验证代码，它就不能工作。这是我的密码：
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log impo
浏览 3提问于2021-01-07得票数 1
回答已采纳
from scrapy import project, signals
from scrapy.crawler import Settings
from scrapy.crawler import CrawlerProcess
from scrapy.xlib.pydispatch import dispatcher
from multiprocessing.queues import Queue
import multiprocessing
class CrawlerWorker(multiprocessing.Process):
def __init__(self, spide
浏览 0提问于2013-04-09得票数 1
回答已采纳
从脚本()运行scrapy crawler的代码但它不起作用。
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log,signals
from spiders.egov import EgovSpider
from scrapy.utils.project import get_project_settings
def run():
spider =EgovSpider()
settings = get_project_settings()
浏览 0提问于2015-04-21得票数 4
系统: Ubuntu 14.04
我使用命令sudo pip install scrapy安装了scrapy。
我遵循的教程定位为。
当我在scrapy crawl dmoz步骤上运行命令时，我得到以下错误：
2015-07-04 15:28:58 [scrapy] INFO: Scrapy 1.0.1 started (bot: tutorial)
2015-07-04 15:28:58 [scrapy] INFO: Optional features available: ssl, http11
2015-07-04 15:28:58 [scrapy] INFO: Overridden s
浏览 0提问于2015-07-04得票数 9
回答已采纳
正如可以在中找到的那样，它声明：
新版本2.4.0。
覆盖:如果文件已经存在，是否覆盖它(True)或附加到它的内容(False)。
我在我的scrapy-project的scrapy文件中插入了以下内容：
FEEDS = {"overwrite": True}
这导致执行scrapy crawl quotes_splash -o Outputs/quotes_splash.json时出现以下错误输出
(scrapy_course) andylu@andylu-Lubuntu-PC:~$ scrapy crawl quotes_splash -o Outputs/quo
浏览 1提问于2020-12-02得票数 1
回答已采纳
2回答
我试图建立一个广泛的连续爬虫，我能够提取链接，但我无法抓取他们和提取这些链接。该项目的最终目标是抓取.au域并将其根URL添加到数据库中。
class Crawler (scrapy.Spider):
name = "crawler"
rules = (Rule(LinkExtractor(allow='.com'), callback='parse_item'))
#This will be changed to allow .au before deployment to only crawl .au sites.
浏览 0提问于2020-06-10得票数 0
回答已采纳
为什么HttpCachedMiddleware需要scrapy.cfg，我是如何解决这个问题的？
我使用scrapyd-deploy构建鸡蛋，并将项目部署到scrapyd。
当作业运行时，我从日志输出中看到，由于找不到HttpCacheMiddleware，所以禁用了scrapy.cfg。
2014-06-08 18:55:51-0700刮擦警告:禁用HttpCacheMiddleware:无法找到scrapy.cfg文件来推断项目数据dir
我检查了egg文件，scrapy.cfg确实不在那里，因为鸡蛋文件仅由项目目录中的文件组成。我可能错了，但我认为鸡蛋的构造是正确的。
foo/
浏览 2提问于2014-06-09得票数 3
回答已采纳
1回答
我是Scrapy的新手，我正在尝试构建自己的DownLoader中间件，以便通过代理来抓取网络。我得到了这个错误：
Traceback (most recent call last):
File "/Users/bli1/Development/projects/hinwin/chisel/lib/python2.7/site-packages/twisted/internet/defer.py", line 1128, in _inlineCallbacks
result = g.send(result)
File "/Users/bli1/Devel
浏览 6提问于2016-06-04得票数 0
回答已采纳
我想使用AWS Lambda刮一个网站。爬虫代码在Python中，并使用Pip提供的Scrapy库。
要运行lambda函数，我必须在公共Amazon版本-amzn hvm-2017.03.1.20170812-x86_64-GP2中创建依赖关系的压缩(此处仅为scrapy)，按照，添加lambda函数并上传它以创建lambda函数。
现在，当我调用lambda函数时，它会给出以下错误：
cannot import name certificate_transparency: ImportError
Traceback (most recent call last):
File "
浏览 3提问于2017-12-28得票数 2
我的Scrapy在我的本地机器Windows上运行得很好。然后我尝试在我的AWS Linux服务器上运行它，但我得到了以下结果
Traceback (most recent call last):
File "run<spider_name>.py", line 12, in <module>
spider_name).split())
File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 142, in execute
_run_print
浏览 12提问于2017-02-17得票数 0
回答已采纳
我是webscraping的初学者，可能我问错了问题：)为了运行scrapy+selenium，我创建了中间件
class SeleniumDownloaderMiddleware(object):
def __init__(self):
self.driver = None
@classmethod
def from_crawler(cls, crawler):
middleware = cls()
crawler.signals.connect(middleware.spider_opened,\
signa
浏览 0提问于2019-04-10得票数 0
在我定义的提取下一个按钮链接的规则中，我得到了一个错误："Unhasable type: list“。
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from walmart_sample.items import WalmartSampl
浏览 2提问于2014-04-05得票数 0
我的问题是，由于某些原因，scrapy框架似乎找不到爬虫。我得到了这只蜘蛛：
import scrapy
from scrapy.http import Request
from propreties.items import htmltableitem
class SymbolspiderSpider(scrapy.Spider):
name = "symbolspider"
def start_requests(self):
for i in range(0,10):
yield Request( 'ht
浏览 0提问于2016-12-30得票数 0
回答已采纳
我已经创建了一个脚本来从yellowpages.com抓取不同商店的name、phone和email地址。我在scrapy中使用了async方法从内部页面解析电子邮件地址，同时从登录页面解析姓名和电话。脚本运行得很好。
我不能理解的是如何在内联请求中使用headers或dont_filter=True。下面就是我真正想说的地方。
request = response.follow(email_url)
resp = await self.crawler.engine.download(request, self)
我正在使用的蜘蛛：
import scrapy
from scrapy.craw
浏览 10提问于2021-02-19得票数 0
回答已采纳
在我获得Scrapy的Windows 7上重新安装了用于Windows和Python2.7的Miniconda 64位exe安装程序之后，下面是安装的内容：
Python 2.7.12
刮伤1.1.1
扭曲16.4.1
这个最小的代码，从"python“运行(使用Scrapy )：
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import scrapy.spiders.crawl
import scrapy.crawler
import scrapy.utils.project
class MySpider(
浏览 0提问于2016-09-22得票数 2
回答已采纳
4回答
，scrapy的API已经改变了。
现在，文档提供了一种"“的方法，但我得到了ReactorNotRestartable错误。
我的任务是：
from celery import Task
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings
from .spiders import MySpider
class M
浏览 4提问于2014-03-01得票数 37
回答已采纳
我正在尝试创建一个Scrapy自定义项目命令来运行蜘蛛。我找到了并做了以下工作：
mkdir commands
cd commands
创建命令文件crawlall.py：
从scrapy.commands导入ScrapyCommand从scrapy.utils.project导入get_project_settings从scrapy.crawler导入Crawler类命令(ScrapyCommand)：requires_project = True def语法(Self)：返回‘选项’def short_desc(self)：返回‘运行所有蜘蛛的def运行(self，args，选
浏览 2提问于2015-06-15得票数 2
我试图运行这里给出的代码，但是我得到了下面的错误：
Deeps-MacBook-Pro:tutorial project$ scrapy crawl quotes
2018-07-24 17:16:24 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)
2018-07-24 17:16:24 [scrapy.utils.log] INFO: Versions: lxml 4.2.3.0, libxml2 2.9.4, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted
浏览 35提问于2018-07-24得票数 1
我正在做一个应用程序项目，允许用户在输入一组关键字后获得网页搜索结果，这些关键字将被发送给询问者。为此，我在的下面这篇文章的启发下，用烧瓶创建了一个api。但是，api无法工作，因为我无法将用作关键字的数据从api传递到刮板。下面是我的烧瓶api文件：
import crochet
crochet.setup()
from flask import Flask , render_template, jsonify, request, redirect, url_for
from scrapy import signals
from scrapy.crawler import CrawlerR
浏览 7提问于2022-06-16得票数 0
文档说我只能在项目目录中执行爬网命令：
scrapy crawl tutor -o items.json -t json
但我真的需要在我的python代码中执行它( python文件不在当前项目目录中)
有没有符合我要求的方法？
我的项目树：
.
├── etao
│ ├── etao
│ │ ├── __init__.py
│ │ ├── items.py
│ │ ├── pipelines.py
│ │ ├── settings.py
│ │ └── spiders
│ │ ├── __init__.py
│ │
浏览 2提问于2012-03-02得票数 1
回答已采纳
我让我的scrapy机器人在两个不同的系统上运行。其中一个工作正常，而另一个不工作。它们是一模一样的复制品。当我使用-t csv -o data.csv时，我得到以下回溯。
Traceback (most recent call last):
File "/home/scraper/.python/bin/scrapy", line 4, in <module>
execute()
File "/home/scraper/.python/lib/python2.7/site-packages/scrapy/cmdline.py", l
浏览 4提问于2014-01-17得票数 0
我已经安装了Scrapy，并在python中导入了它，一切看起来都很好。但是，当我在中尝试一个示例时，它会导致错误。
我运行scrapy crawl swspider，然后得到：
> 2018-05-14 14:24:16 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: tutorial)
> 2018-05-14 14:24:16 [scrapy.utils.log] INFO: Versions: lxml 3.2.1.0,
> libxml2 2.9.1, cssselect 1.0.3, parsel 1.4.0
浏览 0提问于2018-05-14得票数 9
回答已采纳
我终于安装了刮擦，但无法让它运行长凳或外壳。以下是控制台中返回的内容：
(scrapy_env) MacBook-Pro:Virtualenvs iSagui$ scrapy bench
2018-02-19 14:46:26 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: scrapybot)
2018-02-19 14:46:26 [scrapy.utils.log] INFO: Versions: lxml 3.4.2.0, libxml2 2.9.4, cssselect 1.0.3, parsel 1.4.0, w3lib 1.
浏览 0提问于2018-02-19得票数 0
回答已采纳
1回答
加载刮破的外壳
scrapy shell "http://www.worldfootball.net/all_matches/eng-premier-league-2015-2016/"
试试选择器：
response.xpath('(//table[@class="standard_tabelle"])[1]/tr[not(th)]')
注意:它打印结果。
但是现在使用这个选择器作为for语句：
for row in response.xpath('(//table[@class="standard_tabelle"]
浏览 2提问于2016-03-04得票数 1
2回答
在Python3中使用Scrapy时，我遇到了以下错误。我使用的是Ubuntu16.04，安装python3-twisted并没有解决这个问题。
File "/home/fran/.local/lib/python3.5/site-packages/scrapy/crawler.py", line 150, in crawl
crawler = self._create_crawler(crawler_or_spidercls)
File "/home/fran/.local/lib/python3.5/site-packages/scrapy/craw
浏览 0提问于2016-06-19得票数 0
回答已采纳
我有一个问题，让我的Scrapy爬虫运行它的回调方法。
我不认为这是一个缩进错误，这似乎是其他以前的帖子的情况，但也许是，但我不知道它？有什么想法吗？
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy import log
import tldextract
class CrawlerSpide
浏览 2提问于2013-02-19得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
