按照post ，我成功地在middlewares.py中加载了设置。
from scrapy.utils.project import get_project_settings
settings=get_project_settings()
我想知道为什么设置可以加载。
import scrapy.utils
dir(scrapy.utils)
['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__'
浏览 0提问于2019-08-23得票数 0
回答已采纳
我是Django / Scrapy的新手，对编程也很熟悉。我正在试着做一个Django网站来帮助我学习。
我想做的是从不同的网站抓取产品信息，并使用来自Scrapy的DjangoItem将它们存储在我的postgres数据库中。
我已经阅读了Scrapy和Django的所有文档。我已经在这里和其他网站搜索了几天，就是找不到让灯泡熄灭的确切原因。
不管怎样，我的问题是，同时部署Scrapy和Django的标准是什么？理想情况下，我想刮5-10个不同的网站，并在我的数据库中存储他们的信息。
Scrapy的文档中关于实现DjangoItem的最佳方法的信息有点少。
1) Scrapy项目应该在我的D
浏览 2提问于2013-05-23得票数 3
回答已采纳
2回答
我编写了一个Scrapy蜘蛛，我试图从位于另一个目录中的python脚本中运行它。我从中使用的代码似乎运行了爬行器，但是当我检查postgresql表时，它还没有创建。只有当我使用scrapy命令时，蜘蛛才能正确地输送已刮过的数据。我尝试将脚本放置在scrapy项目的目录中，并且与config文件位于同一个目录中，而且似乎都没有创建表。
下面是脚本的代码，后面是蜘蛛的代码。我认为这个问题涉及脚本应该位于的目录和/或我在蜘蛛文件中使用的代码，以便从脚本中运行蜘蛛，但我不确定。在脚本中调用的函数是否有问题，还是需要在设置文件中进行更改？如果有必要，我可以提供管道文件的代码，谢谢。
脚本文件(只有3
浏览 2提问于2015-07-24得票数 2
我正在尝试从脚本中运行Scrapy，并一直遵循教程。我遇到了一条错误消息，它声明为Error: ImportError: No module named testspiders.spiders.followall。我一直在寻找解决方案，但还没有找到合适的答案。
实际上，我是通过node.js运行这个python脚本的，它有一个名为的模块，它只允许您使用以下简单代码运行python脚本：
var PythonShell = require('python-shell');
PythonShell.run('my_script.py', function (err
浏览 2提问于2014-10-22得票数 3
回答已采纳
1回答
我正在查看Scrapy文档中的页面，但是我仍然有一些关于数据和或控制流的问题。
Scrapy架构
Scrapy的默认文件结构
scrapy.cfg
myproject/
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
spiders/
__init__.py
spider1.py
spider2.py
...
item.py
# -*- coding: utf-8 -*-
# Define here the m
浏览 0提问于2018-06-29得票数 1
我已经成功地编写了一个从网页抓取数据的Scrapy项目，当我在命令行使用scrapy crawl dmoz -o items.json -t json调用它时，它成功地将抓取的数据输出到JSON文件中。
然后，我编写了另一个脚本，获取该JSON文件，加载它，更改数据的组织方式(我不喜欢它的默认组织方式)，并将其作为第二个JSON文件输出。然后使用Django的manage.py loaddata fixture.json命令将第二个文件的内容加载到Django数据库中。
现在，我感觉到我会因为在三个独立的步骤中做这件事而被嘲笑，但我不太确定如何将所有这些都放在一个脚本中。首先，我不能让我的Sc
浏览 0提问于2013-02-03得票数 1
回答已采纳
我试图按照方法从web中获取'Scrapy‘数据，同时使用Scrapy的项目管道将数据直接保存到我的Django数据库中。
然而，当我试图运行scrapy crawl spidername时，我得到的是错误：
ImportError: No module named django.core.management
起初，我认为这是因为我的Scrapy项目不在Django项目文件夹之外，但即使在我将整个项目移动到Django项目文件夹中之后，我仍然会收到相同的错误。如果我在Scrapy项目文件夹的新位置(在我的Django项目文件夹中)中打开python，import django.cor
浏览 2提问于2013-02-04得票数 2
我正在尝试实现一个蜘蛛在scrapy和我得到一个错误，当我运行蜘蛛，并尝试了几件事，但无法resolved.The错误如下所示，
runspider: error: Unable to load 'articleSpider.py': No module named 'wikiSpider.wikiSpider'
我仍然在学习python和scrapy包。但我认为这与从不同目录导入模块有关，因此我在使用pycharm创建的虚拟环境中包含了我的目录树，如下图所示。
还要注意的是，我使用的是python 3.9作为我的虚拟环境的解释器。
我在爬虫中使用的代
浏览 0提问于2020-10-31得票数 0
我知道这个问题已经被广泛讨论了，但是我没有找到答案。我得到了错误ImportError:没有名为的模块。我用$ startproject 创建了一个新项目，为了避免使用，我没有相同的名称(项目名称、类等)。
pluto_spider.py：
import scrapy
from items import PlutoItem
class PlutoSpider(scrapy.Spider):
name = "plutoProj"
allowed_domains = ['successories.com']
start_urls = [
浏览 1提问于2016-10-13得票数 1
回答已采纳
我在我的mac上构建了scrapy框架，一切都很顺利，但是当我按照scrapy中的教程进行操作时，当我输入scrapy crawl dmoz时，它出错了。我的Python版本是3.6，Mac版本是10.13.6。我该如何修复它？错误消息如下：
kennethdeMBP:spiders kenneth$ scrapy crawl dmoz
2018-08-15 17:56:28 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)
2018-08-15 17:56:28 [scrapy.utils.log] INFO: Ver
浏览 0提问于2018-08-15得票数 0
我遵循本教程的说法，一步一步地说，但是当我到达使用命令运行蜘蛛的部分时：
抓取性爬虫massEffect -o results.csv
它表明了这个错误：
NameError:未定义全局名称“TfawItem”
我做错了什么？
这是我的items.py：
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrap
浏览 0提问于2017-10-15得票数 2
回答已采纳
1回答
刮伤CrawlSpider不爬行
、、、、
我正在建造一只蜘蛛来提取乐器和它们的数据。
为此，我使用CrawlSpider，最终的结果将是获取所有这些数据，并按模型名称将其放入mongoDB文档中。显然，我还没有完成，也还没有达到这一点。
编辑:我能够修复这个错误并让它运行:但是现在爬虫爬行'0‘页面并且没有返回数据到它输出的csv文件中。有什么问题吗？
我现在拥有的是：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml
浏览 3提问于2014-11-04得票数 0
我已经开始编写一个简单的scrapy模块，供mongodb使用。我是python的新手，我写的代码一直存在问题：
congress.py
import scrapy
from scrapy.selector import Selector
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.http import HtmlResponse
from congres
浏览 13提问于2017-07-09得票数 0
回答已采纳
当我试图运行我的项目时，我在scrapy控制台中得到了错误ModuleNotFoundError: No module named 'scrapy.contrib'。
我注意到python linter在下面划线：
from scrapy.contrib.spiders import CrawlSpider, Rule
这似乎是错误发生在那里。
我该怎么解决这个问题呢？
浏览 1提问于2021-06-04得票数 0
windows 7中的“我的路径”环境：
C:\Python37\Scripts\;
C:\Python37\;
C:\Python37\Scripts\scrapy.exe;
C:\Python37\Lib\site-packages\scrapy
几天前，没有修改过的东西之后，我经常这样运行我的蜘蛛：
py scrapy crawl spider -a arg1=truc -a arg2=machin
我在C:\Users\Truc\FolderA\FolderB\FolderC\...\spiders项目中运行它，它运行得很好，没问题，但是今天我通过魔术获得了以下消息：
C:\Pytho
浏览 0提问于2019-02-25得票数 1
我是蟒蛇的新手。我有个小项目。我使用的是conda虚拟环境，其中我编写了一个管道类，如下所示：
from cassandra.cqlengine import connection
from cassandra.cqlengine.management import sync_table, create_keyspace_network_topology
from recentnews.cassandra.model.NewsPaperDataModel import NewspaperDataModel
from recentnews.common.Constants import DEF
浏览 3提问于2017-05-31得票数 0
回答已采纳
我可以通过Scrapy中的代理成功地访问http页面，但我不能访问https站点。我研究过这个话题，但对我来说还不清楚。是否可以通过带有Scrapy的代理访问https页面？我需要补点什么吗？或者添加一些自定义代码？如果可以确认这是一个标准的功能，我可以跟进更多的细节。希望这是一件容易的事。
编辑：
下面是我添加到设置文件中的内容：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, 'test_website.middlewares.P
浏览 2提问于2015-08-12得票数 2
通过下面的命令，我可以看到scrapy模块中的名称：
>>>import scrapy
>>>dir(scrapy)
['Field', 'FormRequest', 'Item', 'Request', 'Selector', 'Spider', '__all__', '__builtins__', '__doc__', '__file__', '__name__', '__
浏览 0提问于2018-07-28得票数 0
回答已采纳
1回答
我在试着用刮痕。我确实安装了刮痕。我的python版本是2.7.9。在安装后，当我在终端中输入scrapy时，它会出现以下错误：
File "/usr/bin/scrapy", line 7, in <module>
from scrapy.cmdline import execute
File "/usr/lib/python2.7/site-packages/scrapy/__init__.py", line 48, in <module>
from scrapy.spiders import Spider
浏览 3提问于2015-07-16得票数 4
回答已采纳
仍然掌握了Scapy，并一直遵循教程。但是，当我运行以下命令时，遇到了一些小问题：NameError: name 'DmozItem' is not defined：
import scrapy
from scrapy import Item, Field
class QuotesItems(scrapy.Item):
area_name = scrapy.Field()
room_type = scrapy.Field()
period = scrapy.Field()
duration_weekly = scrapy.Field()
浏览 2提问于2017-04-21得票数 0
回答已采纳
PS C:\users\steve\tutorial>抓取器
Traceback (most recent call last):
File "c:\python27\scripts\scrapy-script.py", line 9, in <module>
load_entry_point('scrapy==1.0.3', 'console_scripts', 'scrapy')()
File "C:\Python27\lib\site-packages\scrapy-1.0.3-py2.7.
浏览 1提问于2015-10-19得票数 0
回答已采纳
4回答
我有一个非常基本的爬行器，遵循入门指南中的说明，但由于某些原因，尝试将我的项目导入到我的爬行器中会返回一个错误。Spider和items代码如下所示：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from myProject.items import item
class MyProject(BaseSpider):
name = "spider"
allowed_domains = ["website.com"]
浏览 3提问于2013-04-14得票数 4
回答已采纳
这可能是一个重复的问题。我正在尝试运行一个Scrapy爬虫，但无法运行。为什么我得到错误信息"HtmlResponse没有属性urljoin"？如果request_count是3，response_count也是3，那么Scrapy统计数据意味着什么？我的代码在这里。在这件事上如果能有任何帮助，我将不胜感激。
import scrapy
from scrapy.http.request import Request
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelecto
浏览 2提问于2016-09-28得票数 0
我想登录rediffmail，但是错误是生成的。
exceptions.NameError:未定义全局名称“FormRequest”
这是我的蜘蛛密码：
import scrapy
from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request
from rediffmail.items import RediffmailItem
class MySpider(BaseSpider):
name = 're
浏览 1提问于2016-01-04得票数 0
回答已采纳
我不知道为什么，但最近出了个错误：
File "C:\Users\name\PycharmProjects\splash\project\project\spiders\scrapy.py", line 5, in <module>
class ScrapySpider(scrapy.Spider):
AttributeError: 'module' object has no attribute 'Spider'
我的完整代码：
import scrapy
from scrapy_splash import SplashRe
浏览 7提问于2019-12-17得票数 1
回答已采纳
2回答
我在为我的测试修补类时遇到了问题。我正在尝试修补属于Scrapy的东西--一个类。
下面是一些代码：
from scrapy.selector import HtmlXPathSelector
from mock import MagicMock, patch
with patch('scrapy.selector.HtmlXPathSelector') as MockHtml:
instance = MockHtml.return_value
instance.method.return_value = 'foo'
example =
浏览 0提问于2012-06-22得票数 3
回答已采纳
2回答
我能生成第一只蜘蛛ok
Thu Feb 27 - 01:59 PM > scrapy genspider confluenceChildPages confluence
Created spider 'confluenceChildPages' using template 'crawl' in module:
dirbot.spiders.confluenceChildPages
但当我试图制造另一只蜘蛛时，我得到了这样的信息：
Thu Feb 27 - 01:59 PM > scrapy genspider xxx confluence
Tr
浏览 4提问于2014-02-27得票数 0
我一直在尝试写一个Python文件来抓取网站页面的全部内容。现在，在我的代码中，在我运行之前，一切似乎都很好。
我已经确保链接到文件中的项目。我不应该得到任何错误，但我仍然得到"ValueError:除了顶层包之外的尝试相对导入“。
这里是我的主要python文件的代码：
import scrapy
from ..items import AnalogicScrapeItem
class AnalogicSpider(scrapy.Spider):
name = 'analogic'
start_urls = ['https://www.an
浏览 0提问于2019-06-20得票数 0
我正在编写一个爬行器来爬行一个网站，但是当我运行scrapy crawl scraper_bot_name时，我会收到一个ModuleNotFound错误：No module named scrapy.spider，其中scrapy.spider是第一个导入语句。
此外，我在VSCode中签入是否还能找到其他内容，我看到了所有from … import …语句的这个问题，错误读- Unable to import ‘scrapy.spider’pylint(import-error)。
我试图找到一个解决方案，提到的最常见的修复方法是检查项目目录结构。具体来说，需要检查项目中的任何文件是否被命
浏览 2提问于2020-08-03得票数 0
回答已采纳
我正在尝试使用以下命令运行Scrapy爬行器： scrapy runspider -a main_url=https://www.imperium42.com WebHarvestSpider.py 我得到了这个错误： Usage
=====
scrapy runspider [options] <spider_file>
runspider: error: Unable to load 'WebHarvestSpider.py': cannot import name 'squeue' from 'scrapy' (Usag
浏览 226提问于2019-05-25得票数 0
回答已采纳
2回答
试图用Scrapy删除下一页，使用urlib Python库的Python3.5
import datetime
import urllib.request
import urllib.error
import urllib.parse
import socket
import scrapy
from scrapy.loader.processors import MapCompose, Join
from scrapy.loader import ItemLoader
from properties.items impo
浏览 3提问于2017-02-14得票数 0
回答已采纳
尝试运行我的scrapy脚本，并显示以下错误代码：
C:\Users\r\PycharmProjects\Wordpress_Auto_Post_Project\venv\Scripts\python.exe
C:/Users//PycharmProjects/Wordpress_Auto_Post_Project/terminal_news/terminal_news/core.py
Traceback (most recent call last):
File
"C:/Users/r/PycharmProjects/Wordpress_Auto_Post_Project/ter
浏览 27提问于2020-05-21得票数 1
回答已采纳
1回答
我是一个完整的Python新手，但我需要在google中搜索一个特定的页面，谷歌在两个页面中拥有，我不知道如何使它与scrapy的FormRequest一起工作。
我尝试用以下代码登录gmail作为测试：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import FormRequest, Request
class LoginSpider(BaseSpider):
name = 'super'
start_urls = [
浏览 3提问于2016-03-28得票数 0
回答已采纳
我正在尝试编写一个爬虫来跨多个页面爬行，通过以下网址：我正在使用Scrapy版本0.22.1来做这件事。但是，我收到一条"cannot import name CrawlSpider“消息。我已经粘贴了下面蜘蛛的代码。有人能确定我哪里出错了吗？
from scrapy.spider import CrawlSpider, Rule
from scrapy.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item import BookpagesIt
浏览 0提问于2015-02-14得票数 1
我的mac上的Scrapy有一些问题，我在许多网站上寻找答案，但我没有找到任何好的答案。
下面是我的错误：
Traceback (most recent call last):
File "scrapy-ctl.py", line 6, in <module>
from scrapy.command.cmdline import execute
ImportError: No module named cmdline
实际上我有Scrapy 0.16.3，Twisted 12.3.0，lxml 3.1beta1，libxml2和libxslt
感谢
浏览 3提问于2013-01-11得票数 4
回答已采纳
1回答
我正在尝试从two.py文件导入代码，这是我在one.py上当前代码的延续，但一直给我"exceptions.NameError: name 'main' is not defined“，任何帮助都会很好。有没有其他方法可以在anotherfile.py上继续编写代码
One.py示例：
import scrapy
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy
浏览 3提问于2015-11-30得票数 1
我创建了一个使用scrapy，splash和proxy的爬虫。
当我只执行一只蜘蛛时，一切都很好。然而，当我尝试使用CrawlerProcess时，我的蜘蛛没有使用代理，这会导致快速禁用。
爬行器代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest
from scrapy.crawler import CrawlerProcess
from my_fake_useragent import UserAgent
ua = UserAgent()
class AdsSpiderSpide
浏览 1提问于2021-09-20得票数 1
1回答
因此，我正在使用刮板库开发一个刮刀器，为了方便使用，我想让它从一个.csv文件中抓取它的启动urls。我已经对这个话题做了一些研究，我相信它正确地从.csv抓取了url，但是我遇到了一些奇怪的错误。如果有人能看一看，告诉我我做错了什么，那就太好了。我的蜘蛛看起来像这样，我的物品是非常基本的，因为我并没有用它做任何事情。最后，我会将信息存储回项目中，这样我就可以将它写回一个.csv，但现在我只想让爬行正常工作。
from scrapy.spider import BaseSpider
from scrapy.contrib.spiders import CrawlSpider, Rule
fro
浏览 0提问于2015-03-20得票数 3
回答已采纳
1回答
我一直在尝试让一个简单的爬虫与scrapy一起运行，但一直得到错误：
Could not find spider for domain:stackexchange.com
当我使用表达式scrapy-ctl.py crawl stackexchange.com运行代码时。蜘蛛如下所示：
from scrapy.spider import BaseSpider
from __future__ import absolute_import
class StackExchangeSpider(BaseSpider):
domain_name = "stackexchange.co
浏览 3提问于2010-05-22得票数 4
回答已采纳
1回答
我用姜戈，芹菜，scrapy。
我对芹菜的设置：
CELERY_BROKER_URL = 'amqp://****/myvhost'
CELERY_TIMEZONE = TIME_ZONE
CELERYD_CONCURRENCY = 1000
CELERYD_MAX_TASKS_PER_CHILD = 4
CELERY_IGNORE_RESULT = True
# django celery
CELERY_RESULT_BACKEND = 'django-db'
# celery queues setup
CELERY_DEFAULT_QUEUE = &#
浏览 0提问于2018-06-21得票数 0
每次我向scrapy添加新的spider.py时，我都需要导入一些模块，例如：
from __future__ import division
from extruct.w3cmicrodata import MicrodataExtractor
from extruct.jsonld import JsonLdExtractor
import scrapy
import re
import logging
from pprint import pprint
from scrapy.exceptions import DropItem
from urlparse import urlparse
浏览 0提问于2016-12-12得票数 2
我有下面的脚本来递归地爬行一个网站：
#!/usr/bin/python
import scrapy
from scrapy.selector import Selector
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
class GivenSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
&#
浏览 2提问于2016-01-22得票数 2
回答已采纳
1回答
我正在尝试从Scrapy项目中创建可执行文件。我已经注意到，我必须告诉PyInstaller，它必须加载哪些残缺的模块。问题是有很多这样的模块。
pyinstaller --onefile main.py --hidden-import scrapy.spiderloader --hidden-import scrapy.statscollectors --hidden-import scrapy.....
是否可以将PyInstaller设置为预导入所有模块？像--hidden-import scrapy.*这样不能工作的东西。
浏览 0提问于2017-10-23得票数 6
正在尝试从我的Scrapy项目创建exe文件。我已经在Scrapy项目的根目录下创建了main.py文件：
from scrapy.crawler import CrawlerProcess
from engine_bot.engine_bot.spiders.main_spider import MainSpider
if __name__ == '__main__':
process = CrawlerProcess({'BOT_NAME':'engine_bot',
'SPIDER_MODULES':[&
浏览 2提问于2017-10-22得票数 1
我应该如何纠正这个错误？
mona@pascal:~/computer_vision/instagram/instagram$ scrapy crawl instagramspider
2017-03-01 17:24:03-0600 [scrapy] INFO: Scrapy 0.14.4 started (bot: instagram)
2017-03-01 17:24:04-0600 [scrapy] DEBUG: Enabled extensions: LogStats, TelnetConsole, CloseSpider, WebService, CoreStats, Memory
浏览 5提问于2017-03-01得票数 3
回答已采纳
不确定是Scrapy还是Twisted有问题，还是？通过easy_install运行Python2.732位和最新的scrapy/依赖项
尝试模拟POST请求登录，并使其正常工作。我回到了，就这样做了，但它不起作用。
以下是爬行器代码：
from scrapy.spider import BaseSpider
class LoginSpider(BaseSpider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def pa
浏览 1提问于2012-01-24得票数 2
(1)我想使用process.crawl('spidername')运行scrapy，但wdir不是scrapy项目目录
就像这样：
workspace
├─ scrapy_project
│ ├─ project_name
│ ├─ spiders
│ │ └─ myspider.py #import errors(2)
│ ├─ items.py
│ └─ settings.py
└─ run.py # (1)i want to run this file to run the sp
浏览 5提问于2022-06-15得票数 0
回答已采纳
我们想在linux机器上使用scrapy。我们使用python 2.7版本并安装scrapy 1.4.0 (pip install scrapy)。我们将导入剪贴画添加到.py文件中。当我们运行.py文件时，会出现如下错误：
File "mapper.py", line 5, in <module>
import scrapy
File "/usr/local/lib/python2.7/dist-packages/scrapy/__init__.py", line 27, in <module>
from . imp
浏览 27提问于2017-12-19得票数 0
我刚开始学习scrapy。所以我跟踪了。我刚刚写了那个网站上提到的第一个爬虫。
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Comput
浏览 0提问于2015-06-08得票数 4
回答已采纳
我有一种奇怪的东西，我不能把我的头放在这里：
我已经使用Scrapy设置了一个webscraper，当我从cli ($ python journal_scraper.py)运行以下文件时，它会执行刮取操作：
journal_scraper.py：
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
def checkForUpdates():
process = CrawlerProcess(get_project_settings())
浏览 2提问于2016-01-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
