Scrapy pipeline mysql连接模块错误

文章/答案/技术大牛

发布

1回答

python-3.x、scrapy、mysql-connector-python、scrapy-pipeline

我无法通过我的管道将scrapy运行到我的本地数据库。我已经安装了mysql-connector-python8.0.19，并且能够将数据写入同一项目中的数据库，但在Scrapy管道之外。当我尝试通过scrapy管道发送数据时，我得到以下错误：File "C:\Users\Viking\PycharmProjects\Indigo_Scrp\IndgoScrp\IndgoScrp\pipeline

浏览 14提问于2020-03-12得票数 0

回答已采纳

1回答

如何指定包源？

python、pip、setuptools、pypi

问题：author-email = iarruss@ya.rudescripti

浏览 2提问于2017-10-10得票数 0

回答已采纳

1回答

在Scrapy中关闭Python上的MySQL连接？

python、mysql、scrapy

我使用Scrapy2.4.x pipeline.py将数据集写入远程MySQL 5.7.32服务器。在某些情况下，错误会发生，脚本会抛出一个异常--这是可以的。有许多MySQL are连接错误。我相信这是由于MySQL连接没有关闭。mysql错误日志： Aborted connection 63182018 to db: 'mydb' user: 'test'

浏览 3提问于2020-12-27得票数 0

1回答

抓取管道以分离文件夹/文件-抽象

python、scrapy、scrapy-pipeline

我目前完成了一个Scrapy项目，但是我有一个相当长的pipelines.py文件。这让我犯了错误。然后我想我可以导出这个模块并将其导入到我的当前pipelines.py中，并从中获取参考。我在我的__init__.py目录中添加了一个空的myPipelines，然后添加了from myPipelines.Test import TestPipeline，但是scrapy仍然抛出了一个错误

浏览 3提问于2017-06-01得票数 5

1回答

Scrapy仅为某些网站连接到MySQL

python、mysql、scrapy

当我抓取'‘时，我能够连接到MySQL并将值插入到数据库中。 def from_crawler(cls, crawler):

浏览 0提问于2018-01-05得票数 0

2回答

在scrapy中使用mysql插入数据

python、twisted、scrapy

这是我的演示，我认为没有错误，但此代码不能插入数据到mysql!？NEWSPIDER_MODULE = 'scan.spiders'这是管道代码，我认为它没有错误from scrapy.exceptions import DropItem from scrapy.contrib.pipeline.images import ImagesP

浏览 1提问于2012-12-19得票数 2

回答已采纳

1回答

无法让MySQL.connector在Python中使用Scrapy

python、mysql、scrapy

我在使用Scrapy导出刮擦数据到本地MySQL数据库时遇到了问题。无论如何，我试图使用Scrapy制作一个web爬虫，到目前为止，它确实从所需的网站中抓取所需的数据，尽管我无法让它将数据导出到本地MySQL数据库。我一直在阅读Mysql连接器的文档，但是它们的例子让我有点困惑()。我也在谷歌上搜索，希望我能找到一个解决方案，但是我找到的所有结果都使用MySQLdb，我想使用MySQL连接器。这里是我在pipelines.py中的代码 from <em

浏览 3提问于2014-06-24得票数 0

回答已采纳

3回答

我的第一个Scrapy Spider不适用于MySQL数据库

python、scrapy

我想抓取这个网站()，然后将数据保存到MySQL数据库中。所以，我设计了一个基本的爬虫：from ..items import QuotetutorialItem # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

浏览 0提问于2019-06-21得票数 1

2回答

在Scrapy中没有名为“psycopg2”错误的模块

postgresql、scrapy

当我用在Scrapy pipeline.py或spider.py中，我得到以下错误我知道错误是无效的，因为我用postgresql运行Django服务器，使用包含psycopg2的相同的venv。同时，我还可以在测试文件和查询中连接到db。此外，我可以在Scrapy中运行导入psycopg2，没有问题。所以我很困惑我可能错过了什么，我很感

浏览 6提问于2019-05-26得票数 0

1回答

Scrapy - "scrapy爬行“捕获内部异常，并将它们隐藏在Jenkins的"catch”子句中。

python、jenkins、scrapy

我每天通过詹金斯运行scrapy，我希望通过电子邮件将例外情况发送给我。", throw exc这是日志：[Pipeline] } [Pipeline] // stag

浏览 0提问于2019-08-22得票数 2

回答已采纳

2回答

我们可以在Scrapy中使用锁吗？因为Scrapy是单线程的，所以需要它们吗？

python、python-3.x、scrapy

在my item Pipeline中，为了在数据库中添加数据，在处理项目的过程中，到服务器的连接可能会随机断开，我需要重新建立连接。现在在open_connection函数中，我是否需要确保只有一个线程会创建新连接，并且所有并发请求都不会开始创建新连接？由于scrapy是单线程的，我想在这个场景中我不需要任何锁，因为一个线程将重新建立连接，并且所有下一个传入process_item函数的回调都将具有已建立的连接。如果这是错误的，我可以

浏览 101提问于2019-09-29得票数 4

回答已采纳

1回答

如何在方法中检索scrpy job id？

scrapy、scrapyd

我正在尝试通过spider_close方法获取一个2.1.x作业的作业id： import os不幸的是，这导致了一个键错误：Traceback (most recent**kw) File "/Users/andy/spider2

浏览 4提问于2020-05-16得票数 0

1回答

Selenium运行Firefox驱动程序，用于不使用

python、selenium、scrapy

class MySpider(scrapy.Spider): domain = 'www.example.com' for sel in response.css('.main-content'): # Article is a scrapy.item

浏览 3提问于2016-12-10得票数 2

回答已采纳

1回答

抓取管道mysql错误

scrapy、pipeline、importerror

当我编写Scrapy\pipeline，然后尝试使用scrapy crawl dmoz时，出现了一个错误： _mysql_exceptions.Programmi

浏览 3提问于2015-03-19得票数 0

1回答

使用scrapy的MySQL数据库错误

python、mysql、scrapy

我正在尝试将废弃的数据保存在MySQL数据库中。'link':response.xpath('//div[@id="metacol"]/h1[@class="bookTitle"]/a/@href').extract(),而pipeline.py是# # Don't for

浏览 3提问于2016-09-21得票数 2

回答已采纳

1回答

Python3.8和Scrapy2.4.1“没有名为我的project>的<名称的模块

python、module、scrapy、relative-path、absolute-path

我使用scrapy (2.4.1)、python3.8.6和Pycharm。\_spider.py- items.py- pipeline.py- settings.py python3 <path_to_the_script/my_spider.py ModuleNotFoundError:没有名为“scrapy_proje

浏览 6提问于2020-12-10得票数 0

2回答

显示异常的Pipeline.py

python、mysql、web-scraping、scrapy、mysql-python

我正在建立一个小项目在Scrapy和是新的Scrapy。当我运行我的蜘蛛时，它在我的管道中显示一个异常错误，上面写着： import sysimport MySQLdb # thePipeline settin

浏览 2提问于2013-07-30得票数 0

3回答

到MySQL的粗糙管道-找不到答案

python、scrapy

正如我昨天提到的，我对scrapy和python是个新手，所以答案可能是存在的，但是我还没有理解。import sysimport hashlibfrom scrapy.httpSPIDER_MODULES = ['somespider.spiders']

浏览 5提问于2013-01-26得票数 4

1回答

错误2002 (HY000)：无法通过Lubuntu20.04LTS上的socket '/var/run/mysqld/mysqld.sock‘(2)连接到本地MySQL服务器

mysql、sockets、mysql-python

下一首,我尝试连接到mysql：( andylu@andylu-Lubuntu-PC:~/Desktop/Misc_python_scripts/Scrapy_Webscraping_Course/books_crawlerERROR 2002 (HY000)连接到本地mysql服务器：无法通过socket '/var/run/mysqld/mysqld.sock‘连接到本地MySQL</e

浏览 0提问于2020-12-06得票数 0

2回答

ImportError:没有名为cqlengine的模块，但使用python命令。

python、cassandra、scrapy

crawl author这样的抓取爬虫时，它会给出以下错误：2017-05-31 15:56:29 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot] INFO: Enabled extensions: ['scra

浏览 3提问于2017-05-31得票数 0

回答已采纳

点击加载更多