Scrapy dynamic CSV管道未读取对象

文章/答案/技术大牛

发布

1回答

python、class、scrapy、scrapy-spider

因此，我从csv中获取数据，运行scrapy来查找一些数据，然后将这些数据作为其他类似csv的最后几个字段添加(唯一不同的是清理后的标题标题)。问题是，我将使用不同的csv运行，包含不同的数据，所以我需要管道是动态的，这样我就不必为每个csv创建新的刮板。所以我把所有的东西都准备好了，一直到管道。我打开并读取相同的csv，修改头文件，就像我对爬行器所做的那样，但是由于某种原因，当我去填充要用process_item()编写的行中的数

浏览 13提问于2018-01-12得票数 0

回答已采纳

2回答

未到达管道的项目

python、scrapy

我对python和scrapy很陌生。我不会在管道中获取项目数据。没有什么是用csv编写的。错误是蜘蛛文件import sysfrom tutorial.items]/@href").extract()[0] item['title'] = var

浏览 5提问于2016-04-07得票数 0

回答已采纳

2回答

开始urls和域的Scrapy迭代

python-3.x、pandas、scrapy、scrapy-spider

我正在尝试从csv读取urls和域的列表，并让Scrapy爬行器遍历域的列表并启动urls，目标是通过我的管道将该域中的所有urls导出到csv文件中。import scrapyfrom scrapy.linkextractors import LinkExtractorfrom NONPROF.items import NonprofItem from <em

浏览 2提问于2018-02-23得票数 0

回答已采纳

1回答

CsvItemExporter用于自定义项管道中的多个文件，而不是导出所有项

scrapy、scrapy-pipeline

我创建了一个项目管道，作为对问题的回答。问题在于由管道/项目导出程序page-10.csv生成的最后一个csv文件。最后10个值未导出，因此文件保持为空。这种行为的原因是什么？pipelines.py ""&quo

浏览 1提问于2020-11-25得票数 1

1回答

从剧本上刮下来。不会导出数据

python-2.7、web、web-scraping、scrapy、twisted.internet

我试图从脚本中运行scrapy，但无法获得程序来创建导出文件。不是只有我一个人有这个问题。以下是其他两个类似的未回答问题。它包括打印带有管道和提要导出程序的输出文件的设置。from twisted.internet import reactor from scrapy import log, s

浏览 0提问于2014-12-19得票数 5

1回答

从Feed Exporter创建的CSV读取不包括当前运行的更新

python、csv、scrapy

我使用的是Scrapy 1.4.0和Python 3.6.3。import glob impor

浏览 0提问于2018-01-02得票数 0

1回答

刮伤蜘蛛没有存钱给csv

python、csv、text、scrapy、pipeline

我有一个蜘蛛，它从文本文件中读取urls列表，并从每个文件中保存标题和正文文本。爬行工作，但数据没有保存到csv。我设置了一个管道来保存到csv，因为普通的-o选项对我不起作用。守则如下：from scrapy.item import Item, Field # define the fieldsitem here like: title = Field() desc

浏览 2提问于2014-01-11得票数 1

回答已采纳

1回答

刮除-每个星形单独的输出文件

python、python-3.x、web-scraping、scrapy、scrapy-spider

我有一只皮肤粗糙的蜘蛛运行良好：import scrapy for url in urls: yield scrapy.Request

浏览 0提问于2017-11-18得票数 3

5回答

如何按项目将项目导出到单独的csv文件

csv、scrapy、exporter

我试图使用CSVItemExporter来存储这些项目在单独的csv文件，teams.csv，matches.csv，clubs.csv等。我不确定这样做的正确方法是什么。到目前为止，我想过的唯一方法是创建我自己的自定义管道，就像示例中的那样，在spider_opened方法中打开所有需要的csv文件，即为每个csv文件创建一个csv导出器，并在process_itemput代码中确定" item“参数是哪种类型的项，然后将其发送到相应的导

浏览 0提问于2012-09-02得票数 21

回答已采纳

1回答

Python间歇运行管道

python、csv、scrapy

我的管道process_item写入两个不同的csv文件，同时也发出外部soap请求。这是我的管道： callback=self.

浏览 1提问于2017-04-14得票数 0

回答已采纳

1回答

使用APscheduler的Scrapy只能在一半的时间内工作

python、python-3.x、web-scraping、scrapy、apscheduler

我通过管道将数据存储到MongoDb中，因此我看到id将更改两个而不是一个，并且随着时间的推移是相同的。代码的目的是每小时抓取保存在data.csv文件中的100个子数据中的在线人数，并将数据推送到mongoDb云服务器。一切都很好，除了它只能每两小时而不是每小时抓取一次。if SubredditSpider.count > 24: with open('data.csv', 'r') as file:

浏览 45提问于2020-09-24得票数 0

1回答

AWS :获取create_dynamic_frame.from_options读取的对象列表

python、aws-glue

我使用create_dynamic_frame.from_options将CSV文件读取到Glue Dynamic Dataframe中。dyf = glueContext.create_dynamic_frame.from_options("s3", "paths": [ "recurse" : True transf

浏览 0提问于2021-04-12得票数 1

回答已采纳

2回答

在init上使用划痕管道中的参数

python、web-scraping、arguments、scrapy、scrapy-spider

PS:是的，我在管道类中尝试了超级()函数，比如spyer.py，它不起作用。

浏览 0提问于2014-12-16得票数 8

回答已采纳

1回答

如何更改文件中的删除表以生成csv

python、csv、python-2.7、delimiter

由于我习惯于操作CSV，所以我认为将所有的|转换为,将是优先考虑的。我通常使用如下函数打开我的CSV是否需要对其进行编辑以打开由|分隔的文件，还是最好将它们全部转换为,。我已经有点倾向于后者了，因为我的大部分编码都是基于提供服务的CSV。

浏览 1提问于2013-10-12得票数 0

回答已采纳

1回答

scrapy管道导出器对象未实例化

python、json、scrapy

我正在使用scrapy解析一个包含链接的表，并将其保存在json中。表中的链接包含额外的细节，它们将被获取并存储到另一个json中。(如下所示：)from scrapy import signalsfrom for_icu importitems.UniDetail): self.exp

浏览 16提问于2017-12-27得票数 0

1回答

在使用CsvHelper时，如何从C#动态对象中获取属性名和属性值？

c#、csvhelper

我正在使用CsvHelper将CSV文件读取到动态C#对象中，并且我希望使用foreach迭代List<dynamic>，并获得属性名称和值。FileInfo file = new FileInfo("C:\\Temp\\CSVTest.csv"); using (var csv</em

浏览 43提问于2019-05-15得票数 8

回答已采纳

2回答

理解粗糙的框架体系结构

python、scrapy、scrapy-spider、scrapy-pipeline

在callback函数中，您将生成项目，它们将自动收集并放入管道中。在process_links函数中，返回链接列表。你不生成物品。我可以在process_links函数中建立数据库连接并直接写入数据数据库，但当scrapy通过Twisted内置异步数据库事务处理时，这并不是正确的方法。读取callback函数生成的项的过程是什么？向process_links函数提供链接并接收链接的过程是什么？items通过管道自动读取和移动。我可以在管道中创建代码，items将自动传递到并从该代码中取

浏览 5提问于2015-12-16得票数 4

2回答

在列数未知的情况下对CSV数据进行排序？

c#、csv、csvhelper

考虑一个CSV文件，其中我知道前两列是什么样子，但不知道其余的是什么样子： Id | DateWithTime | column 3 | ... | column n 我想读取这样一个文件，按DateWithTime

浏览 7提问于2021-06-27得票数 0

1回答

将Object或CSV文件内容插入Kusto表

csv、azure-data-explorer、ingest

无法将来自对象数组或csv文件的数据插入kusto表有谁能建议将数据写入库斯托的最佳方法吗？

浏览 0提问于2019-08-16得票数 1

2回答

Google :从读取未绑定的PCollection

java、google-cloud-storage、google-cloud-dataflow、stream-processing

我有一个管道，将JSON消息从PubSub (未绑定PCollection)流到。每个文件应该包含多个JSON对象，每行一个。我想要创建另一个管道，它应该从这个GCS桶中读取所有的JSON对象，以获得进一步的stream-processing.最重要的是，第二个管道应该作为流而不是批处理工作。这意味着我希望它“监听”桶，并处理写入到它的每个JSON对象。一辆Unbound PCollection.谢谢

浏览 2提问于2020-02-27得票数 0

点击加载更多