问如何在每次爬网后阻止scrapy覆盖CSV导出文件
EN

Stack Overflow用户

提问于 2012-07-20 00:48:08

回答 1查看 462关注 0票数 0

目前，我使用scrapy抓取一个网页的多个页面，并将数据导出到CSV文件。每天，爬行器都会遍历页面并保存数据；但是，它会覆盖前几天的数据。我想知道如何对管道进行编程，使其只在同一文件中从文件末尾开始写入CSV。通过这种方式，我可以将以前抓取的所有数据保存在一个位置。

发布于 2012-07-20 01:49:11

通常，只需将open file例程中的参数更改为append

变化

f = open('filename.txt','w')

至

f = open('filename.txt','a')

当然，如果我们可以看到您的原始代码，这将有助于我们更具体。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/11565558

复制

相似问题

问如何在每次爬网后阻止scrapy覆盖CSV导出文件EN