文章/答案/技术大牛

发布

社区首页 >问答首页 >将scrapy日志写入文件

问将scrapy日志写入文件
EN

Stack Overflow用户

提问于 2019-08-23 20:15:17

回答 2查看 318关注 0票数 0

我在LOG_LEVEL = 'DEBUG'上有一个抓取的爬行器，我如何将出现的日志消息(在爬行器运行时)写到一个简单的文本文件中，而不是直接从终端读取它们。

注意:我还试图将登录终端复制并粘贴到一个文本文件中，但是因为爬虫抓取了很多页面，所以终端没有显示所有页面

我的问题基本上是，如何直接将scrapy在终端上显示的内容直接写入文件中，以便稍后查看

python

scrapy

回答 2

Stack Overflow用户

发布于 2019-08-23 20:20:17

import logging
from scrapy.utils.log import configure_logging

configure_logging(install_root_handler=False)
logging.basicConfig(
    filename='log.txt',
    format='%(levelname)s: %(message)s',
    level=logging.INFO
)

请参阅此https://docs.scrapy.org/en/latest/topics/logging.html

票数 0

Stack Overflow用户

发布于 2019-08-23 20:27:09

将--logfile my_logfile.txt添加到您的scrapy命令中，例如从教程

scrapy runspider quotes_spider.py -o quotes.json --logfile my_log.log

请阅读docs。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57626164

复制

相似问题

问将scrapy日志写入文件
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将scrapy日志写入文件EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将scrapy日志写入文件
EN