Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

p.s.高产量博主,点个关注💓 不迷路!

目录

I. scrapy框架的日志级别

II. 推荐的日志级别修改方案

I. scrapy框架的日志级别

本篇笔记是scrapy框架入门的最后一篇,主要对scrapy框架的日志级别和显示效果进行介绍。

首先,我们 任意运行一个之前的scrapy框架项目:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

这项目的 运行效果是在终端打印’+’号,于是 在终端中能看到这样的内容

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

此时终端除了加号之外,其他显示的内容叫做 “日志”,通俗的讲,就是本次运行的相关信息,这些信息中包含了例如错误信息等重要内容,在我们debug的时候很有作用。

但与此同时,我们在运行的时候,更想看到清爽的结果: 只显示一行加号,这时候我们 可以通过修改scrapy框架的日志级别来实现scrapy框架的日志级别有这几种
日志级别 中文解释

ERROR一般错误WARNING警告INFO一般的信息DEBUG调试信息

修改日志级别的位置在settings.py配置文件,它的格式是这样的:

LOG_LEVEL = '对应级别的大写英文'

下面我们分别演示四种级别下的显示效果:

1️⃣ ERROR:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

2️⃣ WARNING:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

3️⃣ INFO:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

4️⃣ DEBUG:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

可以看出,越高的日志级别,显示的内容越少,这说明日志级别是向上扩展的,只会显示该级别及以上的日志内容,这时一个自然的结论是我们使用WARNING甚至是ERROR级别是最优的选择。

II. 推荐的日志级别修改方案

当我们选择了WARNING或者ERROR级别,存在的一个隐患是我们对于bug的提示信息也会被隐藏,不利于我们debug,于是最优的选择是不添加日志级别,而是 添加这样一行代码在settings.py:

LOG_FILE = 'xxxx.log'

其中的xxxx我们根据需要自己起一个名字,后缀要保证是log,这样的一句代码,指定了两件事:

首先是不在终端显示日志,即还我们一个清爽的终端显示;

其次是把日志保存在spiders文件夹下的xxxx.log文件中,供我们查看:

Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

因此在 scrapy框架开发中, 选择把日志写入日志文件,是上上策。🌟🌟🌟

Original: https://blog.csdn.net/qq_52736131/article/details/123162553
Author: 跳探戈的小龙虾
Title: Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/790361/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球