一.中间件中主要有3个函数方法
process_request�:处理请求,默认返回值是None
process_response:处理响应,默认返回值是response对象
process_exception:处理错误信息,默认返回值是None
二.中间件三个方法的返回值返回的结果
1.process_request
返回None:会走下一个中间件的process_request正常往下走
返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request
返回response对象:把对象返回给给最后一个中间件process_response
抛出异常:返回一个中间件process_exception
推荐Python大牛在线分享技术 扣qun：855408893
领域：web开发，爬虫，数据分析，数据挖掘，人工智能
零基础到项目实战，7天学习上手做项目
2.process_response
返回None:不会传给上一个中间件process_response,中途端口
返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request
返回response对象:给上一个中间件process_response正常往下走
抛出异常:不会被process_exception 捕获,直接给errback
3.process_exception
返回None::给上一个中间件process_response正常往下走
返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request
返回response对象:把对象返回给给最后一个中间件process_response
三.中间件的设置
setting.py中设置
setting.py下面这段代码注释打开即可
DOWNLOADER_MIDDLEWARES = {
字典前面的key代表中间件的类
其中后面的参数代表优先级数字越小优先级越大
‘myscrapy.middlewares.MyscrapyDownloaderMiddleware’: 543,
Original: https://blog.csdn.net/weixin_34404808/article/details/113501146
Author: 回声箭
Title: python中scrapy的middleware是干嘛的_Python爬虫Scrapy框架：Scrapy框架-中间件
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/792459/
转载文章受原作者版权保护。转载请注明原作者出处！