这篇博客咱们聊聊 scrapy 中的 Downloader Middleware ，即下载中间件相关知识。
Downloader Middlerware
首先看一下中间件在 scrapy 数据流中的位置，下图黑色箭头即下载中间件。
结合上图就能看出来，
Requests 和 Response 都会通过 Downloader Middlerware，所以在后续代码编写的时候需要注意该点。中间件的开启非常简单，只需要在
settings.py 文件中去除下述代码的注释即可。
DOWNLOADER_MIDDLEWARES = {
'mid_test.middlewares.MidTestDownloaderMiddleware': 543
Original: https://blog.csdn.net/hihell/article/details/121083780
Author: 梦想橡皮擦
Title: 纯纯的爬虫知识，python scrapy 下载中间件知多少
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/790439/
转载文章受原作者版权保护。转载请注明原作者出处！