Python爬虫之scrapy高级(传参,图片,中间件)

2023年10月4日上午7:47 • Python • 阅读 43

文章目录

1 scrapy请求传参
*
1.1 传参说明
1.2 具体操作
2 scrapy图片爬取
*
2.1 ImagesPipeline理解
2.2 ImagesPipeline使用
–
3 中间件
*
3.1 中间件简单介绍
3.2 中间件处理请求
3.3 中间件处理响应
–

1 scrapy请求传参

1.1 传参说明

使用场景：如果爬取解析的数据不在同一张页面中(需要深度爬取)
在爬虫文件中，需要回调的函数那里添加一个 meta字典对象
使用方法：手动发送请求时，需要传入一个新定义回调函数，同时这个函数需要参数，那么就需要 meta来发送，在调用时用 meta={}字典形式发送，接收就用 response.meta['xxx']获取其中的字典

1.2 具体操作

class BossSpider(scrapy.Spider):
    name = 'boss'
    start_urls = ['https://www.test.com/chaxun/']

    def parse_detail(self,response):

        item=response.meta['item']
        job_desc=response.xpath('//div[2]/div/div[1]/ul/li[1]/a')
        job_desc=''.join(job_desc)
        item['job_desc']=job_desc

    def parse(self, response):
        div_list = response.xpath('//div[@class="shici_list_main"]')
        for div in div_list:
            item=BossproItem()
            job_name=div.xpath('.//div/h3/a/text()').extract()
            item['job_name']=job_name
            detail_url='https://www.test.com'+div.xpath('.//div/h3/h4/text()').extract_first()

            yield scrapy.Request(detail_url,callback=self.parse_detail,meta={'item':item})

2 scrapy图片爬取

2.1 ImagesPipeline理解

图片数据爬取之 ImagesPipeline
基于 scrapy爬取字符串类型的数据和爬取图片类型的数据区别：

字符串：只需要基于 xpath进行解析且提交管道进行持久化存储
图片： xpath解析出图片 src属性值，单独的对图片地址发起请求获取图片二进制类型的数据
ImagesPipeline只需要将 img的 src属性值进行解析，提交到管道，管道就会对图片的 src进行发送获取图片的二进制类型数据，且还会帮我们进行持久化存储

2.2 ImagesPipeline使用

注意：有些网站会对图片的 src标签修改为 src2，只有当图片标签定位到当前窗口才会变为正常标签属性，这样可以避免加载过多图片，减轻服务器压力
使用步骤：

数据解析
将存储图片地址的 item提交到判定的管道类
在管道文件中自定制一个基于 imagesPipeLine的一个管道类，并重写三个方法： get_media_requests， file_path， item_completed
在配置文件 settings.py指定刚刚自定义的定制的管道类，指定图片存储目录： IMAGES_STORE='./imgs'

2.2.1 图片爬虫文件

图片爬虫文件，里面包含了主要的解析类文件信息
爬虫文件

import scrapy
from imgsPro.items import ImgsproItem

class ImgSpider(scrapy.Spider):
    name = 'img'

    start_urls = ['http://sc.test.com/tupian/']

    def parse(self, response):
        div_list = response.xpath('//div[@id="container"]/div')
        for div in div_list:
            src='https:'+div.xpath('./div/a/img/@src2').extract_first()
            print(src)
            item = ImgsproItem()
            item['src']=src
            return item

item文件

import scrapy

class ImgsproItem(scrapy.Item):

    src=scrapy.Field()

2.2.2 基于ImagesPipeLine的管道类

写一个继承于 ImagesPipeLine的管道类，并重写三个方法： get_media_requests， file_path， item_completed

from scrapy.pipelines.images import ImagesPipeline
import scrapy
class ImgsPipeline(ImagesPipeline):

    可以根据图片的地址进行图片数据的请求
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['src'])

    指定图片存储名字 具体路径在配置文件中指定的
    def file_path(self,request,response=None,info=None):
        imgName=request.url.split('/')[-1]
        return imgName

    返回下一个即将被执行的管道类
    def item_completed(self, results, item, info):
        return item

2.2.3 settings.py

指定刚新建的管道类，以及图片储存地址

指定管道类
ITEM_PIPELINES = {
   'imgsPro.pipelines.ImgsPipeline': 300,
}

ROBOTSTXT_OBEY = False
日志级别
LOG_LEVEL='ERROR'
图片目录
IMAGES_STORE='./imgs_sucai/'

注意：可能会有图片下不下来问题，比如，代码没有报错，但是图片就是保存不下来，可以试着安下 pillow这个包： pip install pillow

3 中间件

3.1 中间件简单介绍

中间件在 scrapy工程里的 middlewares.py中
爬虫中间件(MiddleproSpiderMiddleware)：在引擎和爬虫文件之间的中间件

下载中间件(MiddleproDownloaderMiddleware)：

位置：在引擎和下载器之间的中间件
作用：批量拦截到整个工程中所有的请求和响应
拦截请求： UA伪装；代理 IP
拦截响应：篡改响应数据，响应对象(如果有些是动态加载出来的可以使用 selenium抓取响应信息并返回)
只需要重点关注这三个方法：process_request：拦截请求，process_response：拦截响应，process_exception：拦截异常

如图所示：

; 3.2 中间件处理请求

请求时的 UA伪装
下载中间件文件：
middlewares.py文件

class MiddleproDownloaderMiddleware:

    agents_list = [
        "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Avant Browser/1.2.789rel1 (http://www.avantbrowser.com)",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5",
        "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/532.9 (KHTML, like Gecko) Chrome/5.0.310.0 Safari/532.9",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/7.0.514.0 Safari/534.7",
        "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/9.0.601.0 Safari/534.14",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.601.0 Safari/534.14",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.27 (KHTML, like Gecko) Chrome/12.0.712.0 Safari/534.27",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.24 Safari/535.1",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.36 Safari/535.7",
        "Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
        "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-GB; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11 (.NET CLR 3.5.30729)",
        "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 GTB5",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; tr; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 ( .NET CLR 3.5.30729; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0a2) Gecko/20110622 Firefox/6.0a2",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0b4pre) Gecko/20100815 Minefield/4.0b4pre",
        "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0 )",
        "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)",
        "Mozilla/5.0 (Windows; U; Windows XP) Gecko MultiZilla/1.6.1.0a",
        "Mozilla/2.02E (Win95; U)",
        "Mozilla/3.01Gold (Win95; I)",
        "Mozilla/4.8 [en] (Windows NT 5.1; U)",
        "Mozilla/5.0 (Windows; U; Win98; en-US; rv:1.4) Gecko Netscape/7.1 (ax)",
        "HTC_Dream Mozilla/5.0 (Linux; U; Android 1.5; en-ca; Build/CUPCAKE) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.2; U; de-DE) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/234.40.1 Safari/534.6 TouchPad/1.0",
        "Mozilla/5.0 (Linux; U; Android 1.5; en-us; sdk Build/CUPCAKE) AppleWebkit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 1.5; en-us; htc_bahamas Build/CRB17) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 2.1-update1; de-de; HTC Desire 1.19.161.5 Build/ERE27) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Sprint APA9292KT Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 1.5; de-ch; HTC Hero Build/CUPCAKE) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; ADR6300 Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 2.1; en-us; HTC Legend Build/cupcake) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 1.5; de-de; HTC Magic Build/PLAT-RC33) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1 FirePHP/0.3",
        "Mozilla/5.0 (Linux; U; Android 1.6; en-us; HTC_TATTOO_A3288 Build/DRC79) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 1.0; en-us; dream) AppleWebKit/525.10  (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2",
        "Mozilla/5.0 (Linux; U; Android 1.5; en-us; T-Mobile G1 Build/CRB43) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari 525.20.1",
        "Mozilla/5.0 (Linux; U; Android 1.5; en-gb; T-Mobile_G2_Touch Build/CUPCAKE) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Droid Build/ESD20) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Droid Build/FRG22D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Milestone Build/ SHOLS_U2_01.03.1) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.0.1; de-de; Milestone Build/SHOLS_U2_01.14.0) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/525.10  (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2",
        "Mozilla/5.0 (Linux; U; Android 0.5; en-us) AppleWebKit/522  (KHTML, like Gecko) Safari/419.3",
        "Mozilla/5.0 (Linux; U; Android 1.1; en-gb; dream) AppleWebKit/525.10  (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2",
        "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Droid Build/ESD20) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Sprint APA9292KT Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-us; ADR6300 Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-ca; GT-P1000M Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 3.0.1; fr-fr; A500 Build/HRI66) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/525.10  (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2",
        "Mozilla/5.0 (Linux; U; Android 1.6; es-es; SonyEricssonX10i Build/R1FA016) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
        "Mozilla/5.0 (Linux; U; Android 1.6; en-us; SonyEricssonX10i Build/R1AA056) AppleWebKit/528.5  (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1",
    ]

    def process_request(self, request, spider):
        request.headers['User-Agent']=random.choice(self.agents_list)
        return None

    def process_response(self, request, response, spider):

        return response

    def process_exception(self, request, exception, spider):

        pass

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

在settings.py文件中开启对下载中间件的支持：

DOWNLOADER_MIDDLEWARES = {
   'middlePro.middlewares.MiddleproDownloaderMiddleware': 543,
}

3.3 中间件处理响应

模拟爬取网易新闻信息

3.3.1 爬虫文件

由于动态响应数据需要使用 selenium来获取，因此需要在spider文件中添加浏览器驱动对象selenium用法详解
middleSpider.py

import scrapy
from selenium.webdriver import webdriver

class MiddlespiderSpider(scrapy.Spider):

    实例化一个浏览器对象
    def __init__(self):
        self.bro=webdriver.Chrome(executable_paht='浏览器驱动地址')
    name = 'MiddleSpider'

    start_urls = ['https://news.163.com/']
    models_urls=[]
    def parse(self, response):
        pass

    爬虫结束后关闭浏览器对象
    def closed(self,spider):
        self.bro.quit()

3.3.2 下载中间件文件

MiddleproDownloaderMiddleware是下载中间件文件
篡改响应主要说的是下载中间件中的 process_response方法的修改，其中使用到了 selenium语法selenium用法详解

import time
from scrapy.http import HtmlResponse
class MiddleproDownloaderMiddleware:
    def process_request(self, request, spider):
        return None

    参数spider表示爬虫对象,即MiddleSpider
    def process_response(self, request, response, spider):

        此处的参数spider表示爬虫对象,即MiddleSpider
        bro=spider.bro
        if request.url in spider.models_urls:
            bro.get(request.url)
            time.sleep(2)
            page_text=bro.page_source

            new_response=HtmlResponse(url=request.url,body=page_text,encode='utf-8',request=request)
            return new_response
        else:
            return response

    def process_exception(self, request, exception, spider):
       pass

3.3.3 settings.py文件

下载中间件修改后需要在 settings.py文件中开启

DOWNLOADER_MIDDLEWARES = {
   'middlePro.middlewares.MiddleproDownloaderMiddleware': 543,
}

Original: https://blog.csdn.net/u012060033/article/details/119859321
Author: 爱吃牛肉的大老虎
Title: Python爬虫之scrapy高级(传参,图片,中间件)

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/790877/

转载文章受原作者版权保护。转载请注明原作者出处！

python

【自取】最近整理的，有需要可以领取学习：

Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言刷题答案下载！

NGS数据分析实践：01. Conda环境配置及软件安装

NGS数据分析实践：01. Conda环境配置及软件安装 1. 什么是Conda? 2. 关于几个Conda 3. Conda的环境管理 4. 安装Conda 5. 配置仓库镜像 …

Python 2023年9月9日
0075
python显示散点图坐标_python – 使用matplotlib在鼠标悬停的散点图上标记点,使用除x,y坐标之外的某些标签…

我正在尝试使用DataCursor方法( https://stackoverflow.com/a/4674445/1301710)使用matplotlib标记点.我有几千点,并希望…

Python 2023年9月5日
0057
[ Shell ] 通过 Shell 脚本导出 CDL 网表

通过 si 导出电路网表，实际上在 Virtuoso 中通过菜单 File – Export – CDL 和 Calibre LVS 中 Export fr…

Python 2023年6月16日
0061
Python升级之路( Lv15 ) 并发编程三剑客: 进程, 线程与协程

Python系列文章目录第一章 Python 入门第二章 Python基本概念第三章序列第四章控制语句第五章函数第六章面向对象基础第七章面向对象深入第八章异常机制第九…

Python 2023年9月23日
0041
python游戏代码解析

目录 class self init “””，#，//，-> 初始化数组 append 关于图片的代码解释 python文件的使用方法 s…

Python 2023年9月22日
0038
plt.xscale、plt.yscale将 x轴和 y轴的比例设置为对数比例

目录 1、x、y轴可定义多种形式比例标注 2、例子展示： 3、matplotlib.scale.SymmetricalLogScale变换底数等参数 Notes 1、x、y轴可定义…

Python 2023年9月3日
0051
记录解决cmd打不开/闪退

1.起因：事情要从万恶的环境配置说起。作为一个受anaconda折磨多次的资深bug maker（bushi），这次我又又又又又又又碰到问题了。由于一些深度学习包配置问题，我…

Python 2023年8月2日
0039
Pandas时间类型数据处理常用方法小结

在数据处理、特征工程时，往往需要按照时间段来统计特征，例如计算间隔天数、最近一个月、最近3个月、最近半年、最近一年某用户的行为数据，那么如何计算筛选这些时间点呢？下面就来介绍一些常…

Python 2023年8月7日
0044
python实现图片找不同游戏_用Python实现谷歌的小恐龙游戏

(给Python开发者加星标，提升Python技能) 来源： Charles的皮卡丘-白露未晞me理谷歌流量器中有个很有名的彩蛋：当你网络出现问题时，就会出现一个”小…

Python 2023年9月22日
0051
【PyCharm中文教程 02】PyCharm 社区版下载与安装

1. 下载链接 PyCharm for Windows ：https://www.jetbrains.com/pycharm/download/#section=windows P…

Python 2023年6月6日
0090
深度学习基础-基于Numpy的卷积神经网络实现和反向传播训练

本文是深度学习入门：基于Python的实现、神经网络与深度学习（NNDL）以及动手学深度学习的读书笔记。本文将介绍基于Numpy的卷积神经网络（ Convolutional Ne…

Python 2023年10月25日
0048
python及pygame雷霆战机游戏项目实战08 声音和音乐

在这个系列中，将制作一个雷霆战机游戏。 ; 声音的力量对于游戏，需要一个”射击”声音和一个”爆炸”声音。创建一个”sn…

Python 2023年9月25日
0036
【Python从入门到精通】（十）Python流程控制的关键字该怎么用呢？【收藏下来，常看常新】

您好，我是码农飞哥，感谢您阅读本文，欢迎一键三连哦。这篇文章主要介绍Python中流程控制的关键字的使用，涉及到if else,for,while等关键字干货满满，建议收藏，需要用…

Python 2023年6月3日
0084
尝试阅读理解一份linux shell脚本

从头一二去阅读语法和命令说明，对于脚本小白来说比较枯燥，难以坚持，所以这里选择对一份完整的shell脚本代码来逐行逐段解读，希望可以一渡小白，帮助我们快速进入脚本的大门_。司机要开…

Python 2023年10月21日
0031
matplotlib之直方图

文本以及后续的系列文章中均会使用到numpy这个库，numpy是Python的一种开源的数值计算扩展，主要用来生产一些随机数作为绘图的原始数据。具体和安装matplotlib类似，…

Python 2023年8月30日
0044
pytest测试框架(五)—使用xfail将用例标记为失败

当因为一个确切的原因，我们知道这个用例会执行失败，比如用例所覆盖的功能还未实现，或者这个功能存在阻塞性的已知Bug时，就可以使用xfail将其标记起来。 1、@pytest.mar…

Python 2023年9月13日
0047

2024 年 4 月
一	二	三	四	五	六	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30