Scrapy框架初级
Scrapy介绍
- 什么是scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取
Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度 - 官方文档：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
- 异步和非阻塞的区别
非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程
; Scrapy工作流程
另一种爬虫方式
scrapy工作流程
Scrapy engine（引擎） 总指挥：负责数据和信号的在不同模块间的传递 Scheduler（调度器） 一个队列，存放引擎发过来的request请求 Downloader（下载器） 下载把引擎发过来的request请求 Spider（爬虫） 处理引擎发来的response，提取数据，提取url，并交给引擎 Item Pipline（管道） 处理引擎传过来的数据，比如存储 Downloader Middlewares（下载中间件） 可以自定义的下载扩展程序，比如设置代理 Spider Middlewares（中间件） 可以自定义requests请求和进行response过滤
Scrapy入门
1 创建一个scrapy项目
scrapy startproject mySpider
2 生成一个爬虫
scrapy genspider demo "demo.cn"
3 提取数据
完善spider 使用xpath等
4 保存数据
pipeline中保存数据
命令中运行爬虫
scrapy crawl qb
在pycharm中运行爬虫
from scrapy import cmdline
cmdline.execute("scrapy crawl qb".split())
pipeline使用
从pipline的字典形可以看出来，pipeline可以有多个，而且确实pipline能够定义多个
为什么需要多个pipeline：
1.可能会有多个spider，不同的pipeline处理不同的item的内容
2.一个spider的内容可以要做不同的操作，比如存入不同的数据库中
注意
1.pipeline的权重越小优先级越高
2.pipeline中process_item方法名不能修改为其他的名称
回顾
; 如何翻页
scrapy.Request知识点
scrapy.Request(url, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None)
常用参数为：
callback：指定传入的URL交给那个解析函数去处理
meta：实现不同的解析函数中传递数据，meta默认会携带部分信息,比如下载延迟，请求深度
dont_filter:让scrapy的去重不会过滤当前URL，scrapy默认有URL去重功能，对需要重复请求的URL有重要用途
item的介绍和使用
items.py
import scrapy
class TencentItem(scrapy.Item):
title = scrapy.Field()
position = scrapy.Field()
date = scrapy.Field()
Scrapy log信息的认知
2019-01-19 09:50:48 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tencent)
2019-01-19 09:50:48 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.9.0
Original: https://blog.csdn.net/m0_54634272/article/details/117390968
Author: python-码博士
Title: Scrapy框架初级
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/791880/
转载文章受原作者版权保护。转载请注明原作者出处！