1、什么是scrapy？
文档地址：https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
Scrapy 使用了Twisted[‘twɪstɪd]异步网络框架，可以加快我们的下载速度。
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。
2、异步和非阻塞的区别
前面我们说Twisted是一个异步的网络框架，经常我们也听到一个词语叫做非阻塞，那么他们有什么区别呢？
异步：调用在发出之后，这个调用就直接返回，不管有无结果；异步是过程。
非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程
; 3、scrapy的工作流程
引擎(engine)：负责数据和信号在不同模块间的传递
调度器(scheduler)：实现一个队列，存放引擎发过来的request请求对象 ，并在引擎再次请求的时候返回
下载器(downloader)：发送引擎发过来的request请求，获取响应，并将响应交给引擎，通过引擎再发送给爬虫
爬虫(spider)：处理引擎发过来的response，提取数据或url，并交给引擎，每个spider负责处理一个特定(或一些)网站
管道(pipeline)：负责处理由爬虫从网页中爬取的数据，他的主要任务是清洗、验证和存储数据。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据，管道可以有的很多个
下载中间件(downloader middleware)：位于Scrapy引擎和下载器之间，主要是处理Scrapy引擎与下载器之间的请求及响应，可以自定义的下载扩展，比如设置代理ip ，一般使用设个比较多。
爬虫中间件(spider middleware)：介于Scrapy引擎和爬虫之间，主要工作是处理爬虫的响应输入和请求输出，可以自定义request请求和进行response过滤
调度中间件(SchedulerMiddlewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
注意：
- 图中绿色线条的表示数据的传递
- 注意图中中间件的位置，决定了其作用
- 注意其中引擎的位置，所有的模块之前相互独立，只和引擎进行交互
其流程可以描述如下：
- 调度器把requests–>引擎–>下载中间件—>下载器
- 下载器发送请求，获取响应—->下载中间件—->引擎—>爬虫中间件—>爬虫
- 爬虫提取url地址，组装成request对象—->爬虫中间件—>引擎—>调度器
- 爬虫提取数据—>引擎—>管道
- 管道进行数据的处理和保存
整体流程是：
首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，
Spider分析出来的结果有两种：
一种是需要进一步抓取的链接，例如”下一页”的链接，这些东西会被传回Scheduler继续循环；
另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。
另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。
scrapy中每个模块的具体作用
Original: https://blog.csdn.net/s_daqing/article/details/115408238
Author: s_daqing
Title: 01-scrapy的概念和流程
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/792839/
转载文章受原作者版权保护。转载请注明原作者出处！