参考：Scrapy框架实战（一）：Scrapy基础知识_Amo Xiang的博客-CSDN博客_scrapy框架
- 主要流程
1. 创建项目
scrapy project xxx
2. 制作spider
scrapy genspider xxx "http://www.xxx.com"
3. 编写Item.py
明确需要提取的数据。
4. 编写爬虫文件
spiders/xxx.py，处理请求和响应，以及提取数据(yield item)。
5. 编写管道文件
pipelines.py，处理spider返回的item数据，比如本地持久化存储等。
6. 编写settings.py
启动管道组件 ITEM_PIPELINES={}，以及其他相关设置。
7. 执行爬虫
scarpy crawl xxx
8. 整体框架
- 组件简介
2.1 Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。
2.2 Scheduler
从引擎接收request并将它们入队列，以便之后引擎请求它们时提供给引擎。
2.3 Downloader
负责获取页面数据并提供给引擎，而后提供给spider。
2.4 Spider
用户编写的用于分析response并提取item或额外跟进的URL的类，每个spider负责处理一个特定(或一些)网站。
2.5 Item pipeline
负责处理被spider提取出来的item，典型的处理有清理、验证及持久化(数据库存储)。
2.6 Downloader middlewares
是在引擎与下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。其提供了一个简便机制，通过插入自定义代码来扩展scrapy功能。
Original: https://blog.csdn.net/MusicDancing/article/details/122194781
Author: MusicDancing
Title: Scrapy爬虫流程
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/700184/
转载文章受原作者版权保护。转载请注明原作者出处！