Scrapy爬虫框架安装配置及创建使用
Scrapy爬虫框架安装
- 在命令提示符下载
conda install scrapy
如果安装失败，可能的原因是Scrapy爬虫框架所依赖的twisted安装失败。twisted是用Python实现的基于事件驱动的网络引擎框架（从这里可以看出，一个框架可以依赖于另一个框架），但其安装形式比较特殊，须先下载源码，再在本地编译生成可执行文件后才能安装，而如果本地无VS编译工具或VS的版本低于编译要求就会导致twisted安装失败，进而即会使得Scrapy安装失败。此时可以采用下载离线安装包的方式下载并安装twisted，但是需要注意选择与操作系统版本相对应的安装文件。
安装twisted的方法：
pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
安装完成后，在重新安装Scrapy爬虫框架就可以了。
- 配置Scrapy环境变量，将Anaconda的Scripts文件夹加入到Path环境变量中
右击我的电脑选择属性
选择高级系统设置
选择环境变量
选择系统变量里的Path
添加环境变量
创建一个Scrapy爬虫框架
- 选择一个位置
C:\Users\22210>d:
D:\>cd project/scrapydemo
- 创建Scrapy爬虫框架
D:\project\scrapydemo>scrapy startproject scrapyproject1
- 移动到创建好的Scrapy框架中
D:\project\scrapydemo>cd scrapyproject1
- 创建Spider
D:\project\scrapydemo\scrapyproject1>scrapy genspider exampleSpider example.com
- 到这一步，一个Scrapy爬虫已经创建完毕
Original: https://blog.csdn.net/dsjia2970727/article/details/113608126
Author: 蜂蜜柚子加苦茶
Title: 大数据——Scrapy爬虫框架安装配置及创建使用
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/791759/
转载文章受原作者版权保护。转载请注明原作者出处！