目录
安装依赖包
- lxml
- twisted
- cryptography
- pyOpenSSL
- w3lib
- parsel
安装package–scrapy
通过镜像源网址下载
前往https://www.lfd.uci.edu/~gohlke/pythonlibs/下载下述包进行安装注意选择适合自己的python环境
- lxml
- Twisted
- scrapy
通过conda 下载
conda install -c conda-forge scrapy
通过pip下载
pip install Scrapy
生成scrapy工程
- cd 到工程目录下
- scrapy startproject ArticleSpider
- cd ArticleSpider
- scrapy genspider cnblogs www.cnblogs.com
; 运行
指令运行
切换到刚刚生成工程的路径下
scrapy crawl cnblogs
pycharm中运行
Original: https://blog.csdn.net/qq_34954047/article/details/122251962
Author: 域中四大
Title: 【scrapy专题】搭建环境
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/790014/
转载文章受原作者版权保护。转载请注明原作者出处！