描述:
安装爬虫框架Scrapy、基本使用、知识点总结。
目录
🏆一、Scrapy安装
⭐️1.1、scrapy是什么
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
⭐️1.2、安装环境
本次安装Scrapy的版本信息
- Python版本 3.6.1 —->(升级) Python 3.8.9
- Pip版本21.3.1—->(降级) Pip 20.2.3
一、安装环境
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载twisted对应版本的whl文件（如我的Twisted‐17.5.0‐cp36‐cp36m‐win_amd64.whl），cp后面是python版本，amd64操作系统版本代表64位，
打开cmd运行命令：
pip install C:\Users\...\Twisted‐17.5.0‐cp36‐cp36m‐win_amd64.whl
# 再次执行pip install scrapy -i https://pypi.douban.com/simple
根据日志信息进行报错解决
1、如果报错
python ‐m pip install ‐‐upgrade pip
2、如果报错 win32
pip install pypiwin32
如果以上方式解决不了问题
安装使用anaconda
⭐️1.3、步骤安装
特喵的，卸载所有包
安装之前检查Python版本和pip版本， Python版本（3.6.1）与pip版本（21.3.1）不匹配是会影响到后续Scrapy的安装的。
后面升级后的截图
网址访问：http://www.lfd.uci.edu/~gohlke/pythonlibs，Ctrl+F定位twisted。
注意版本信息不同
根据Python版本和操作系统位数选择合适的版本
Python版本
系统位数win64
cp后面是python版本，amd64操作系统版本代表64位
下载之后将文件复制到桌面
打开cmd输入命令pip install 将 Twisted-20.3.0-cp38-cp38-win_amd64.whl桌面文件直接复制到cmd窗口中，回车等待。 注意cmd的文件路径
注意版本信息不同
然后会有一个黄色日志提示
- 降级命令 python -m pip install pip==9.0.3
- 升级命令python -m pip install –upgrade pip
升级成功之后
然后执行pip install scrapy -i https://pypi.douban.com/simple命令
安装成功
如果还是不行，可以安装下anaconda，参考博客戳
⭐️1.4、测试是否安装成功
新建一个爬虫文件夹，在文件夹下打开盘符中框输入cmd，在命令中输入scrapy，若显示如下图所示，则说明成功安装爬虫框架
出现这个问题的原因是因为之前的Python版本（3.6.1）与pip版本（21.2.3）不匹配。
解决方案
- 解决方案一：升级Python3到3.6.5之后的版本
- 解决方案二：降级pip版本
查看当前版本：在刚刚打开的命令框内输入scrapy version，如下图显示：
⭐️1.4、第三方库
安装Scrapy框架的第三库
安装lxml库
pip install lxml -i https://pypi.douban.com/simple
安装jsonpath库
pip install jsonpath -i https://pypi.douban.com/simple
安装BeautifulSoup/bs4库
pip install bs4 -i https://pypi.douban.com/simple
安装selenium库
pip install selenium -i https://pypi.douban.com/simple
安装requests库
pip install requests -i https://pypi.douban.com/simple
Original: https://blog.csdn.net/nanyangnongye/article/details/127190171
Author: 妙趣生花
Title: Python-Scrapy安装
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/788976/
转载文章受原作者版权保护。转载请注明原作者出处！