Python3安装Scrapy(转载)
Published by xiaosixi on 2018年10月13日
一、Scrapy简介
Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。
为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍.)的效果。所以，学习Scrapy也就显得很有必要了。
二、Scrapy安装
在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库，我们下载好对应自己Python版本的库即可。
(1)在cmd中输入指令python，查看python的版本，如下：
从上图可以看出可以看出我的Python版本为Python3.6.3-64bit。
(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下载对应的版本，例如：lxml-3.7.3-cp36-cp36m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.6-64bit。我下载的版本如下图所示：
(3)在cmd中输入DOS指令，进入下载好的whl文件夹下，例如我的三个whl文件放在了Scrapy文件夹下：
(4)依次执行如下命令：
a.pip3 install wheel
b.pip3 install lxml‑4.2.5‑cp36‑cp36m‑win_amd64.whl
c.pip3 install Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl
这样Scrapy的安装就完成了，请忽略最后两行让我升级pip的信息。.
(5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。
Original: https://blog.csdn.net/weixin_36212240/article/details/113498103
Author: 周武略
Title: python3.6 scrapy_Python3安装Scrapy（转载）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/792288/
转载文章受原作者版权保护。转载请注明原作者出处！