安装Scrapy
Scrapy运行在python2.7和python3.3或以上版本(Windows还不支持python3)。
如果你已经熟悉python包的安装,你可以安装Scrapy使用它的PyPI依赖:
pip install Scrapy
我们强烈建议你把Scrapy安装在一个专用的虚拟环境中,以避免和你的系统包冲突。
更多细节和平台规范介绍,继续往下读。
Things that are good to know
Scrapy完全使用Python编写,依赖少量的关键Python包(包括):
lxml,一个高效的XML和HTML解释器
parsel,基于lxml的HTML/XML数据提取包
w3lib,处理url和web页面编码的多用途助手
twisted,异步网络框架
Scrapy测试所需最小版本:
Twisted 14.0
lxml 3.4
pyOpenSSL 0.14
Scrapy可能使用更老的版本包也能工作但是不保证将来继续有效毕竟没有测试过。
这些包有些依赖非Python包,那可能需要根据你的平台添加安装步骤。请检查特定平台下指南。
有任何相关依赖方面的麻烦,请参阅各自的安装介绍:
使用一个虚拟的环境(建议)
TL;DR: 我们建议在所有平台上都是用虚拟环境安装Scrapy。
Python包既可以使用全局安装(系统范围)也可以个人安装。我们不建议在系统范围安装。
反而,我们建议你使用称为虚拟环境(virtualenv)安装scrapy。虚拟环境使你不会和已安装的python系统包(这些可能毁坏你的一些系统工具和脚本)冲突,可以直接正常使用pip(不需要sudo等)。
开始使用虚拟环境,看(虚拟环境安装介绍)。
$ [sudo] pip install virtualenv
如果你使用linux或者OSX,virtualenvwrapper 是一个方便创建虚拟环境的工具。
一旦你创建了虚拟环境,你就可以使用它的pip安装scrapy,就像安装其他的Python包一样。(查看特定平台规范)下非Python包的安装依赖,你可能需要先安装这些。
Python虚拟环境可使用Python2或者Python3创建。
如果你想使用Python3安装scrapy,那么使用Python3的虚拟环境安装scrapy
如果你想使用Python2安装scrapy,那么使用Python2的虚拟环境安装scrapy
特定平台安装说明
Windows
安装Python2.7
你需要把Python的执行路径和脚本添加到PATH环境变量。下面的路径需要添加到PATH:
C:\Python27\;C:\Python27\Scripts\;
更新PATH,打开命令函并运行:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
关闭命令行窗口并重新打开运行下面命令并检查Python版本:
python –version
安装pywin32
确保你下载的架构(win32或者amd64)匹配你的系统。
(使用Python
Original: https://blog.csdn.net/weixin_39716521/article/details/113660402
Author: weixin_39716521
Title: python安装向导_Scrapy安装向导
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/792478/
转载文章受原作者版权保护。转载请注明原作者出处!