python scrapy库 安装方法_Python爬虫基础知识:爬虫框架Scrapy的安装说明

原标题:Python爬虫基础知识:爬虫框架Scrapy的安装说明

云豆贴心提醒,本文阅读时间4分钟

之前的几篇爬虫基础知识系列内容,已经记录了一些简单的爬虫知识。这些只是处理一些简单问题自然不在话下,但是涉及到一些复杂的问题就比较麻烦。

要想批量下载大量的内容,比如知乎的所有的问答,总会力不从心。

这时候,就需要爬虫框架Scrapy出场了!

Scrapy = Scrach+Python,Scrach这个单词是抓取的意思,暂且可以叫它:小抓抓吧。

你可以前往小抓抓的官网了解它的全部信息:doc.scrapy.org/en/latest/。

那么下面我们来简单的演示一下小抓抓Scrapy的安装流程,官网有更详细的步骤,建议有一定英语水平的读者可以阅读一下详细文档。

友情提醒:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。

1.安装Python

安装完了记得配置环境,将python目录和python目录下的s目录添加到系统环境变量的Path里。

在cmd中输入python如果出现版本信息说明配置完毕。

2.安装lxml

lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。

切记要选择相对应的版本。

3.安装setuptools

主要是用来安装egg文件。

4.安装zope.interface

可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,可自行习啊在。

5.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架。

6.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口。

7.安装win32py

用以提供win32api。

8.安装Scrapy

终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。

直接在cmd中输入easy_install scrapy回车即可。

9.检查安装

打开一个cmd窗口,在任意位置执行scrapy命令,得到下列页面,表示环境配置成功。

10.预告

下一篇会更新我们本系列的最后一篇文章,届时我们会教大家如何使用爬虫框架Scrapy进行实战。

今日值班老师

马哥教育二号女神老师,爱水果,爱生活。

擅长帮助Linux小白,据说喜欢在小白学习遇到问题的时候突然出现。

如果你觉得Linux很难学,为什么不找她咨询一下秘诀?

云豆

Linux面授班,报名优惠400元,只有10个名额返回搜狐,查看更多

责任编辑:

Original: https://blog.csdn.net/weixin_39597262/article/details/112941527
Author: weixin_39597262
Title: python scrapy库 安装方法_Python爬虫基础知识:爬虫框架Scrapy的安装说明

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/792435/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Windows之应用安装程序 —— winget

    大家都用过Linux中的应用程序安装工具,如yum、apt、rpm等工具进行安装自己想要的一些工具或则软件之类的,当然Linux操作系统还是很强大的有很多类似的命令来安装我们所需要…

    Python 2023年10月14日
    086
  • LSTM分类模型

    LSTM文本分类模型 本文主要固定一个文本分类的流程。分为三个部分: 数据处理。对分类文本数据集做简单的预处理。 模型数据准备。处理上一步的结果,得到模型的输入样本。 模型搭建和训…

    Python 2023年10月9日
    044
  • 新的系列(一步步学习Python)

    一些想说的话: 我在之前发表过一些游戏之类的文章,我觉得写的并不怎么好,我决定在后面的文章里多写一点基础的,通俗易懂的文章. 说起Python的数据分析让我不由得觉得Python的…

    Python 2023年8月30日
    046
  • 解决cv2读取rtsp延迟,Python使用FFmpeg通过tcp拉取rtsp流,并转化成numpy array

    问题产生的原因 最近在捣鼓图像方面的项目,项目过程中,发现使用cv2.VideoCapture这个方法获取rtsp流会有一定的延迟,于是就有了这篇文章。方法步骤如下 打开终端进入你…

    Python 2023年8月23日
    062
  • pytest 命令的使用

    1,查看命令 pytest -h —> 查看命令 2, 执行文件里的case Original: https://blog.csdn.net/qq_2608623…

    Python 2023年9月10日
    032
  • Python 矩阵之上13 OnMatrix3-numpy的向量复制

    这应该是一个会频繁碰到的基本操作。由于矩阵运算会要求向量具有特定的形状,一般有两种情况: 1 基于某个具体的向量进行操作 2 创建某个类似 placeholder的矩阵, 例如随机…

    Python 2023年8月26日
    046
  • django自带的序列化组件

    1.什么是序列化组件 2.为什么要用序列化组件 当我们从数据库取出一些数据时,我们需要将数据转成特定的格式,比如列表套字典的形式,然后将这些数据序列化成json的格式传输给前端,这…

    Python 2023年11月1日
    057
  • Python ❀ 文件与异常

    ​​1、文件中读取数据​​ ​​1.1 读取文件​​ ​​1.2 文件路径​​ ​​1.3 逐行读取​​ ​​1.4 创建一个包含文件各行内容的列表​​ ​​1.5 使用文件内容​…

    Python 2023年5月25日
    045
  • 【MindSpore 入门教程】01 张量Tensor

    张量Tensor * – 定义 – 索引 – 运算 – numpy转换 – Functional 方法 – …

    Python 2023年8月28日
    050
  • 史上最详细的Maven安装教程

    熟练的配置开发环境是每一个程序员必备的功课,俗话说:工欲善其事,必先利其器。 本文须知:安装maven环境之前要先安装java jdk环境(没有安装java环境的可以先去看安装JA…

    Python 2023年9月26日
    059
  • Pygame教程系列四:播放音频篇

    【前言】 pygame播放音频文件这部分相对来说比较简单,主要是用到 pygame.mixer模块,不过也有一些地方需要注意的,咱们直接先看看案例 1、案例效果图 ; 2、案例代码…

    Python 2023年9月22日
    077
  • ChatGPT 帮我跑了一个完整的 DevOps 流水线,离了个大谱…

    大家好,我是米开朗基杨。 上篇文章给大家介绍了 ,今天就来给大家演示一下如何利用 ChatGPT 帮我工作,让自己有更多的时间摸鱼! 上篇文章还没看的赶紧去看👇 作为一名云原生搬砖…

    Python 2023年11月4日
    050
  • 偏最小二乘(PLS)原理分析&Python实现

    目录 1 偏最小二乘的意义​​​​​​​ 2​ ​​​​​​PLS实现步骤 3 弄懂PLS要回答的问题 4 PLS的原理分析 4.1 自变量和因变量的主成分求解原理 4.1.1 确…

    Python 2023年8月1日
    058
  • 科技报告数据语料处理(关键词、中图分类名称)

    科技报告语料处理 接着上次爬取到的科技报告数据进行处理【参考 https://www.cnblogs.com/rainbow-1/p/16725576.html】 为了建立科技报告…

    Python 2023年10月31日
    047
  • Python音频处理基础知识,右手就行

    Original: https://www.cnblogs.com/123456feng/p/16190316.htmlAuthor: 蚂蚁ailingTitle: Python音…

    Python 2023年11月3日
    031
  • 序列类型操作

    从第一个元素到&#…

    Python 2023年5月23日
    070
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球