Scrapy、Scrapy-Splash、Scrapy-Redis安装

前题:安装docker并能使用

安装完在JSON文件中加入国内镜像,阿里云需要自己申请。

"registry-mirrors": [
    "https://********.mirror.aliyuncs.com",
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]

其他前题:

已为anaconda配置好PATH

Scrapy 安装

JupyterLab 输入

pip install scrapy
import scrapy

Splash 安装

终端中输入:

docker run -p 8050:8050 scrapinghub/splash

成功安装返回类似如下内容

Digest: sha256:b4173a88a9d11c424a4df4c8a41ce67ff6a6a3205bd093808966c12e0b06dacf
Status: Downloaded newer imag

Original: https://blog.csdn.net/jelatinprotain/article/details/113506670
Author: 一凡的笔记
Title: Scrapy、Scrapy-Splash、Scrapy-Redis安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/791260/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 【JS 逆向百例】某公共资源交易网,公告 URL 参数逆向分析

    声明 本文章中所有内容仅供学习交流,抓包内容、敏感网址、数据接口均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关,若有侵权,请联系我立即删除! 逆向目…

    Python 2023年11月2日
    033
  • pytest学习(二)

    1.pytest-html报告 安装:pip install pytest-html==2.1.1 运行:pytest 文件名 –html=路径/文件名称 2.pyte…

    Python 2023年9月14日
    051
  • Python—-异常处理、断言和路径处理,简单、清晰版

    1.路径处理 1.找模块:sys.path import sys print(sys.path) – 1.理解 – 1.是python去查找包或模块 – 2.项目开始根…

    Python 2023年5月24日
    049
  • Python网络爬虫 – 爬取中证网银行相关信息

    最终版:07_中证网(Plus -Pro).py coding=utf-8 import requests from bs4 import BeautifulSoup import…

    Python 2023年11月9日
    023
  • 【日志系统】Loki日志监控 – 入门初体验

    使用Grafana+Loki+Promtail入门级部署分布式日志系统(windows环境) 😄生命不息,写作不止🔥 继续踏上学习之路,学之分享笔记👊 总有一天我也能像各位大佬一样…

    Python 2023年10月16日
    0143
  • 创建Django项目

    2022-09-24 在创建Django项目时,出现了 错误,查了一下,发现要创建一个Django项目,需要先使用命令: python -m pip install pytz 安装…

    Python 2023年10月31日
    032
  • 5个免费全球DEM数据源-数字高程模型

    数字高程模型数据源 数字高程模型 (Digital Elevation Model),简称 DEM。数字高程模型是指数字形式,按一定的数据组织建立起来,生成表达地面特征、空间分布的…

    Python 2023年10月8日
    043
  • 使用CycleGAN训练自己制作的数据集,通俗教程,快速上手

    总结了使用 CycleGAN训练自己制作的数据集,这里的教程例子主要就是官网给出的斑马变马,马变斑马,两个不同域之间的相互转换。教程中提供了官网给的源码包和我自己调试优化好的源码包…

    Python 2023年9月28日
    034
  • [附源码]Python计算机毕业设计Django行程规划app

    项目运行环境配置:Pychram社区版+ python3.7.7 + Mysql5.7 + HBuilderX+list pip+Navicat11+Django+nodejs。 …

    Python 2023年8月6日
    053
  • 腾讯云部署novel ai (stable-diffusion-webui)

    其实前几天就已经部署好了,图已经产出一斤了x凭借记忆写点记录。 因为纯粹是在凭着记忆写,所以肯定会有遗漏的步骤。 感谢腾讯云的打折,让只拎了个轻薄本到学校的自己还可以继续搞点有意思…

    Python 2023年10月27日
    023
  • 重命名和合并(renaming and combining)

    通常情况下,数据会带有列名、索引名或其他我们不满意的命名约定。在这种情况下,您将学习如何使用 pandas 函数将违规条目的名称更改为更好的名称。您还将探索如何组合来自多个 Dat…

    Python 2023年8月8日
    034
  • Testbench编写详解

    Testbench的编写说难也难,说易也易。之前有朋友私信留言谈到想系统学习下 Testbench,今天特意撰写这篇博客,其实说到底透过现象看本质,不同于功能模块的编写,Testb…

    Python 2023年11月7日
    052
  • 数值优化:经典二阶确定性算法与对偶方法

    1 牛顿法 牛顿法[1]的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开,然后最小化这个近似目标函数,即 [\underset{w\in \mathcal{W}}{\text{…

    Python 2023年10月29日
    043
  • redash二次开发和制作镜像

    简介: 上一篇文章,我们简单的测试了一下服务器环境和docker基础镜像。并没有涉及我们自己编写的flask python程序。 现在,我们就要把我们自己的flask程序,放进do…

    Python 2023年8月15日
    042
  • 基于HDF的LED驱动程序开发(1)

    引言 本文以小熊派BearPi-HM_Micro_small开发板上的一个LED灯为例,介绍如何基于HDF框架开发一个外设的驱动程序。 在阅读本文之前,建议大家先阅读:《OpenH…

    Python 2023年11月7日
    035
  • c++调用python脚本

    Windows系统版本: 环境配置: 1、安装python 2、安装Visual Studio ,打开Vs创建test项目。 3、点击项目选择 属性,点击 VC++目录,将Pyth…

    Python 2023年8月28日
    064
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球