1. Johngo学长首页
  2. 技术点详细复盘专题
  3. Python

Scrapy+Gerapy部署爬虫

• Python • 阅读 40

Scrapy+Gerapy部署爬虫

前言

Hi,大家好,又见面了,我是码农星期八,废话不多说,直接开始肝吧,奥里给

爬虫管理效果图

Scrapy+Gerapy部署爬虫

; 依赖包

文件: requirements.txt

项目文件

项目文件: qiushi.zip
项目文件可以加我qq,1600636368获取

实现功能:糗事百科段子爬虫

这是 Scrapy项目,依赖包如上

运行项目步骤

  • 在安装好依赖包并且解压项目文件, pip install -r requirements.txt
  • 执行命令 scrapy crawl duanzi --nolog

配置Scrapyd

可以理解 Scrapyd是一个管理我们写的 Scrapy项目的,配置好这个之后,可以通过命令 运行, 暂停等操作控制爬虫

其他的就不说了,这个用的也不多,我们需要做的就是将它启动就可以了

启动Scrapyd服务

Scrapy+Gerapy部署爬虫
Scrapy+Gerapy部署爬虫
3. 游览器输入 http://127.0.0.1:6800/,出现以下图片代表正确

Scrapy+Gerapy部署爬虫

; 打包Scrapy上传到Scrapyd

上述只是启动了 Scrapyd,但是并没有将 Scrapy项目部署到 Scrapy上,需要配置以下 Scrapy的 scrapy.cfg文件

Scrapy+Gerapy部署爬虫

配置如下

Scrapy+Gerapy部署爬虫

打包命令

scrapyd-deploy <部署名> -p <项目名>
</项目名></部署名>

本次示例命令

scrapyd-deploy qb -p qiushi

如图所示,出现以下图片表示成功

Scrapy+Gerapy部署爬虫

注:过程可能会有问题,解决办法我放在后面了!!!

再次回到游览器,会多了一个项目 qiushi,到此为止, Scrapyd已经配置完毕

Scrapy+Gerapy部署爬虫

配置Gerapy

上述都配置完毕之后,就可以进行Gerapy配置了,其实Scrapyd的功能远不止上述那么少,但是是命令操作的,所以不友好,

Gerapy可视化的爬虫管理框架,使用时需要将 Scrapyd启动,挂在后台,其实本质还是向 Scrapyd服务发请求,只不过是可视化操作而已

基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发

配置步骤

Gerapy和 Scrapy是没有关系的,所以可以随便选一个文件夹,这里我创建了一个gerapyDemo文件夹

Scrapy+Gerapy部署爬虫
  1. 执行命令初始化gerpay
gerapy init

Scrapy+Gerapy部署爬虫

会生成一个gerapy文件夹

Scrapy+Gerapy部署爬虫
  1. 进入生成的gerapy文件夹中

Scrapy+Gerapy部署爬虫
  1. 执行命令,会生成一表
gerapy migrate

Scrapy+Gerapy部署爬虫
2. 启动gerapy服务,默认是8000端口,可以指定端口启动 
gerapy runserver
gerapy runserver 127.0.0.1:9000 &#x672C;&#x673A; 9000&#x7AEF;&#x53E3;&#x542F;&#x52A8;

Scrapy+Gerapy部署爬虫
Scrapy+Gerapy部署爬虫

当然,一般情况下,大概是这样的界面,我们需要生成账号密码

Scrapy+Gerapy部署爬虫

停止服务,输入命令 gerapy creatsuperuser,根据提示创建账号密码就使用账号登录了

Scrapy+Gerapy部署爬虫

在Gerapy添加爬虫项目

上述都配置之后,我们就可以配置爬虫项目了,通过点点点的方式,就可以运行爬虫了

点击 &#x4E3B;&#x673A;&#x7BA1;&#x7406;-->&#x521B;&#x5EFA;,ip是Scrapyd服务的主机,端口是Scrapyd的端口,默认6800,填写后点击创建

Scrapy+Gerapy部署爬虫

然后在主机列表,调度中,就可以运行爬虫了

Scrapy+Gerapy部署爬虫

运行爬虫

Scrapy+Gerapy部署爬虫

获取结果,结果已经写入本地

Scrapy+Gerapy部署爬虫

; 打包爬虫上传

上述过程,我们只是能玩爬虫了,但是并不彻底,按照道理来说,我们还差一个打包过程,只有打包爬虫了,才算是真正的结合在一起了

步骤

  1. 首先需要将爬虫项目拷贝到gerapy下面的projects文件夹下
    Scrapy+Gerapy部署爬虫
  2. 刷新页面,点击项目管理,可以看到可配置和打包都是x号状态
    Scrapy+Gerapy部署爬虫

点击部署,写好描述,点击打包

Scrapy+Gerapy部署爬虫

再次回到主界面,可以发现打包已经是正确的了

Scrapy+Gerapy部署爬虫

至此,基本整个流程结束

解决scrapyd-deploy不是内部外部命令

通常情况下,在执行scrapyd-deploy时,会提示 scrapyd-deploy不是内部或外部命令,嗯…这个是正常操作

解决步骤

Scrapy+Gerapy部署爬虫
2. 修改这两个文件,内容如下 scrapy.bat 
@echo off
D:\programFiles\miniconda3\envs\hy_spider\python D:\programFiles\miniconda3\envs\hy_spider\Scripts\scrapy %*

Scrapy+Gerapy部署爬虫 
@echo off
D:\programFiles\miniconda3\envs\hy_spider\python D:\programFiles\miniconda3\envs\hy_spider\Scripts\scrapyd-deploy %*

在这里插入图片描述

注:红色方框表示是解释器的位置,上述内容是一行的,我粘贴过来怎么调都是两行…,一一对应好就好了

Gerapy使用流程总结

1.gerapy init &#x521D;&#x59CB;&#x5316;,&#x4F1A;&#x5728;&#x6587;&#x4EF6;&#x5939;&#x4E0B;&#x521B;&#x5EFA;&#x4E00;&#x4E2A;gerapy&#x6587;&#x4EF6;&#x5939;
2.cd gerapy
3.gerapy migrate
4.gerapy runserver &#x9ED8;&#x8BA4;&#x662F;127.0.0.1:8000
5.gerapy createsuperuser &#x521B;&#x5EFA;&#x8D26;&#x53F7;&#x5BC6;&#x7801;,&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#x90FD;&#x662F;&#x6CA1;&#x6709;&#x7684;
6.&#x6E38;&#x89C8;&#x5668;&#x8F93;&#x5165;127.0.0.1:8000 &#x767B;&#x5F55;&#x8D26;&#x53F7;&#x5BC6;&#x7801;,&#x8FDB;&#x5165;&#x4E3B;&#x9875;
7.&#x5404;&#x79CD;&#x64CD;&#x4F5C;,&#x6BD4;&#x5982;&#x6DFB;&#x52A0;&#x4E3B;&#x673A;,&#x6253;&#x5305;&#x9879;&#x76EE;,&#x5B9A;&#x65F6;&#x4EFB;&#x52A1;&#x7B49;

总结

上述以入门的方式解决了安排了以下如何通过 Gerapy + Scrpyd + Scrapy可视化部署爬虫

如果在操作过程中有任务问题,记得下面留言,我们看到会第一时间解决问题

我是码农星期八,如果觉得还不错,记得动手点赞以下哈,

感谢你的观看

Original: https://blog.csdn.net/tianyi19/article/details/112863467
Author: Tian翊
Title: Scrapy+Gerapy部署爬虫

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/791424/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球