两台win10电脑搭建scrapy_redis实现分布式爬虫

说明

两台主机:一台ip(做服务器和客户端):10.0.0.10,下面说的服务端就是这台主机
一台ip(做客户端):10.0.0.11
项目案例:爬取网站游天下之厦门的信息,网站链接:http://www.youtx.com/xiamen/

效果

数据库存储

两台win10电脑搭建scrapy_redis实现分布式爬虫
本地存储
两台win10电脑搭建scrapy_redis实现分布式爬虫

; 1、安装scrapy_redis相关模块

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

Original: https://blog.csdn.net/yilvyangguang520/article/details/127100636
Author: GIS从业者
Title: 两台win10电脑搭建scrapy_redis实现分布式爬虫

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/790281/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球