50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

系列文章列表:

注意: 我自己新建的一个QQ群(新建的),欢迎大家加入一起学习一起进步 ,群号646187336

portia的简介:

Portia是我们的开源可视化爬虫工具,可让您在不需要任何编程知识的情况下爬取网站!简单地注释您感兴趣的页面,Portia将创建一个蜘蛛来从类似的页面提取数据

前言:

本文打算使用scrapy官方提供的demo网页(http://quotes.toscrape.com/page/1/)执行工程创建,这个网页相信大家都很熟悉了。那我们这就开始吧。

注意: 下面图片很多, 难免看不清楚的, 可以使用ctrl+鼠标滚轮缩放网页,方便你更清楚看清图片。

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

2.创建工程

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

3.设置开始抓取网页

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

4.创建爬虫

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

5.创建样例页

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

6.设置元素获取方式

6.1添加content字段

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

6.2添加author字段

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

6.3添加tag字段

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

7.运行爬虫

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

8.查看爬虫结果

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

9.查看爬虫运行结果

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

10.查看item结果

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

11.下载我们可视化的源码吧

50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

我这个时间下载到的scrapy貌似没法运行,貌似官方网址有点问题,但是portia是可以用的。当然我们可以使用portia2code去转换portia代码为scrapy代码。

好了。我们使用的portia就是可以获取指定网页的数据,详细的大家可以自己摸索摸索。

注意: 现在官方修复了这个问题, 今天我再去下载的时候可以直接使用了。 也就不用protia2code转换了。

Original: https://blog.csdn.net/weixin_35918734/article/details/113889568
Author: 花半楼
Title: 50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/790104/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球