scrapy-使用item封装数据

1.用户提供了两个类,分别是item基类和Field类。其中Field用来描述自定义数据包含哪些数据

2.为什么要使用item来封装数据,直接使用字典简单粗暴他不香吗?下面介绍使用item封装数据的优势。

当你使用一般的字典的形式来组织管理数据时,很有可能因为笔误而导致莫名其妙的错误,但是当你使用Item时会报错,便于你发现问题
方便使用与阅读源代码,当你再items.py中写好了字段管理代码时,你在Spider中只需要引入文件,然后创建对象,之后便可以像使用字典一样的方法使用Itme来组织管理数据了

3.Item的使用方法

1.确保你已经正确的配置好了爬虫项目和爬虫文件。

2.在Items.py中进行如下操作:

class className(scrapy.Item):

     field name = scrapy.Field()
     field name= scrapy.Field()
     field name = scrapy.Field()

3.在spider.py中引入items.py文件:

from ..items import className 这里…代表items文件夹和spider.py同处于一个文件夹下,className就是我们创建的组织管理数据的类

4.创建一个items对象:

example = className(),以后我们就可以通过example来管理数据了。

5.用法举例:

example['field name'] = name,这里就表示把name这个数据写入到field中的field name字段。

Original: https://blog.csdn.net/weixin_47249161/article/details/114286836
Author: 山河锦绣放眼好风光
Title: scrapy-使用item封装数据

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/791345/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球