继续以起点小说为例子，我们要做的就是把对象存储到item（类似于一个字典）中，在通过pipelines持久化到txt文件中。
之前我们在运行爬虫的后面加”-o 爬虫名称” 这样很方便，但是也有很多的弊端，比如只能存为特定的格式，像txt这种就不可以。同时在使用pipelines存储前可以写一些存储前的操作。没有看过存储的小伙伴可以看一下这篇文章scrapy框架之生成存储文件json，xml、csv文件,废话不多说，直接开始！！
写item类
上次我们起点小说爬到是书名和作者，所以我们定义一个书名和作者。
import scrapy
class QidianItem(scrapy.Item):
bookName = scrapy.Field()
authors = scrapy.Field()
编写爬虫文件
我们要在爬虫文件中实例化Item对象，在把爬到的值赋值给item
import scrapy
from qidian.items import QidianItem
class QidianspiderSpider(scrapy.Spider):
name = 'qidianspider'
allowed_domains = ['www.qidian.com']
start_urls = ['https://www.qidian.com/rank/yuepiao/']
def parse(self, response):
names = response.xpath('//*[@id="book-img-text"]/ul/li[1]/div[2]//a/text()').extract()
authors = response.xpath('//*[@id="book-img-text"]/ul/li[1]/div[2]//text()').extract()
item = QidianItem() #实例化对象
for name,author in zip(names,authors):
item['bookName'] = name #把值添加到item对象中
item['authors'] = author
yield item #提交到管道
在settings文件中开启管道
记得要关闭ROBOTSTXT_OBEY，写好UA伪装，不懂得可以看scrapy框架之创建项目运行爬虫
ITEM_PIPELINES = {
'qidian.pipelines.QidianPipeline': 300,
}
简单测试一下看是否正确
在pipelines文件中写
class QidianPipeline:
def process_item(self, item, spider):
print(item)
return item
在管道中打印一下item，看否把数据提交到了管道，看到下图就表示成功把数据投入管道中
正式编写pipelines文件
class QidianPipeline(object):
def open_spider(self,spider):
self.fp = open('my.txt','w',encoding='utf-8')
print('爬虫开始~~')
def process_item(self, item, spider):
name = item['bookName']
authors = item['authors']
self.fp.write('书名：'+ name + '|' + '作者：' + authors + '\n')
return item
def close_spider(self, spider):
self.fp.close()
print('爬虫结束~~')
编写方法运行
from scrapy.cmdline import execute
execute('scrapy crawl qidianspider'.split())
成果展示
Original: https://www.cnblogs.com/yousuobutong/p/16725317.html
Author: 尤所不同
Title: scrapy框架之item与pipelines
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/569175/
转载文章受原作者版权保护。转载请注明原作者出处！