Scrapy框架-阳光政务平台爬虫（二）
想要爬取的网站：微信读书
爬取内容：各个排行榜中的 书名 作者名 详情页网站 评分 出版社 出版日期
文末有工程文件
items.py设置
- 配置items.py文件
- items.py文件中NameItem(scrapy.Item)类中写入
name = scrapy.Field()
author = scrapy.Field()
grade = scrapy.Field()
press = scrapy.Field()
publish_date = scrapy.Field()
detail_url = scrapy.Field()
- 这一部分相当于整合信息条目，而且方便检查在写爬虫文件时的拼写错误
setting.py设置
- 开启并修改网络代理
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36 Edg/96.0.1054.29'
- 添加日志打印等级
LOG_LEVEL = "WARNING"
- 开启pipeline交互，若不开启，爬虫文件的数据就无法传递给pipeline.py文件
ITEM_PIPELINES = {
'yangguang.pipelines.YangguangPipeline': 300,
}
主爬虫内容
- 代码
import scrapy
import re
from ..items import WxbookItem
class WxSpider(scrapy.Spider):
name = 'wx'
allowed_domains = ['weread.qq.com']
start_urls = ['https://weread.qq.com/web/category/']
def parse(self, response):
li_list = response.xpath('//ul[@class="ranking_list"]/li')
for li in li_list:
item = WxbookItem()
rank_url = 'https://weread.qq.com' + li.xpath('./a/@href').extract_first()
yield scrapy.Request(
rank_url,
callback=self.parse_rank_0,
meta={"item": item}
)
def parse_rank_0(self, response):
item = response.meta["item"]
div_list = response.xpath('//div[@class="ranking_page_header"]/div/div')
num_0 = re.sub("\D", "", response.url)
rank_num = 0
rank_url_2 = []
try:
for div in div_list:
rank_num += 1
for num in range(rank_num):
rank_url_2.append('https://weread.qq.com/web/category/' + str(int(num_0)+num))
for url in rank_url_2:
yield scrapy.Request(
url,
callback=self.parse_rank_1,
meta={"item": item}
)
except:
pass
def parse_rank_1(self, response):
item = response.meta["item"]
li_list = response.xpath('//ul[@class="ranking_content_bookList"]/li')
for li in li_list:
item["author"] = li.xpath('./div[1]/div[2]/p[2]/a/text()').extract_first()
item["grade"] = li.xpath('./div[1]/div[2]/p[3]/span[3]/span/text()').extract_first()
item["detail_url"] = 'https://weread.qq.com' + li.xpath('./a/@href').extract_first()
yield scrapy.Request(
item["detail_url"],
callback=self.parse_detail,
meta={"item": item}
)
def parse_detail(self, response):
item = response.meta["item"]
item["detail_url"] = response.url
item["name"] = response.xpath('//div[@class="bookInfo_right"]/h2/div/text()').extract_first()
item["author"] = response.xpath('//div[@class="bookInfo_right"]/div/a/text()').extract_first()
item["press"] = response.xpath('//div[@class="wr_dialog"]/div/div/div[2]/span[2]/text()').extract_first()
item["grade"] = response.xpath('//div[@class="book_ratings_container"]/div[2]/div[1]/span[1]/text()').extract_first()
item["publish_date"] = response.xpath('//div[@class="wr_dialog"]/div/div/div[3]/span[2]/text()').extract_first()
print(item)
- 几点注意事项
- 一定要导入item类，否则无法保存信息
- allowed_domains一定要写对，特别是自己定义的函数(parse_detail)所用的url一定要在allowed_domains的范围内，否则会不执行回调函数。
比如回调函数请求网站：[https://book.douban.com/top250?start=1]
而allowed_domains = [“douban.com”] 就无法正常回调
pipeline.py设置
- 代码
class WxbookPipeline:
def process_item(self, item, spider):
print(item["name"])
return item
自定义run.py
- 之前的文章说过，跑scrapy程序需要在命令行中输入scrapy crawl xxx
这种在命令行中的交互方式实在不方便，那我们在工程目录下定义一个run.py文件就可以直接在pycharm里运行这个run.py文件就能实现在pycharm里进行交互了。 - 代码
from scrapy import cmdline
cmdline.execute('scrapy crawl wx'.split())
结果
{'author': '黑格尔',
'detail_url': 'https://weread.qq.com/web/reader/bbe32a1072051bbdbbed499',
'grade': ' 90.0',
'name': '精神现象学·上卷（汉译世界学术名著丛书）',
'press': '商务印书馆',
'publish_date': '1979年6月'}
链接: 工程文件
Original: https://blog.csdn.net/weixin_43848766/article/details/121890593
Author: Goker123
Title: Scrapy框架-阳光政务平台爬虫（二）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/789353/
转载文章受原作者版权保护。转载请注明原作者出处！