1.安装scrapy
终端命令：
pip3 install scrapy
2.创建项目
终端命令：
scrapy startproject
cd #进入工程目录
scrapy genspider
url domain为想爬取的网址域名
之后会在当前路径生成一个以projectname为名称的文件夹，以下projectname=mySpider ，spidername=epilepsy_spider、url domain=baidu.com为例，文件夹目录结构如图：
scrapy文件目录结构
scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息，真正爬虫相关的配置信息在settings.py文件中
items.py 定义爬取数据的对象
pipelines 数据处理行为，如：一般结构化的数据持久化
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫规则
3.编写items.py
–– coding: utf-8 ––
Define here the models for your scraped items
See documentation in:
https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class MovieItem(scrapy.Item):
define the fields for your item here like:
name = scrapy.Field()
4.编写epilepsy_spider.py包括爬去网页的起始路径和xpath表达式
–– coding: utf-8 ––
import scrapy
from mySpider.items import MovieItem
class MeijuSpider(scrapy.Spider):
name = ‘epilepsy_spider’
allowed_domains = [‘baidu.com’]
start_urls = [‘https://baike.baidu.com/medicine/disease/%E7%99%AB%E7%97%AB/1613?from=lemma’]
def parse(self, response):
movies = response.xpath(‘//*[@id=”medical_content”]/ul’).extract()
item = MovieItem()
item[‘name’] = movies
print(item[‘name’])
yield item
在pycharm项目内创建Spider项目时注意将Spider项目的父文件夹设置为Resource Root：文件夹右键->Make Directory as ->Resource Root
关于xpath表达式的使用见下一篇
5.编写pipeline.py定义爬取数据的保存路径
–– coding: utf-8 ––
Define your item pipelines here
Don’t forget to add your pipeline to the ITEM_PIPELINES setting
See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
class MoviePipeline(object):
def process_item(self, item, spider):
with open(“./epilepsy.txt”, “a”) as fp:
for i in item[‘name’]:
fp.write(i+’\n’)
6.执行爬虫
终端命令：
scrapy crawl
Original: https://blog.csdn.net/weixin_30131105/article/details/113971359
Author: weixin_30131105
Title: python创建scrapy_一、【python scrapy 的使用】新建爬虫项目爬取一个页面
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/791910/
转载文章受原作者版权保护。转载请注明原作者出处！