一、框架的安装
我们直接pip install scrapy 是安装不了的，因为缺少一些内置库。所以我们得去scrapy官网（(Installation guide — Scrapy 2.5.0 documentation）翻到 Things that are good to konw这里把scrapy框架所需的库全部下载。利用离线安装全部安装进pycharm。然后再进行scrapy安装的命令就成功了。
二、写代码
在pycharm的终端输入：scrapy startproject xxx(项目名) #创建scrapy项目
打开项目号后再在终端输入：scrapy genspider xxx(文件名) xxx（域名）#创建scrapy爬虫文件
然后我们在spider的文件里找到爬虫py文件，在里面进行我们的代码书写。
import scrapy
from acfun.items import AcfunItem
class HappySpider(scrapy.Spider):
name = 'happy'
allowed_domains = ['acfun.cn']
start_urls = [f'https://www.acfun.cn/v/list206/index.htm?page={num}' for num in range(1,11)]
def parse(self, response):
video_urls = response.xpath('
Original: https://blog.csdn.net/Six23/article/details/123037109
Author: 新手_six
Title: 爬虫日记08：利用scrapy框架获取A站搞笑视频部分信息
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/789933/
转载文章受原作者版权保护。转载请注明原作者出处！