文章目录
python爬虫–scrapy（初识）
scrapy环境安装
因为我是同时安装anaconda和python3.7，所以在使用pip的时候总是会显示anaconda中已经安装（众所周知），就很烦 。一气之下，挂着VPN并且在CMD中使用 conda install scrapy，然后安装好。
PS：也有可能直接使用conda install scrapy就可以了（我没试）
最近又在试发现直接cd到python目录下，并且我已经安装python3.8，更新pip，然后pip install scrapy就成功了。没有冲突一说。
出现下面这张图后，就说明已经安装完成
; scrapy基本使用
使用命令行创建scrapy项目工程 scrapy startproject qiushi 就会提示你创建成功
然后提示你cd到该目录下，并且创建
first spider
命令 scrapy genspider example example
配置文件的修改
别忘了user-Agent
运行项目文件
scrapy crawl first
糗事百科数据解析
import scrapy
class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
start_urls = ['https://www.qiushibaike.com/text/']
def parse(self, response):
div_list = response.xpath('//*[@id="content"]/div/div[2]/div')
for div in div_list:
Original: https://blog.csdn.net/qq_43710889/article/details/115283100
Author: 南岸青栀*
Title: python爬虫–scrapy（初识）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/790093/
转载文章受原作者版权保护。转载请注明原作者出处！