python——scrapy利用cookie模拟登录
适用场景：cookie过期时间较长，足够你完成爬取过程
文章目录
1、基础
4、修改setting.py
1、基础
创建项目
scrapy startproject 名称
生成爬虫
scrapy genspider 爬虫名 允许爬取域名
运行
scrapy crawl 爬虫名
2、找cookie，按F12寻找，一般在network的第一个包中；将start_urls改为豆瓣网址,以豆瓣为例
3、cookie转为字典，构造请求并把请求交给引擎，callback指定解析函数名称，默认为parse；cookie接受字典
4、更改setting中的user_agent和和注释掉ROBOTSTXT_OBEY完成，部分结果截图
Original: https://blog.csdn.net/qq_46738968/article/details/122312783
Author: qq_46738968
Title: python——scrapy利用cookie模拟登录
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/789096/
转载文章受原作者版权保护。转载请注明原作者出处！