第1关：猫眼电影排行TOP100信息爬取
任务描述
本关任务：爬取猫眼电影榜单TOP100榜 的100部电影信息保存到本地MySQL数据库。
settings.py
说到爬虫设置文件，就免不了要谈一谈Robots协议（也称为爬虫协议、机器人协议等），用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取。这个协议没有法律效力，只是个别网站约定俗成的，就像游戏规则一样。
当我们所爬的网站不让爬的时候，你需要修改一下settings配置文件中的ROBOTSTXT_OBEY，把默认的True（遵守协议）改为False(不遵守协议)。
在爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本，而如果网站有反爬虫的想法的话，必然会拒绝这样的连接。而修改DEFAULT_REQUEST_HEADERS可以将自己的爬虫脚本伪装成浏览器的正常访问，来避免这一问题。
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
Original: https://blog.csdn.net/weixin_44949187/article/details/116546450
Author: 气泡柚子
Title: Scrapy爬虫之热门网站数据爬取———–第一关
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/789131/
转载文章受原作者版权保护。转载请注明原作者出处！