本章节以博客园-新闻的爬取,来讲解scrapy的入门使用,分成上中下三篇
一.scrapy安装
pip安装的时候是从国外的服务器下载,国内有一个非常常用的镜像,可以提高下载速度
pip install -i https://pypi.douban.com/simple scrapy
有些windows环境下安装scrapy会出错,安装出错则按下面的方式处理
https://www.lfd.uci.edu/~gohlke/pythonlibs/
这个网址可以直接下载会安装出错的包,安装scrapy需要下载下面4个,下载时需要选对应解释器的版本
lxml twisted pywin32 scrapy 进入到下载目录下,按照以下方式安装,如果lxml等包有其依赖的包,也会通过镜像自动下载安装
二.使用scrapy创建一个项目
命令行输入:
scrapy startproject ArticleSpider
大家先不要着急了解每个文件的作用,后期会介绍到,命令行输入:
scrapy genspider cnblogs news.cnblogs.com
scrapy genspider 爬虫名称 抓取的网址
爬虫隶属于项目，一个项目下可以有多个爬虫，这就类似于Django项目和其下app的关系。
三.调试代码
scrapy启动
通过命令行启动的爬虫程序,无法调试
scrapy crawl 爬虫名 带运行日志
scrapy crawl 爬虫名 --nolog 不带运行日志
crawl的英语翻译：爬行
在项目的目录下新建一个main.py(名字自取)内容如下，然后就可以鼠标右键debug这个爬虫
<span class="hljs-keyword">from</span> scrapy.cmdline <span class="hljs-keyword">import</span> execute<br><span class="hljs-keyword">import</span> sys<br><span class="hljs-keyword">import</span> os<br><br>sys.path.append(os.path.dirname(os.path.abspath(__file__)))<br>execute([<span class="hljs-string">"scrapy"</span>,<span class="hljs-string">"crawl"</span>,<span class="hljs-string">"cnblogs"</span>])
四.重点:response
当运行main.py,进入parse方法后, start_url里面的网址已经是被爬取下来的.
response对象可以使用xpath,css选择器来提取元素
title_list = response.css(<span class="hljs-string">'.link-title'</span>)<br>title_list = response.xpath(<span class="hljs-string">'//a[contains(@class,"link-title")]'</span>)
五. 重点:parse()方法
parse()方法的 使命是用来解析起始网址(start_url)中的url,并把这些url交给scrapy去下载;同时,解析下一页的url,交给scrapy去下载
这样,每一页的url,以及每一页中具体内容的url都被一层一层提取出来,交给scrapy下载了.
<span class="hljs-keyword">import</span> scrapy<br><span class="hljs-keyword">from</span> scrapy <span class="hljs-keyword">import</span> Request<br><span class="hljs-keyword">from</span> urllib <span class="hljs-keyword">import</span> parse<br><br><br><span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">CnblogsSpider</span><span class="hljs-params">(scrapy.Spider)</span>:</span><br>    name = <span class="hljs-string">'cnblogs'</span><br>    allowed_domains = [<span class="hljs-string">'news.cnblogs.com'</span>]<br>    start_urls = [<span class="hljs-string">'http://news.cnblogs.com/'</span>]<br><br>    <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">parse</span><span class="hljs-params">(self, response)</span>:</span><br>        <span class="hljs-string">"""<br>        1.获取新闻列表页中的新闻url并交给scrapy进行下载后调用相应的解析方法<br>        2.获取下一页的url交给scrapy进行下载,然后交给parse()方法进行提取新闻url来下载<br>        """</span><br>        post_nodes = response.css(<span class="hljs-string">"#news_list .news_block"</span>)<br>        <span class="hljs-keyword">for</span> post_node <span class="hljs-keyword">in</span> post_nodes:<br>            image_url = post_node.css(<span class="hljs-string">"div.entry_summary img::attr(src)"</span>).extract_first(<span class="hljs-string">""</span>)<br>            post_url = post_node.css(<span class="hljs-string">"div.content h2 a::attr(href)"</span>).extract_first(<span class="hljs-string">""</span>)  <br>            <span class="hljs-keyword">yield</span> Request(url=parse.urljoin(response.url,post_url),  <br>                          meta={<span class="hljs-string">"front_image_url"</span>:image_url},        <br>                          callback=self.parse_detail)                <br><br>        <br>        next_url = response.xpath(<span class="hljs-string">'//div[@class="pager"]//a[contains(text(),"Next >")]/@href'</span>).extract_first(<span class="hljs-string">""</span>)<br>        <span class="hljs-keyword">yield</span> Request(url=parse.urljoin(response.url,next_url),callback=self.parse)<br><br><br><br>    <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">parse_detail</span><span class="hljs-params">(self,response)</span>:</span>  <br>        <span class="hljs-keyword">pass</span>
下一节:介绍解析详情页
Original: https://blog.csdn.net/agdzxzfdyw/article/details/126785034
Author: 奇巧小软件
Title: 9.爬虫:scrapy入门(上)
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/791779/
转载文章受原作者版权保护。转载请注明原作者出处！