上一章讨论了使用Scrapy中间件的编程技术。本章将通过展示各种常见用例（包括消费REST API、数据库接口、处理CPU密集型任务以及与遗留服务的接口），重点关注编写正确而高效的管道。
在本章中，我们将会使用几个新的服务器，你可以在图9.1的右侧看到这些服务器。
图9.1 本章使用的系统
Vagrant应该已经为我们创建好了这些服务器，我们可以从dev服务器中使用其主机名进行ping操作，例如 ping es或 ping mysql。话不多说，让我们从REST API开始探索吧。
REST是一套用于创建现代Web服务的技术，其主要优点是比SOAP或专有Web服务机制更加简单，更加轻量级。软件开发人员观察发现，Web服务经常提供的 CRUD（ 创建、 读取、 更新、 删除[Create、 Read、 Update、 Delete]）功能与HTTP基本操作（GET、POST、PUT、DELETE）具有相似性。另外，他们还发现典型的Web服务调用其所需的大部分信息时，都可以将其压缩到资源URL上。例如ÿ
Original: https://blog.csdn.net/rmyd01/article/details/118604609
Author: 人民邮电出版社有限公司
Title: 《精通Python爬虫框架Scrapy》第9章 管道秘诀
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/793027/
转载文章受原作者版权保护。转载请注明原作者出处！