Scrapy爬虫框架安装与原理图解介绍

Scrapy爬虫框架也是爬虫项目常用的框架之一，Scrapy通过Python 编写，台式一个快速、高层次的屏幕抓取和网页抓取框架，Scrapy框架的用途广泛，可以用于数据挖掘、监测和自动化测试。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Srapy框架的安装：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

无论是在windows还是mac以及linux下，都可以是用pip工具进行快速安装：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

$ pip install scrapy

这里推荐一个非常好用的Python调试shell：ipython文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

ipython是一个python的交互式shell，比默认的python shell好用得多，支持变量自动补全，自动缩进，支持bash shell命令，内置了许多很有用的功能和函数。学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

我们依旧用pip工具进行安装:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

$ pip install ipython

Scrapy框架的基本介绍:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

首先，我们得明白一点，Scrapy不是一个功能函数库，而是是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。简单的说，他是一个半成品，可以帮助用户简单快速的部署一个专业的网络爬虫。如果说前面我们写的定制bs4爬虫是”手动挡“，那Scrapy就相当于”半自动档“的车。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

其次，Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Scrapy框架结构:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

首先来一张框架整体的图：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

从图中我们可以清楚的看到，整个框架一共分为五个部分：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

SPIDERS文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

ITEM PIPELINES文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

DOWNLOADER文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

SCHEDULER文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

ENGIINE文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

这五个部分互相协作，共同完成了整个爬虫项目的工作。下面我们来一个一个介绍。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

SPIDERS文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Spiders这个模块就是整个爬虫项目中需要我们手动实现的核心部分，就是类似我们之前写的get_content函数部分，最主要的功能是 解析网页内容、产生爬取项、产生额外的爬去请求。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

ITEM PIPELINES文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

这个模块也是需要我们手动实现的，他的主要功能是将我们爬取筛选完毕的数据写入文本，数据库等等。总之就是一个“本地化”的过程。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

DOWNLOADER文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

这个模块，是Scrapy帮我们做好的，不需要我们自己编写，直接拿来用就行，其主要功能就是从网上获取网页内容，类似于我们写的get_html函数，当然，比我们自己写的这个简单的函数要强大很多文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

SCHEDULER文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

这个模块对所有的爬取请求，进行调度管理，同样也是不需要我们写的模块。通过简单的配置就能达到更加多线程，并发处理等等强大功能。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

ENGIINE文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

这个模块相当于整个框架的控制中心，他控制着所有模块的数据流交换，并根据不同的条件出发相对应的事件，同样，这个模块也是不需要我们编写的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Scrapy框架的数据流动：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

先上一张图：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

说了各个模块的作用，那么整个项目跑起来的时候，数据到底是怎么运作的呢？ 上图的数字代表数据的流向，解释如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine从Spider处获得爬取请求(request)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine将爬取请求转发给Scheduler，调度指挥进行下一步文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine从Scheduler出获得下一个要爬取的请求文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine将爬取请求通过中间件发给Downloader文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

爬取网页后后，downloader返回一个Response给engine文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine将受到的Response返回给spider处理文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Spider处理响应后，产生爬取项和新的请求给engine文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine将爬取项发送给ITEM PIPELINE（写出数据）文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Engine将会爬取请求再次发给Scheduler进行调度（下一个周期的爬取）文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

系统化入门文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html

Scrapy是一个很强大的爬虫框架，用起来很方便，但是要定制高级的功能就不是那么简单的了。这里只是简单的介绍了一下框架的基本原理，但具体如何使用不是一时半会能够说完的，后面我会在例子中一一展现这个框架的高级功能。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46392.html