scrapy框架爬取数据的步骤——管道保存数据

1.scrapy框架爬取数据的步骤

其中前三步我们上节课有提到，大家可以试着先操作一下。

第一步，新建文件夹

通过终端指令（scrapy+startproject+文件名），我们新建一个名为（house）的文件夹

第二步，新建爬虫文件

我们继续通过终端指令（scrapy+genspider+文件名+通用域名），我们新建一个名为（rent）的爬虫文件

第三步，修改爬虫代码

打开爬虫文件（rent.py），我们修改我们需要爬取的网址，并进行数据解析，解析方式与requests解析几乎一致，只是需要加一个extract方法以及join方法，如下，这样我们就获得了我们想要的数据信息。但是我们接下来要通过管道保存数据

第四步，管道保存数据

1）管道保存数据这一步稍微复杂一点，我们需要先将解析的数据，实例化给item，通过item再传给管道，因此，item尤为关键，首先打开文件夹（items.py）,将我们上一步解析到的数据进行属性的设定，如下图：

2）然后解析数据（tt）实例化给item

3）进入文件（pipelines）进行如下设置，通过定义开始爬虫，新建一个“house.txt”文件夹，然后将item文件传给管道，再通过结束爬虫，关闭文件夹。

4）打开（setting）文件夹，设置user-agent的值，以及robot的值，以及管道这个参数（找到该参数将井号去掉即可）

第五步，运行代码

在终端输入，scrapy crawl +爬虫文件名，运行