图形化scrapy爬虫控制台Gerapy安装与配置教程

1.安装依赖文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

#pip install - r requirements.txt
scrapy
scrapyd
gerapy
django
jinja2

pywin32 # windows需要安装,linux不需要

2. 开启scrapyd

$scrapyd

开启服务后最小化窗口，不要关闭。linux可以再开一个shell或者用nohup后台运行文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

记住IP地址和端口号127.0.0.1:6800文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

3. 开启Gearapy

gerapy init # 创建gerapy文件
cd gerapy #进入gerapy文件
gerapy migrate #建立数据库
gerapy initadmin # 初始账户
gerapy runserver #启动服务

程序会返回地址，浏览器进入127.0.0.1:8000即可文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

初始用户名密码都是admin文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

点击 主机管理->创建文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

这里填入的是scrapyd提供的IP和端口，端口一般都为6800文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

正常情况文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

4.部署项目

项目管理->创建，选择scrapy文件导入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

或者直接将scrapy文件复制到gerapy/project目录下文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

5.运行项目

主机管理->调度文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html

直接点击运行就可以了，日志会输出到gerapy下的logs文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46421.html