图形化scrapy爬虫控制台Gerapy安装与配置教程

2023-6-9

1.安装依赖

#pip install - r requirements.txt
scrapy
scrapyd
gerapy
django
jinja2

pywin32 # windows需要安装,linux不需要

2. 开启scrapyd

$scrapyd

开启服务后最小化窗口，不要关闭。linux可以再开一个shell或者用nohup后台运行

记住IP地址和端口号127.0.0.1:6800

gerapy init # 创建gerapy文件
cd gerapy #进入gerapy文件
gerapy migrate #建立数据库
gerapy initadmin # 初始账户
gerapy runserver #启动服务

程序会返回地址，浏览器进入127.0.0.1:8000即可

初始用户名密码都是admin

点击主机管理->创建

这里填入的是scrapyd提供的IP和端口，端口一般都为6800

正常情况

项目管理->创建，选择scrapy文件导入

或者直接将scrapy文件复制到gerapy/project目录下

主机管理->调度

直接点击运行就可以了，日志会输出到gerapy下的logs文件

THE END