Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

2023-06-0917:51:29后端程序开发Comments1,112 views字数 1514阅读模式

小伙伴问我有没有基于Django的可视化大屏,小F就顺手找了一下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

于是便在GitHub上发现了一个不错的实战项目,基于qunaer长沙景点数据。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

还是作者最近几天刚更新的,保真~文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

项目地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

https://github.com/ChenZixinn/scenery_spider_web文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

/ 01 / 项目介绍

使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)
Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)
Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

基于数据可视化的游客行为分析系统,包含以下几类图表。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

  • 景点数量各区县分布地图
  • 景点评分数据排名
  • 景点人数占比分析
  • 景点浏览人数占比分析
  • 景点评论词云图
  • 景点浏览时间分布图
  • 景点评分分布图
  • 景点数量各区县分布图

还有登录界面,可以自己注册账号,说明包含用户管理。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

接下来小F就来教大家如何去部署,以win10为例。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

/ 02 / 项目部署-Python

首先需要安装Anaconda(版本4.11.0),方便创建Python环境。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Anaconda的安装方法,大家可以自行百度,还是比较容易的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

安装好以后,创建虚拟环境,根据项目提供的【requirements.txt】文件,安装所需的依赖。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# 创建虚拟环境
conda create --name test python=3.8.13

# 激活环境
conda activate test

# 安装依赖
pip install -r requirements.txt

/ 03 / 项目部署-MySQL

然后是安装MySQL数据库(版本8.0.33),推荐使用msi文件进行安装,不容易出错。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

一定要记住root账户的密码,后续会用到。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

安装好以后,创建数据库,使用数据库。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# 创建数据库
create database hunan_web;

# 使用数据库
use hunan_web;

接下来创建数据表,并且插入数据。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

具体可以看项目中【new_hunan_web.sql】这个文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

其中作者还提供了原始数据。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

也就意味着,你无需运行爬虫代码,便有数据,能立马将项目运行起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

最后在程序里面设置下数据库的密码。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

hunan_web文件夹中setting.py文件里去设置。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

设置好以后,运行服务的时候,就可以连接到数据库了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

/ 04 / 项目部署-运行访问

当Python和数据库环境都搭建好时,运行【manage.py】文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# 运行项目
python manage.py runserver结果如下。
Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

使用谷歌浏览器访问网页地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

http://127.0.0.1:8000/文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

是一个登录页,点击去注册文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

输入账号密码,即可注册成功,然后去登录文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

登录成功,即可看到到分析页面。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

/ 05 / 项目部署-数据更新

如果你想更新数据库,可以运行爬虫代码。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# 更新数据
scrapy crawl qunaer

运行的时候可能会出问题,可以通过下面两种方法解决。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# ImportError: cannot import name 'SSLv3_METHOD' from 'OpenSSL.SSL'
pip3 install pyopenssl==22.0.0

# AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'
pip3 install cryptography==38.0.4

如果上面的方法也不能解决,就把scrapy库升级到最新版本。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

# 升级
pip install --upgrade scrapy

/ 06 / 总结

以上操作,就能实现可视化大屏项目的部署。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

当然我们还可以写不同省份的游客行为分析系统,或者切换其它的数据来源文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

又或者是使用pyecharts其它类型的图表,这个大家都可以自行去学习。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46404.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/bc/46404.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定