Python 自动探索性数据分析 10 个 神库，不开源不用！

2023-09-0212:04:56人工智能与大数据Comments1,098 views字数 3362阅读模式

转自：公众号丨数据STUDIO文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。
在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。
  1. DTale
  2. Pandas-profiling
  3. sweetviz
  4. autoviz
  5. dataprep
  6. KLib
  7. dabl
  8. speedML
  9. datatile
  10. edaviz

1、D-Tale

Python 自动探索性数据分析 10 个 神库，不开源不用！

D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

D-Tale库用一行代码就可以生成一个报告，其中包含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析，上面截图中我们可以看到图表是可以进行交互操作的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

2、Pandas-Profiling文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#Saving results to a HTML file
profile.to_file("output.html")文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

3、Sweetviz文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

import pandas as pd
import sweetviz as sv文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

4、AutoViz文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

5、Dataprep文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，可以很容易地与其他Python库集成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

from dataprep.datasets import load_dataset
from dataprep.eda import create_report文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

df = load_dataset("titanic.csv")
create_report(df).show_browser()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

6、Klib文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

klib是一个用于导入、清理、分析和预处理数据的Python库。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

import klib
import pandas as pd文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

klib.corr_plot(df_cleaned, annot=False)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

klib.dist_plot(df_cleaned['Win_Prob'])文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

klib.cat_plot(df, figsize=(50,15))文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

klibe虽然提供了很多的分析函数，但是对于每一个分析需要我们手动的编写代码，所以只能说是半自动化的操作，但是如果我们需要更定制化的分析，他是非常方便的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

7、Dabl文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供快速概述，以及方便的机器学习预处理和模型搜索。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

dabl中的Plot()函数可以通过绘制各种图来实现可视化，包括:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

  • 目标分布图
  • 散点图
  • 线性判别分析

import pandas as pd
import dabl文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

8、Speedml文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实SpeedML不仅仅包含自动化EDA的功能。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

from speedml import Speedml文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

sml = Speedml('../input/train.csv', '../input/test.csv',
target = 'Survived', uid = 'PassengerId')
sml.train.head()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

sml.plot.correlate()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

sml.plot.distribute()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

sml.plot.ordinal('Parch')文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

sml.plot.ordinal('SibSp')文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

sml.plot.continuous('Age')文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

9、DataTile文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

DataTile（以前称为Pandas-Summary）是一个开源的Python软件包，负责管理，汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe（）函数的扩展。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

import pandas as pd
from datatile.summary.df import DataFrameSummary文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！

10、edaviz文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库，他本来是非常好用的，但是后来被砖厂(Databricks)收购并且整合到bamboolib 中，所以这里就简单的给个演示。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Python 自动探索性数据分析 10 个 神库，不开源不用！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

总结文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

在本文中，我们介绍了10个自动探索性数据分析Python软件包，这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

Dataprep是我最常用的EDA包，AutoViz和D-table也是不错的选择，如果你需要定制化分析可以使用Klib，SpeedML整合的东西比较多，单独使用它啊进行EDA分析不是特别的适用，其他的包可以根据个人喜好选择，其实都还是很好用的，最后edaviz就不要考虑了，因为已经不开源了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/55646.html

  • 本站内容整理自互联网，仅提供信息存储空间服务，以方便学习之用。如对文章、图片、字体等版权有疑问，请在下方留言，管理员看到后，将第一时间进行处理。
  • 转载请务必保留本文链接：https://www.cainiaoxueyuan.com/ai/55646.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定