本文总共1283个字,阅读需5分钟,全文加载时间:2.312s,本站综合其他专栏收录该内容! 字体大小:

文章导读:年后工作开始走上正轨了,开始EFunction Python数据分析模板制作工作。周末闭关两天,实现了五个功能模板。将功能模板操作方法做个简单介绍。 使用模板前,先要完成Excel 插件EFunction加载和jupyter配置,加载和……各位看官请向下阅读:

年后工作开始走上正轨了,开始EFunction Python数据分析模板制作工作。周末闭关两天,实现了五个功能模板。将功能模板操作方法做个简单介绍。

使用模板前,先要完成Excel 插件EFunction加载和jupyter配置,加载和配置方法如下。

Excel Jupyter配置

模板1:绘制直方图

以IRIS数据集为例,打开jupyter编辑器,新建一个notebook,选中Excel需要分析的数据区域,右键->jupyter 高级->数据可视化->直方图(以下四个案例,操作过程和本过程类似)。

选中数据选区

直方图

直方图模板,默认会对选区内第一列数值数据绘制直方图。通过调整数据,可以切换到其他列数据,绘制直方图。

同时在参数控制区域内,可以控制是否显示核密度曲线、累积概率等、调整区间宽度、直方图颜色等参数。

直方图数据和参数控制

模板2:趋势和周期分析

序列型数据趋势和周期分析,在很多应用场景下,都会碰到。经验模态分解(EMD)为周期性分析经典方法,其不像傅里叶变换要求和么严格,可解释性强。

演示数据集为某光伏电站监控参数为例。选择一千个数据点位,右键->jupyter 高级->数据可视化->EMD,根据筛选数据体量,稍等片刻后,可以获取如下的分析结果图。

光照强度EMD分解结果

从分析结果可以看出来,每日光照强度的周期性,同时时间推移,数据具有季节性。

EMD分解原理本文就不脑补了,大家可以找相关资料了解下。是很常用的序列数据分析方法,其在数据挖掘领域通常用于数据早期探究,特征工程领域应用。

模板3:权重因子初步探索

在很多影响因子分析之中,因子权重是一个重要主题。比较常见的有回归相关分析法,但回归方法使用条件要求严苛。近些年层次分析方法,打破了这个限制。比较经典的有随机森林,xgboost、LGB等方法。

还以光电站数据为例,研究下,电站发电功能和环境因素之间相关关系。右键->jupyter 高级->重要度分析->LGB模型重要度分析

LGB模型重要度分析

通过分析结果,可知发电功率影响最大的就是光照强度,温湿度也有一定影响(温湿度本身也和光照强度之间相关)。

模板4:文本词频分析

在很多场合,我们会获得文本类型数据,例如电商客户点评数据,一个最简单且最初级的方法就是,通过词频大概了解下,文本主要内容是什么。

我们以kaggle竞赛,某点评数据集为例,将40万条数据,右键->jupyter 高级->文本分析->获取词频。

对文本进行分析,并统计词频

​模板会以jieba分词工具,对文本数据进行分词,最终将分析结果,输出到Excel表格,提供下一步分析。目前模板只做了分词处理,后续分词结果可视化模板,等待后续进一步处理。

模板5:双变量相关可视化

我们以kaggle竞赛,美国汽车排放数据集为例,右键->jupyter 高级->可视化->pairplot

变量相关性

​通过可视化方法,研究数据的相关性。模板操纵方法,和以上基本相同。

这个周末,好不容易天晴,本来想出去走走,最近因为香港疫情,影响到内地,又开始紧张起来,就取消出门浪的计划,只做了5个模板,大家对模板有什么想法,欢迎提出来。

以上内容由优质教程资源合作伙伴 “鲸鱼办公” 整理编辑,如果对您有帮助欢迎转发分享!

你可能对这些文章感兴趣:

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注