一、基础篇
利用python实现可视化的三个步骤:
1、确定问题,选择图形
2、转换数据,应用函数
3、参数设置,一目了然
01
首先,要知道我们用哪些库来画图?
Matplotlib
Python中最基本的作图库就是matplotlib,是一个最基础的Python可视化库,一般都是从matplotlib上手Python数据可视化,然后开始做纵向与横向拓展。
Seaborn
是一个基于matplotlib的高级可视化效果库,针对的点主要是数据挖掘和机器学习中的变量特征选取,seaborn可以用短小的代码去绘制描述更多维度数据的可视化效果图。
其他库还包括
- Bokeh(是一个用于做浏览器端交互可视化的库,实现分析师与数据的交互)
- Mapbox(处理地理数据引擎更强的可视化工具库)等等
本篇文章主要使用matplotlib进行案例分析
确定问题,选择图形
业务可能很复杂,但是经过拆分,我们要找到我们想通过图形表达什么具体问题。分析思维的训练可以学习《麦肯锡方法》和《金字塔原理》中的方法。
这是网上的一张关于图表类型选择的总结。
在python中,我们可以总结为以下四种基本视觉元素来展现图形:
- 点:scatter plot 二维数据,适用于简单二维关系
- 线:line plot 二维数据,适用于时间序列
- 柱状:bar plot 二维数据,适用于类别统计
- 颜色:heatmap 适用于展示第三维度
数据间存在分布,构成,比较,联系以及变化趋势等关系。对应不一样的关系,选择相应的图形进行展示。
转换数据,应用函数
数据分析和建模方面的大量编程工作都是用在数据准备的基础上的:加载、清理、转换以及重塑。我们可视化步骤也需要对数据进行整理,转换成我们需要的格式再套用可视化方法完成作图。
下面是一些常用的数据转换方法:
- 合并:merge,concat,combine_frist(类似于数据库中的全外连接)
- 重塑:reshape;轴向旋转:pivot(类似excel数据透视表)
- 去重:drop_duplicates
- 映射:map
- 填充替换:fillna,replace
- 重命名轴索引:rename
- 将分类变量转换‘哑变量矩阵’的get_dummies函数以及在df中对某列数据取限定值等等
函数则根据第一步中选择好的图形,去找python中对应的函数。
参数设置,一目了然
原始图形画完后,我们可以根据需求修改颜色(color),线型(linestyle),标记(maker)或者其他图表装饰项标题(Title),轴标签(xlabel,ylabel),轴刻度(set_xticks),还有图例(legend)等,让图形更加直观。
第三步是在第二步的基础上,为了使图形更加清晰明了,做的修饰工作。具体参数都可以在制图函数中找到。
下面,我总结了实现可视化会用到的一些基础知识
02
可视化作图基础
matplotlib
#导入包 import numpy as np import pandas as pdimport ma as plt
Figure和Subplot
matplotlib的图形都位于Figure(画布)中,Subplot创建图像空间。不能通过figure绘图,必须用add_subplot创建一个或多个subplot。
figsize可以指定图像尺寸。
#创建画布 fig = () <Figure size 432x288 with 0 Axes> #创建subplot,221表示这是2行2列表格中的第1个图像。 ax1 = (221) #但现在更习惯使用以下方法创建画布和图像,2,2表示这是一个2*2的画布,可以放置4个图像 fig , axes = (2,2,sharex=True,sharey=True) #的sharex和sharey参数可以指定所有的subplot使用相同的x,y轴刻度。
利用Figure的subplots_adjust方法可以调整间距。 subplots_adjust(left=None,bottom=None,right=None,top=None,wspace=None,hspace=None)
(wspace=0,hspace=0)#将间距调整为0 #举个栗子 fig , axes = (2,2,sharex=True,sharey=True) for i in range(2): for j in range(2): axes[i,j].hi(500),bins=50,color='k',alpha=0.5) (wspace=0,hspace=0)
颜色color,标记marker,和线型linestyle
matplotlib的plot函数接受一组X和Y坐标,还可以接受一个表示颜色和线型的字符串缩写:'g--',表示颜色是绿色green,线型是'--'虚线。 也可以使用参数明确的指定。
线型图还可以加上一些标记(marker),来突出显示数据点的位置。标记也可以放在格式字符串中,但标记类型和线型必须放在颜色后面。
(30),color='g',linestyle='--',marker='o') [<ma at 0x8c919b0>]
刻度,标签和图例
plt的xlim、xticks和xtickslabels方法分别控制图表的范围和,刻度位置和刻度标签。
调用方法时不带参数,则返回当前的参数值;调用时带参数,则设置参数值。
(30),color='g',linestyle='--',marker='o') () #不带参数调用,显示当前参数; #可将xlim替换为另外两个方法试试 , 30.45)
(30),color='g',linestyle='--',marker='o') ([0,15]) #横轴刻度变成0-15 (0, 15)
设置标题,轴标签,刻度以及刻度标签
fig = ();ax = (1,1,1) ax.plot(1000).cumsum()) ticks = ax.set_xticks([0,250,500,750,1000]) #设置刻度值 labels = ax.set_xticklabels(['one','two','three','four','five']) #设置刻度标签 ax.set_title('My first Plot') #设置标题 ax.set_xlabel('Stage') #设置轴标签 Tex;Stage')
添加图例
图例legend是另一种用于标识图标元素的重要工具。 可以在添加subplot的时候传入label参数
fig = (figsize=(12,5));ax = (111) ax.plot(1000).cumsum(),'k',label='one') #传入label参数,定义label名称 ax.plot(1000).cumsum(),'k--',label='two') ax.plot(1000).cumsum(),'k.',label='three') #图形创建完后,只需要调用legend参数将label调出来即可。 ax.legend(loc='best') #要求不是很严格的话,建议使用loc=‘best’参数来让它自己选择最佳位置 <ma at 0xa8f5a20>
注解
除标准的图表对象之外,我们还可以自定义添加一些文字注解或者箭头。
注解可以通过text,arrow和annotate等函数进行添加。 text函数可以将文本绘制在指定的x,y坐标位置,还可以进行自定义格式
(1000).cumsum()) (600,10,'test ',family='monospace',fontsize=10) #中文注释在默认环境下并不能正常显示,需要修改配置文件,使其支持中文字体。具体步骤请自行搜索。
保存图表到文件
利用可以将当前图表保存到文件。 例如,要将图表保存为png文件,可以执行
(';)
文件类型是根据拓展名而定的。其他参数还有:
fname 含有文件路径的字符串,拓展名指定文件类型
dpi 分辨率,默认100 facecolor,edgcolor 图像的背景色,默认‘w’白色
format 显示设置文件格式('png','pdf','svg','ps','jpg'等)
bbox_inches: 图表需要保留的部分。如果设置为“tight”,则将尝试剪除图像周围的空白部分
('.;) #保存图像为plot名称的jpg格式图像 <Figure size 432x288 with 0 Axes>
Pandas中的绘图函数
matplotlib是最基础的绘图函数,也是相对较低级的工具。组装一张图表需要单独调用各个基础组件才行。Pandas中有许多基于matplotlib的高级绘图方法,原本需要多行代码才能搞定的图表,使用pandas只需要短短几行。
我们使用的
import ma as plt 就调用了pandas中的绘图包
线形图
Series和DataFrame都有一个用于生成各类图表的plot方法。默认情况下,他们生成的是线型图。
s = (10).cumsum(),index=np.arange(0,100,10)) s.plot() #Series对象的索引index会传给matplotlib用作绘制x轴。 <ma at 0xf553128>
df = (10,4).cumsum(0),columns=['A','B','C','D']) df.plot() #plot会自动为不同变量改变颜色,并添加图例 <ma at 0xf4f9eb8>
Series.plot方法的参数
label 用于图表的标签
style 风格字符串,'g--'
alpha 图像的填充不透明度(0-1)
kind 图表类型(bar,line,hist,kde等)
xticks 设定x轴刻度值
yticks 设定y轴刻度值
xlim,ylim 设定轴界限,[0,10]
grid 显示轴网格线,默认关闭
rot 旋转刻度标签
use_index 将对象的索引用作刻度标签
logy 在Y轴上使用对数标尺
Da方法的参数
DataFrame除了Series中的参数外,还有一些独有的选项。
subplots 将各个DataFrame列绘制到单独的subplot中
sharex,sharey 共享x,y轴
figsize 控制图像大小
title 图像标题
legend 添加图例,默认显示
sort_columns 以字母顺序绘制各列,默认使用当前顺序
柱状图
在生成线型图的代码中加上kind=‘bar’或者kind=‘barh’,可以生成柱状图或水平柱状图。
fig,axes = (2,1) data = (10),index=list('abcdefghij')) da(kind='bar',ax=axes[0],rot=0,alpha=0.3) da(kind='barh',ax=axes[1],grid=True) <ma at 0xfe39898>
柱状图有一个非常实用的方法:利用value_counts图形化显示Series或者DF中各值的出现频率。
比如df.value_counts().plot(kind='bar')
Python可视化的基础语法就到这里,其他图形的绘制方法大同小异。
二、实践篇
%matplotlib inline import numpy as np import pandas as pd import ma as plt #导入plt import seaborn as sns import warnings warnings.filterwarnings('ignore')#忽略警告
加载数据
数据采用kaggle中的共享单车项目 (本案例数据经过预处理) 下载地址:
比赛提供了跨越两年的每小时共享单车租赁数据,包含天气信息和日期信息。
字段说明
datetime(日期) - hourly date + timestampseason(季节) - 1 = spring, 2 = summer, 3 = fall, 4 = winterholiday(是否假日) - whether the day is considered a holidayworkingday(是否工作日) - whether the day is neither a weekend nor holiday
weather(天气等级) -
1: Clear, Few clouds, Partly cloudy 清澈,少云,多云。
2: Mist + Cloudy, Mist + Broken clouds, Mist + Few clouds, Mist 雾+阴天,雾+碎云、雾+少云、雾
3: Light Snow, Light Rain + Thunderstorm + Scattered clouds, Light Rain + Scattered clouds 小雪、小雨+雷暴+散云,小雨+云
4: Heavy Rain + Ice Pallets + Thunderstorm + Mist, Snow + Fog 暴雨+冰雹+雷暴+雾,雪+雾
temp(温度) - temperature in Celsiusatemp(体感温度) - "feels like" temperature in Celsiushumidity(相对湿度) - relative humiditywindspeed(风速) - wind speedcasual(临时租赁数量) - number of non-registered user rentals initiatedregistered(会员租赁数量) - number of registered user rentals initiatedcount(总租赁数量) - number of total rentalsdate(日期) - 由datetime拆分得到hour(小时)-由datetime拆分得到year(年份)-由datetime拆分得到month(月份)-由datetime拆分得到weeekday(周几)-由datetime拆分得到windspeed_rfr(经过随机森林树填充0值得到的风速)
#读取数据 #Bikedata = ('.;) Bikeda()
#查看描述统计 Bikeda()
#对于整体数据,我们希望查看与三个租赁数量相关的其他特征值的关系,可以选用seaborn包的pairplot函数(多变量图) (Bikedata,x_vars=['holiday','workingday','season','weather','hour','windspeed_rfr','atemp','humidity','temp'],y_vars=['count','registered','casual'],plot_kws={'alpha': 0.1})< at 0xadcef98>
大致可以看出:会员在工作日出行较多,节假日次数减少,而临时用户相反,第一季度出行人数总体偏低,出行人数受天气影响较大,会员在每天早晚有两个高峰期,对应上下班时间;非会员在下午出行较密集 风速对出行人数有较大的影响 相对湿度,温度和体感温度对非会员出行影响较大,对会员出行影响较小。
#接下来,我们通过相关系数的大小来依次对特征进行可视化分析 #首先,列出相关系数矩阵:df.corr() corrdf = Bikeda()corrdf
#各特征按照与租赁总量count的相关系数大小进行排序 corrdf['count'].sort_values(ascending=False) count 1.000000 registered 0.966209 casual 0.704764 hour 0.405437 temp 0.385954 atemp 0.381967 year 0.234959 month 0.164673 season 0.159801 windspeed_rfr 0.111783 windspeed 0.106074 weekday 0.022602 holiday 0.002978 workingday -0.020764 weather -0.127519 humidity -0.317028 Name: count, dtype: float64
可见,特征对租赁总量的影响力为:
时段>温度>湿度>年份>月份>季节>天气>风速>工作日>节假日
对特征逐项分析
首先对时段进行分析
- 第一步
提出问题:租赁总量对应时段的变化趋势
适合图形:因为时段属于连续性数值变量,我们可以选择折线图反应变化趋势
- 第二步
转换数据:我们需要一个二维数据框,存储每个时段对应的三个租赁数,租赁数取平均值
应用函数:直接应用plt的plot函数即可完成折线图
workingday_df = Bikedata[Bikedata['workingday']==1]#t workingday_df = workingday_df.groupby(['hour'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'}) nworkingday_df = Bikedata[Bikedata['workingday']==0] nworkingday_df = nworkingday_df.groupby(['hour'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'}) nworkingday_df.head()
- 第三步:设置参数
figure,axes = (1,2,sharey=True) #设置一个1*2的画布,且共享y轴 workingday_df.plot(figsize=(15,5),title='The average number of rentals initiated per hour in the working day',ax=axes[0]) nworkingday_df.plot(figsize=(15,5),title='The average number of rentals initiated per hour in the nworking day',ax=axes[1]) <ma at 0xe452940>
可以看出:1.在工作日,会员出行对应两个很明显的早晚高峰期,并且在中午会有一个小的高峰,可能对应中午外出就餐需求;2.工作日非会员用户出行高峰大概在下午三点;3.工作日会员出行次数远多于非会员用户;4.在周末,总体出行趋势一致,大部分用车发生在11-5点这段时间,早上五点为用车之最
对温度进行分析
- 第一步
提出问题:租赁总量对应温度的变化趋势
适合图形:因为温度属于连续性数值变量,我们可以选择折线图反应变化趋势
- 第二步
转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值
应用函数:直接应用plt的plot函数即可完成折线图
- 第三步
参数设置:只需要设置折线图的标题,其他参数默认
temp_df = Bikeda(['temp'],as_index='True').agg({'count':'mean','registered':'mean','casual':'mean'}) (title = 'The average number of rentals initiated per hour changes with the temperature') <ma at 0xe57d7f0>
1.随着温度的升高,租赁数量呈上升趋势;2.在温度达到35度时,因天气炎热,总体数量开始下降;3.在温度在4度时,租赁数达到最低点;
湿度对租赁数量的影响
- 第一步
提出问题:租赁总量对应湿度的变化趋势
适合图形:因为湿度属于连续性数值变量,我们可以选择折线图反应变化趋势
- 第二步
转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值
应用函数:直接应用plt的plot函数即可完成折线图
- 第三步
参数设置:只需要设置折线图的标题,其他参数默认
humidity_df = Bikeda(['humidity'],as_index=True).agg({'count':'mean','registered':'mean','casual':'mean'}(title='Average number of rentals initiated per hour in different humidity')<ma at 0xe582400>
可以观察到在湿度20左右租赁数量迅速达到高峰值,此后缓慢递减。
年份,月份和季节作图方法类似,都采用折线图绘制,这里省略。
查看不同天气对出行情况的影响
- 第一步
提出问题:租赁总量对应湿度的变化趋势
适合图形:因为湿度属于连续性数值变量,我们可以选择折线图反应变化趋势
- 第二步
转换数据:我们需要一个二维数据框,按照温度变化排序,取对应的三个租赁数的平均值
应用函数:直接应用plt的plot函数即可完成折线图
- 第三步
参数设置:只需要设置折线图的标题,其他参数默认
weather_df = Bikeda(['weather'],as_index=True).agg({'registered':'mean','casual':'mean'}) wea(stacked=True,title='Average number of rentals initiated per hour in different weather') <ma at 0xe7e0a90>
观察到天气等级为4时,平均出行人数比天气等级为2时还要高,这不符合常理
我们查看一下天气等级为4的详细情况:
count_weather = Bikeda('weather') count_weather[['casual','registered','count']].count()
天气状况为4级的只有一天,我们把数据打印出来查看一下
Bikedata[Bikedata['weather']==4]
时间为工作日的下午六点钟,属于晚高峰异常数据,不具有代表性。
查看会员用户和临时用户在整体用户中的比例
- 第一步
提出问题:查看会员用户和临时用户在整体用户中的比例
适合图形:查看占比,适合用饼图pie
- 第二步
转换数据:需要一个二维数据框,按天数取两种用户的平均值
应用函数:应用plt的函数绘制饼图
- 第三步
参数设置:这是数据标签和类别标签
#考虑到相同日期是否工作日,星期几,以及所属年份等信息是一样的,把租赁数据按天求和,其它日期类数据取平均值 day_df = Bikeda(['date'], as_index=False).agg({'casual':'sum','registered':'sum','count':'sum', 'workingday':'mean','weekday':'mean','holiday':'mean','year':'mean'}) day_df.head()
#按天取两种类型用户平均值 number_pei=day_df[['casual','registered']].mean() number_pei casual 517.411765 registered 2171.067031 dtype: float64 #绘制饼图 (aspect='equal') (number_pei, labels=['casual','registered'], autopct='%1.1f%%', pctdistance=0.6 , labeldistance=1.05 , radius=1 ) ('Casual or registered in the total lease') Tex;Casual or registered in the total lease')
python作图的简单案例
总结
1.要清楚自己想表达什么,有了明确的问题,选择合适的图形,然后按照需求从整体数据中选择自己需要的数据,查阅资料了解函数的参数设置,最后完成图形的绘制。
2.matplotlib是python绘图的基础,也是其他拓展包的基础,认真学习matplotlib的常用图形和参数是很有必要的。
3.学习期间思考为什么要加载ma?
End.
作者:开运张
来源:知乎专栏